완성된 패킷까지만 복원에 사용
중간에 끊긴 패킷을 사용하지 않고 마지막 복원 결과를 유지하려고
CHAPTER 04 / 3D VISION · COMPRESSION
MVSplat 특징 압축.
3D 장면 복원에 쓰는 데이터를
압축하고 나눠 보내기
MVSplat은 여러 시점의 이미지에서 3D 장면을 만드는 모델입니다. 저는 모델 내부의 중간 표현인 ‘특징 데이터’를 압축해 보내고, 받은 양에 따라 장면을 복원하는 경로를 연결해 실험했습니다.
01
핵심 문제
전송량을 줄이면서 화질과 복원 비용도 확인해야 했습니다.
전송량을 줄여도 수신측 연산이 늘거나 품질이 낮아질 수 있습니다. 일부만 도착했을 때의 복원과 추가 수신에 따른 변화도 확인해야 합니다.
함께 줄이고 싶은 비용
실제 전송량 · 수신 시간 · 메모리
함께 확인할 결과
복원 화질 · 단계별 품질 변화
02
내 역할
압축 경로를 연결하고 복호화 결과를 확인했습니다.
내가 맡은 일
- MVSplat 압축 경로 통합과 비트스트림 생성·복호화
- 가중치 재로딩·복원 결과 확인
- 압축 위치·복원기·수신 단계별 비교·분석
03
선택과 이유
선택이유
채널 수와 실제 바이트 수를 따로 측정
같은 채널 수를 보내도 압축된 파일의 크기는 다를 수 있어서
각 수신 단계에서 화질·시간·메모리 측정
전체 수신 결과만 보면 중간 단계의 화질 저하와 비용을 놓칠 수 있어서
04
결과와 검증
데이터를 더 받은 구간에서 화질이 낮아지기도 했습니다.
현재 확인한 범위
완전히 수신한 패킷 기준으로 13단계 복원 확인
구현·확인한 것
- 학습과 실제 압축 데이터 생성·복원 확인
- 송신측의 특징 추출 연산을 반복하지 않고 수신측에서 3D 표현 생성
- 일부 추가 수신 구간의 화질 저하 관찰
후속 작업·검증
- 후속 구조의 실제 GPU 실행·성능 평가
- 다른 난수 초기값(seed)·독립 평가 집합에서 재검증
- 3D 구조 변화·기본 데이터 전송 비용 분석
모델 학습의 난수 초기값(seed) 하나로 개발용 38장면·114개 평가 시점을 비교한 결과입니다. 다른 조건에서도 같은 결과가 나오는지는 추가 검증이 필요합니다.
05
배운 점
데이터를 더 보내는 것만으로 화질이 좋아지지는 않았습니다. 압축 방식을 비교할 때 최종 결과뿐 아니라, 데이터를 받는 도중의 품질 변화도 살펴봐야 했습니다.