문. MPEG 포인트 클라우드 및 메시 압축 표준화 동향

토픽	MPEG 포인트 클라우드 및 메시 압축 표준화 동향
도메인	방송공학	중요도	중
참고문헌	장의선, “MPEG 포인트 클라우드 및 메시 압축 표준화 동향”, 주간기술동향, 2022.04.20, pp15-24.

 

문. MPEG 포인트 클라우드 및 메시 압축 표준화 동향(2022.04.)

답.

1. 개요

<그림. 2022년 MPEG에서 진행중인 미디어 압축 표준>

  - MPEG 3D 그래픽스 그룹에서 최근에 완성한 포인트 클라우드 압축 표준과 새롭게 시작하고 있는 동적 메시 부호화 표준화 활동 동향 소개함

 

2. MPEG 3D 그래픽의 AR/VR 관련 주요 표준

구 분	설 명
3D Mesh Coding	- MPEG-4 Visual 표준(ISO/IEC 14496-2)으로 1998년 표준화됨 - Web3D 컨소시움의 VRML(Virtual Reality Modeling Language) 표준에 기반한 3D 메시 데이터의 압축
Face and body animation	- MPEG-4 Visual 표준(ISO/IEC 14496-2)으로 2000년대 초반에 표준화됨 - 미국 루슨트 기술을 근간으로 한 얼굴 애니메이션과 H-ANIM 표준과 연계된 몸체 애니메이션 기술
Animation framework extension(AFX)	- MPEG-4 AFX 표준(ISO/IEC 14496-16)으로 2000년대 초반에 표준화됨 - NURBS(Non-Uniform Rational B Spline), Subdivision surface 등의 다양한 모델과 애니메이션을 지원하는 표준
Video-based point cloud compression(V-PCC)	- MPEG-I V-PCC 표준(ISO/IEC 23090-5)으로 2021년 국제표준으로 완성됨 - 동적 포인트 클라우드 데이터의 압축 표준
Geometry-based point cloud compression (G-PCC)	- MPEG-I G-PCC 표준(ISO/IEC 23090-9)으로 2021년 국제표준으로 완성됨 - 정적 포인트 클라우드와 동적으로 획득한 포인트 클라우드 압축 표준

 

3. MPEG 포인트 클라우드 코덱 표준

가. 비디오기반 포인트 클라우드 압축 표준

<그림. V-PCC 부호화기(위)와 복호화기(아래)의 기본 구조>

No	구 분	설 명
1	패치 생성	- 3차원 기하 정보를 바탕으로 2차원 패치를 형성하는 과정 - 이 과정을 통해 하나의 포인트 클라우드 객체가 다수의 패치로 분리됨
2/3	패치 Packing/ 패치영상생성	- 다수의 패치를 하나의 이미지로 모으는 과정 - 각각의 패치를 2차원 공간에 어떻게 배치하느냐에 따라 이미지 크기 및 비디오 압축 효율 영향을 줌
4	영상 채우기	- 패치 영상은 패치의 비정형 형상으로 인해 영상에 빈 공간이 존재하고 보통 값이 존재하지 않음 - 패치와 패치 사이의 빈 공간 값을 패치의 경계값을 이용해 보간하며 압축 효율을 향상시키는 과정
5	비디오 압축	- 최종적인 패치 영상의 압축 과정 - AVC/H.264, HEVC/H.265, VVC, EVC 등 활용
6	패치 정보 압축	- 2D 패치의 3차원 복원에 필요한 공간 정보를 압축하는 과정 - 간단한 엔트로피 부호화를 통해 압축함

  - V-PCC는 MPEG-I 몰입형 비디오(MIV) 표준과 기본 격을 가팅 사용하는 기술

 

나. 기하정보기반 포인트 클라우드 압축 표준(G-PCC)

<그림. G-PCC 부호화 과정>

No	구 분	설 명
1	8진 트리 분석	- 3차원 위치정보를 8진 트리의 형태로 표현하는 방식 - 3차원 기하정보의 1차적인 압축이 가능 - 8비트의 값이 트리의 매 노드마다 발생하는데 해당 8비트를 다시 산술 부호화를 통해 추가 압축함
2	RAHT	- Region-adaptive hierarchical transform - 포인트 클라우드의 속성정보를 압축하기 위해 사용하는 계층적인 변환과정 - 3차원 웨이블릿 변환과 유사한 과정
3	LOD 생성	- Level-of-details generation - RHAT와 대별되는 과정으로 계층별 압축을 속성정보에 제공하기 위해 먼저 LOD를 생성하는 과정
4	Lifting-based 예측 및 양자화 압축	- LOD 생성 이후에 형성된 LOD 계층별로 구성된 속성 정보를 위치와 계층을 이용하여 예측 - 해당 예측 오차를 별도로 양자화하고 압축하는 과정

  - G-PCC는 기하 정보를 압축하는 과정과 색, 반사도 등 속성 정보를 압축하는 과정으로 나뉨.

 

다. 동적인 메시 부호화(DMC)

  - V-PCC 표준에서 동적인 포인트 클라우드를 압축하는 표준을 포인트 클라우드 대신 동적인 메시로 대체한 압축 표준

  - 2022년 표준 모델을 결정하고 본격적인 표준화 진행 예정

  - V-PCC, G-PCC, DMC 표준이 AR/VR 응용을 위한 압축 표준의 완성을 이룰 것으로 예상됨