MVCHead: 단일 이미지에서 멀티뷰 일관성을 갖춘 3D 가우시안 헤드 아바타 생성
2D 이미지 한 장만으로 멀티뷰 일관성이 보장된 고품질 3D 가우시안 헤드 아바타를 생성하는 MVCHead가 공개됐어요.
카네기멜런대(CMU) 연구팀이 2D 이미지 단 한 장만으로 멀티뷰 일관성을 갖춘 고품질 3D 가우시안 헤드 아바타를 생성하는 MVCHead를 발표했어요. 멀티뷰 데이터나 3D 정답 라벨 없이도 학습이 가능한 것이 핵심으로, HiBiSS 양방향 스캔과 SE(3) 멀티뷰 비평(Critic) 구조를 통해 3D 표현의 시점 간 일관성을 직접 강제해요. 또한 24만 개 가우시안 프리미티브로 구성된 대규모 3D 가우시안 헤드 에셋 데이터셋 FaceGS-10K도 함께 공개됐어요.
MVCHead의 핵심은 Hierarchical State Space(HiSS) 블록이에요. 거친 단계부터 세밀한 단계까지 가우시안을 점진적으로 정제하며 장거리 의존성을 효과적으로 포착해요. SE(3) 멀티뷰 비평기는 실제 멀티뷰 쌍 없이도 자기 렌더링 이미지를 통해 시점 간 픽셀 정렬을 보상함으로써, 기존 방법보다 질감과 기하학적 일관성 모두에서 최고 수준의 성능을 달성했어요.
이 기술은 게임·VR 캐릭터 제작 파이프라인을 크게 바꿀 것으로 기대돼요. 사진 한 장으로 사실적인 디지털 휴먼 헤드 에셋을 즉시 생성할 수 있어, 캐릭터 커스터마이제이션이나 NPC 디자인 작업 시간이 획기적으로 줄어들 수 있어요. FaceGS-10K 데이터셋 공개로 관련 연구도 빠르게 발전할 것으로 기대돼요.