Vorch-Streamer: 실시간 장시간 아바타 오디오-비디오 스트리밍 생성 시스템

Vorch-Streamer가 24FPS 이상의 실시간으로 장시간 아바타 오디오-비디오를 연속 생성해요.

Vorch-Streamer는 오디오-비디오 동기화와 시각적 일관성을 유지하면서 장시간 아바타 영상을 실시간으로 생성하는 인과적(causal) 스트리밍 프레임워크예요. 2026년 8월 6일 arXiv에 공개된 이 연구는 기존 양방향 모델을 인과적 설정에 적용할 때 발생하는 두 가지 핵심 딜레마를 해결했어요. 생성된 블록을 컨텍스트로 재사용하면서 발생하는 오류 누적 문제와, 제한된 로컬 컨텍스트에서 다음 발화 구간을 결정하는 문제가 그것이에요.

80K개 아바타 클립으로 학습한 인과적 생성기에 Teacher Forcing과 Diffusion Forcing을 결합하고, 장기 Self Forcing과 DMD 증류를 적용해 자체 롤아웃 분포에서의 품질을 유지했어요. 외부 언어 모델이 25Hz 음성 계획 토큰을 예측해 발화 진행을 명시적으로 제어하는 구조로, 27.12 FPS를 달성해 24FPS 실시간 기준을 초과해요. 버추얼 유튜버, 라이브 방송, 게임 대화 NPC에 바로 활용할 수 있어요.

원문: arXiv (cs.CV)