SmartDirector: 키프레임 기반 내러티브 페이싱 제어 영상 생성 프레임워크
스토리보드처럼 키프레임을 지정해 멀티샷 장편 영상을 생성하는 SmartDirector 프레임워크가 공개됐어요.
중국과학원 CASIA·Youku Moku-Lab 공동 연구팀이 스토리보드처럼 키프레임을 지정해 단일샷·멀티샷 장편 영상을 생성하는 SmartDirector 프레임워크를 발표했어요. Director-Gen 단계에서 키프레임을 조건으로 저해상도 영상을 생성하고, Director-SR 단계에서 고해상도 키프레임을 시맨틱 앵커로 활용해 1080p로 업스케일하는 2단계 파이프라인으로 구성됐어요.
핵심 기술은 Multi-Chunk VAE 전략이에요. 시간 인과 VAE의 구조적 한계를 극복하기 위해 영상을 키프레임 위치에서 여러 청크로 분할하고, 각 키프레임이 해당 청크의 첫 프레임이 되도록 독립적으로 인코딩해요. 전체 청크에 걸쳐 완전한 시공간 어텐션을 적용하고, MC-RoPE로 청크 경계의 시간적 연속성도 유지해요. 단일샷 FVD가 226.85에서 41.12로, 멀티샷에서는 251.83에서 65.65로 크게 개선됐어요.
영화·게임 트레일러 제작 시 스토리보드에서 바로 완성도 높은 영상을 생성할 수 있어, 프리프로덕션 단계의 시각화 작업이 훨씬 빠르고 저렴해져요. 코드 공개 예정이어서, 향후 인디 팀도 키프레임 기반 고품질 영상 제작을 손쉽게 활용할 수 있을 것으로 기대돼요.