피시 오디오, 연기 지시까지 알아듣는 35B 오픈소스 음성 생성 모델 'Drama 3' 공개
피시 오디오가 연기 지시를 따르는 오픈소스 음성 생성 모델을 공개했어요.
음성 AI 기업 피시 오디오가 텍스트를 '연출된 연기'로 바꿔주는 오픈소스 음성 생성 모델 'Drama 3'와 기술 보고서를 공개했어요. 350억 개 파라미터의 전문가 혼합(MoE) 구조로, 토큰마다 30억 개 파라미터만 활성화해 속도와 효율을 함께 챙겼어요.
할 수 있는 일이 꽤 다양해요. 여러 개의 레퍼런스 음성으로 목소리를 복제하고, 자연어로 준 연기 지시를 따르며, 다음 턴에서 '이 부분은 이렇게'라고 노트를 주면 테이크를 다시 녹음하듯 수정해요. 여러 캐릭터가 등장하는 장면 더빙, 기존 음성의 일부만 고쳐 넣는 편집, 긴 분량과 스트리밍 합성까지 하나의 모델에서 처리해요. 특히 멀티턴 수정, 장면 더빙, 부분 편집, 스트리밍 텍스트 입력은 이번 버전에 새로 들어간 기능이에요. 이전 모델 S2보다 파라미터가 일곱 배 넘게 많은데도, H200 한 장에서 초당 271프레임으로 S2(177프레임)보다 빠르게 생성한대요.
모델 가중치는 깃허브와 허깅페이스에 공개됐고, SGLang-Omni로 추론할 수도 있어요. 게임이나 애니메이션 제작에서 보이스 프로토타입을 만들거나 여러 캐릭터의 대사를 임시로 더빙해 보는 용도로 직접 돌려볼 수 있는 선택지가 하나 더 늘어난 셈이에요.