일레븐랩스, 감정·톤까지 살아나는 AI 더빙 모델 'Dubbing v2' 출시

원본 화자의 감정과 퍼포먼스를 90개 이상의 언어로 그대로 전달하는 AI 더빙 모델 'Dubbing v2'가 출시됐어요.

일레븐랩스(ElevenLabs)가 원본 화자의 감정과 퍼포먼스를 90개 이상의 언어로 그대로 살려주는 차세대 AI 더빙 모델 'Dubbing v2'를 출시했어요. 기존 AI 더빙 시스템은 텍스트 스크립트를 기반으로 번역·합성해 톤이나 감정이 사라지는 경우가 많았는데, Dubbing v2는 원본 오디오 퍼포먼스를 직접 분석해 억양, 감정, 타이밍, 강조, 에너지를 각 언어에 맞게 자동으로 이전해줘요.

핵심 기술인 싱크 인식 번역 시스템은 각 언어의 문장 구조와 리듬에 맞게 번역을 조정하면서 원본 콘텐츠와의 싱크를 자동으로 맞춰줘요. 기존에는 전문 더빙 한 분당 수백 달러의 비용과 번역가, 성우, 편집자, 오디오 엔지니어 등 복잡한 파이프라인이 필요했지만, Dubbing v2는 이 과정을 자동화해 개인 창작자부터 기업까지 누구나 고품질 다국어 콘텐츠를 제작할 수 있게 해줘요.

크리에이터는 ElevenCreative에서 원클릭으로 유튜브 영상을 다국어로 로컬라이즈할 수 있고, 마케팅 팀은 글로벌 캠페인을 처음부터 다시 만들지 않아도 현지화가 가능해요. 방송·스튜디오용으로는 전문 번역가·성우·오디오 믹싱과 Dubbing v2를 결합한 ElevenProductions도 함께 제공돼요. 현재 무료 플랜에서도 1분 무료 체험이 가능해요.

원문: ElevenLabs