화자 고유의 음성 특징까지 보존, 딥엘 보이스 음성 특성 보존 기능 및 저지연 실시간 번역 지원

글로벌 언어 AI 기업 딥엘(DeepL)이 자사 음성 AI 기술 ‘딥엘 보이스(DeepL Voice)’의 대규모 업데이트를 발표했다. 

슬레이터(Slator)의 독립 평가에 따르면 딥엘 보이스는 AI 번역 자막 분야에서 정확도 부문 1위를 기록하는 등 번역 품질을 인정받아 왔다. 이번 신규 보이스 모델은 한 단계 더 나아가 사용자가 “무엇을 말하는지”뿐 아니라 “어떻게 말하는지”까지 반영해 화자별 고유의 음성 특성을 보존한다. 이에 따라 줌(Zoom), 마이크로소프트 팀즈(Microsoft Teams), 구글 미트(Google Meet) 사용자는 딥엘 보이스로 실시간 다국어 대화를 진행하는 동시에 자신의 목소리와 어조, 말하는 속도를 유지함으로써 보다 자연스러운 커뮤니케이션이 가능해진다.

야렉 쿠틸로브스키(Jarek Kutylowski) 딥엘 창업자 겸 CEO는 “음성은 스스로를 드러내는 방식이며, 단순한 단어 이상의 의미가있다”고 말했다. 이어 “딥엘 보이스는 이번 업데이트를 통해 자막 번역을 넘어 실시간으로 사용자의 정체성, 감정, 말하는 타이밍까지 보존하는 오디오 기반 AI 시스템으로 발전하고 있다”며, “이들이 AI를 통해 대화하고 있다는 사실을 잊을 만큼 자연스러운 음성 경험을 제공하게 됐다. 이러한 모델은 실시간 다국어 대화에 인간적인 요소를 더한다”고 설명했다.

이와 함께 딥엘은 별도의 추가 연동 없이 다양한 회의 플랫폼에 걸쳐 통합 번역 경험을 제공하는 새로운 보이스 데스크톱 앱을 출시했다. 해당 앱을 통해 ‘보이스 투 보이스(Voice to Voice)’ 번역 기능이 온라인 미팅, 대면 대화 및 딥엘 API 상에서 정식으로 지원된다.

딥엘 보이스 주요 업데이트 내용

실시간 음성 번역 기술은 속도와 정확도를 중심으로 빠르게 발전해 왔다. 최근에는 화자들을 구분하는 고유한 특성, 즉 발화 언어를 이해하는 방식에 영향을 미치는 미묘한 음성 단서를 보존하는 것이 중요한 기술 과제로 떠오르고 있다. 새로운 딥엘 보이스 모델은 이 같은 인간적 요소를 충실히 전달한다. 말투, 리듬, 속도, 억양 등을 유지해 서로 다른 언어 간 대화에서도 기계적으로 생성된 음성이 아닌 실제 화자의 특성이 자연스럽게 전달되도록 지원한다.

딥엘의 최신 보이스 AI 모델은 제공하는 주요 기능은 다음과 같다.

음성 보존(Voice preservation): 각 화자의 고유한 음성 특성을 구분해 유지하며, 여러 참가자의 음성을 동시에 번역하는 경우에도 개별 화자의 특성을 보존 (한국어 포함 14개 언어 지원)

자연스러운 표현 전달(Natural expression): 질문의 뉘앙스, 망설임, 긴박함, 기대감 등 음성에 담긴 표현 요소를 번역 음성에도 반영

낮은 지연 시간(Low latency): 실시간 대화 속도를 유지하면서 음성에 담긴 맥락과 화자 특성 폭넓게 보존

음성 간 번역 언어 지원 확대: 30개 이상 언어 지원

세바스찬 엔더라인(Sebastian Enderlein) 딥엘 최고기술책임자(CTO)는 “이번 기능을 구현하기 위해서는 음성의 고유한 정체성을 유지하는 동시에 번역 품질과 낮은 지연 시간을 모두 확보해야 하는 등 여러 기술적 과제들이 존재했다”며, “이는 딥엘 보이스의 기술적 역량을 한 단계 끌어올린 중요한 전환점이자, 사람들이 언어를 넘어 소통할 때 기대하는 새로운 기준을 제시할 것”이라고 말했다. 이어 “기업의 운영 방식과 고객 서비스, 새로운 다국어 제품 및 경험 구축에 이르기까지 새로운 가능성을 열어줄 뿐 아니라, 우리가 아직 상상하지 못한 다양한 유스케이스로 확장될 수도 있다”고 덧붙였다.

한편 딥엘은 윈도우(Windows)와 맥(Mac)에서 사용할 수 있는 새로운 보이스 데스크톱 앱을 공개했다. 신규 앱은 줌, MS 팀즈, 구글미트 등 주요 플랫폼과 함께 작동해 온라인 미팅 환경에서 일관된 번역 경험을 제공한다.

또한 통화를 자동으로 감지해 실시간 번역 자막을 상시 오버레이 형태로 구현한다. 이로써 사용자는 발표 및 메모 작성 중에도 자막을 확인하며, 읽기보다 듣기를 선호하는 경우 음성 간 번역으로 전환할 수 있다. 자막 크기, 배경 오디오 음량, 번역 설정 등도 자유롭게 조정 가능하다. 새로운 보이스 기능 출시 시에는 플랫폼별 업데이트에 의존하지 않고 앱에서 바로 이용할 수 있다.

딥엘 보이스에 대한 자세한 내용은 딥엘 웹사이트에서 확인할 수 있다.