DeepL Voice aprendeu a transportar sarcasmo e mudanças de humor para a tradução ao vivo

Imagine: um colega de Berlim diz numa chamada «Ah, claro, um plano excelente». A entonação deixa tudo claro, sem precisar de explicações. Já o tradutor entrega a mesma frase com voz neutra, e em Tóquio ou Madri ela é entendida literalmente. A DeepL tenta resolver esse problema com o novo modelo Aure para o produto de voz DeepL Voice.

O que estava errado

Até agora, o DeepL Voice gerava a fala traduzida a partir de uma amostra de voz estática, captada no início da conversa. A voz ficava parecida com a do falante, mas o humor ficava «congelado». A pessoa podia começar a se irritar, rir ou ironizar, e a fala sintetizada permanecia com a mesma entonação. O sarcasmo vive quase inteiramente na entonação, e não nas palavras. Por isso a tradução de texto o perde, e a tradução de voz com amostra estática também.

Como funciona o Aure

O Aure não capta uma amostra uma única vez, mas analisa continuamente dois fluxos: o texto traduzido e o áudio original. Do original são extraídos o tom, as emoções, as ênfases de sentido e o ritmo da fala. Tudo isso é transferido para a fala no outro idioma ao longo da conversa.

A ideia central está no treinamento. A DeepL separa três componentes: a identidade da voz, a melodia da fala e o conteúdo. Cada um deles pode ser transferido para um novo idioma de forma independente. O mais simples é pensar assim: o timbre responde à pergunta «quem fala», a melodia, «como fala», e o conteúdo, «o que fala». Se essas camadas estiverem coladas, a fonética estrangeira vem junto com a entonação. Se estiverem separadas, é possível preservar a voz e a emoção, enquanto as palavras e a pronúncia vêm do idioma de destino. Para que não sobre sotaque do idioma de origem na saída, a DeepL aplica aprendizado por reforço.

Onde está disponível e em que contexto

O Aure é ativado automaticamente no DeepL Voice for Online Meetings, no DeepL Voice for In-Person Conversations e na DeepL API. No lançamento, são compatíveis inglês, alemão, espanhol, francês, italiano, japonês, português e coreano. A DeepL lançou a preservação da voz em setembro, então o Aure parece o próximo passo da mesma linha.

Há também a estratégia da empresa por trás disso. Em maio, a DeepL cortou cerca de 250 pessoas, reestruturando-se em torno de equipes pequenas baseadas em IA e se declarando «AI-native». Além disso, a DeepL comprou a equipe da Mixhalo, especialistas em streaming de áudio, para reforçar a tradução de fala em tempo real. Também há pressão competitiva: a Block mostrou recentemente o Dessa, um modelo de fala que detecta emoções e sarcasmo diretamente do áudio. A indústria claramente caminha da tradução de palavras para a tradução de sentido.

O que fazer com isso

Se você desenvolve um produto com chamadas internacionais, suporte, treinamento ou negociações, a precisão emocional da tradução passa a fazer parte da qualidade. Antes era possível não pensar nisso; agora é um potencial diferencial em relação aos concorrentes. O acesso via API permite integrar essa tradução ao seu próprio serviço sem treinar um modelo do zero. É sensato reunir algumas gravações reais com ironia, pausas e mudanças de tom e passá-las pelo Aure nos seus pares de idiomas.

Limitações

O anúncio não traz métricas de qualidade, dados de latência nem testes independentes, portanto, por ora, são afirmações da própria empresa. Não se sabe como o modelo se comporta com ruído, interrupções e troca rápida de falantes. Oito idiomas é pouco, e para muitos mercados não será suficiente. Outra questão é o custo do erro. Esta é uma opinião minha, e não um dado do anúncio: uma entonação transferida incorretamente pode causar mais danos do que uma palavra errada, porque se atribui à pessoa um tom que ela não teve. Para negociações e conversas delicadas, convém manter a possibilidade de reverificação.