Apple ML Research propõe modelos compactos para corrigir erros de reconhecimento de fala

Pesquisadores da Apple ML Research propõem, no artigo "Revisiting ASR Error Correction with Specialized Models", substituir grandes modelos de linguagem pesados por modelos seq2seq compactos para corrigir erros do reconhecimento automático de fala (ASR).

Por que os LLMs não são ideais para corrigir erros de ASR

A maioria dos métodos atuais de correção de erros de ASR usa modelos de texto que não sabem nada sobre os padrões de erro específicos do reconhecimento de fala. Recentemente, grandes modelos de linguagem passaram a ser aplicados a essa tarefa, mas eles têm dois problemas sérios: aumentam a latência da resposta e tendem a alucinar, ou seja, podem "corrigir" o texto de modo que ele deixe de corresponder ao que realmente foi dito no áudio.

Como funciona a solução proposta

Os autores retomaram a ideia de modelos seq2seq compactos treinados com erros de ASR de gravações de áudio reais e sintéticas. Para ampliar o volume de dados de treinamento, eles montam corpora sintéticos por meio de uma cascata "síntese de fala → reconhecimento de fala" (TTS e, depois, ASR de novo): um sintetizador de voz primeiro narra o texto, e o áudio resultante passa por um reconhecedor, que gera erros realistas para treinar o modelo corretor.

• Método: modelos seq2seq compactos em vez de grandes LLMs para corrigir erros de ASR
• Os dados sintéticos de treinamento são gerados por uma cascata TTS → ASR
• O fator-chave de qualidade é a diversidade dos erros coincidir com a distribuição real, e não apenas o volume de dados
• É proposta uma abordagem de decodificação própria: correction-first decoding

A principal conclusão do estudo é que importa menos a quantidade de dados sintéticos e mais a precisão com que a distribuição dos erros gerados coincide com os erros reais do reconhecimento de fala. Os autores também propõem uma estratégia de decodificação própria, a correction-first decoding, em que a etapa de correção de erros é movida para o início do processamento.

O que isso significa

O trabalho mostra um movimento na contramão na indústria de interfaces de voz: em vez de resolver os erros de ASR plugando LLMs cada vez maiores, a Apple explora modelos compactos altamente especializados, mais baratos na inferência e menos propensos a alucinações, o que é crítico para assistentes de voz que rodam em tempo real em dispositivos com recursos limitados.