Modelos de áudio tiram nota alta em testes mesmo com ruído aleatório, mostram MIT e IBM
Modelos de áudio em testes de múltipla escolha frequentemente não ouvem a gravação e adivinham a resposta pelo texto. Um exemplo dado pela equipe do MIT e da IBM: na pergunta sobre qual animal rosna, as opções são "esquilo, leão, jacaré, chapim", e o modelo simplesmente escolhe "leão". Se, em vez da gravação, for enviado ruído aleatório, as notas continuam razoáveis. Por isso, ao testar modelos de áudio, inclua ruído e silêncio: se a nota não cair, o teste não está medindo a audição.
Processado por IA de MIT News; editado por Hamidun News
Imagine que você está escolhendo um modelo de áudio para um produto de voz e olha os resultados em benchmarks. A nota é alta, então o modelo entende bem o som? Não necessariamente. A equipe do MIT-IBM Computing Research Lab, liderada por Jim Glass, pesquisador sênior do laboratório CSAIL do MIT, descobriu que muitos modelos de áudio, em testes de múltipla escolha, simplesmente não ouvem a gravação. Eles adivinham a resposta certa pelo texto da pergunta. Se, em vez do som, for enviado ruído aleatório, os resultados continuam razoáveis.
Um modelo que "escuta" sem som
A questão são os modelos capazes de perceber áudio e raciocinar sobre ele. Testá-los é, em geral, simples: faz-se uma pergunta e oferecem-se algumas alternativas. Isso sai mais barato do que avaliar respostas livres. Uma resposta livre teria de ser checada por pessoas, o que é caro e demorado, ou por outro modelo de linguagem atuando como juiz, que também tem suas fraquezas.
Glass dá um exemplo ilustrativo. Pergunta: qual animal rosna na gravação? Alternativas: esquilo, leão, jacaré, chapim. O modelo não presta atenção ao som; ele vê a palavra "leão" entre as opções e a escolhe. Os pesquisadores confirmaram isso ao enviar ruído aleatório no lugar da gravação. Mesmo assim, os modelos se saíam bastante bem, o que indica que eles se apoiavam no texto da pergunta.
No artigo OmniR1, a equipe propôs maneiras de fazer o modelo prestar mais atenção ao áudio e depender menos das pistas contidas na pergunta. A conclusão prática para quem avalia modelos de áudio é: inclua na verificação casos de controle com ruído ou silêncio. Se a nota quase não cai, o seu teste está medindo outra coisa. Também vale comparar o modelo em diferentes tipos de benchmark, e não em apenas um.
O mesmo problema com imagens
Uma lógica parecida aparece no trabalho com imagens. A pesquisa IPLoc mostrou que até modelos atuais, como o GPT-4o, têm dificuldade para localizar um objeto específico em uma imagem quando recebem apenas alguns exemplos. Os autores criaram um treinamento com troca de nomes: por exemplo, a palavra "avião" era substituída pelo nome "Elizabeth". Dessa forma, o modelo não consegue se apoiar no que já sabe sobre aviões e precisa observar com mais atenção o contexto visual.
Há ainda outra ideia: às vezes o modelo já possui a representação interna necessária, mas ela se perde depois de um ajuste fino adicional. Por isso, parte do trabalho é recuperar essas capacidades sem uma nova rotulagem de dados.
Como trabalhar sem um orçamento enorme
A equipe reconhece que não tem recursos para treinar um modelo fundacional gigantesco. Por isso, os pesquisadores pegam modelos abertos e os adaptam com métodos de supervisão fraca, que exigem menos dados rotulados. Um exemplo é o aprendizado por reforço no momento de uso do modelo (test-time reinforcement learning). O projeto não segue uma abordagem única: segundo Glass, "mil flores florescem". Também participaram do trabalho Rogério Feris, Brian Kingsbury e Samuel Thomas, da IBM Research, e Hilde Kuehne, da Universidade de Tübingen.
O projeto começou de forma simples: os modelos recebiam pares de "imagem e descrição sonora" e também pares que não combinavam. Assim, o modelo aprendeu sozinho a associar o som da palavra "farol" à imagem de um farol, sem texto. Depois, foram acrescentados vídeo e som ambiente: o modelo passou a distinguir como soam papagaios, guitarras elétricas e violões. Mais tarde, foram incorporados grandes modelos de linguagem. Ao longo dos anos, a equipe publicou cerca de duas dezenas de artigos conjuntos relevantes e divulga benchmarks abertos.
O que vem a seguir e quais são as limitações
No próximo ano, a equipe vai concentrar o foco em sistemas de diálogo full-duplex. São modelos que escutam enquanto falam, como as pessoas, em vez de esperar a sua vez. Glass acredita que conversar com esses assistentes de voz será mais natural. Por enquanto, os modelos abertos desse tipo ficam atrás dos grandes modelos de linguagem: têm habilidades básicas de conversa, mas faltam-lhes compreensão de tempo e profundidade de conhecimento.
Uma ressalva importante: trata-se de uma entrevista, e não de um artigo com tabela de resultados. Não há números sobre o quanto a nota caiu com ruído. Ainda assim, o alerta deve ser levado em conta: um resultado alto de um modelo de áudio em um teste de escolha de resposta ainda não prova que ele ouviu alguma coisa.
- 21 de nov. de 2026Nous Research retreinou o chinês Qwen3.8, e a propaganda nas respostas caiu de 22% para 1%
- 21 de nov. de 2026Unsloth atualizou os modelos comprimidos do Qwen3.8-27B: precisão sobe 5–10% com o mesmo tamanho
- 21 de nov. de 2026Microsoft vai permitir que empresas ajustem modelos MAI com seus próprios dados no Azure
- 21 de nov. de 2026Modelos da OpenAI melhoraram chip da AMD em até 14% em consumo de energia, velocidade e área em cinco meses
Perguntas frequentes sobre a notícia
O que se sabe sobre Um modelo que "escuta" sem som?
A questão são os modelos capazes de perceber áudio e raciocinar sobre ele. Testá-los é, em geral, simples: faz-se uma pergunta e oferecem-se algumas alternativas. Isso sai mais barato do que avaliar respostas livres. Uma resposta livre teria de ser checada por pessoas, o que é caro e demorado, ou por outro modelo de linguagem atuando como juiz, que também tem suas fraquezas. Glass dá um exemplo ilustrativo. Pergunta: qual animal rosna na gravação? Alternativas: esquilo, leão, jacaré, chapim.
O que se sabe sobre O mesmo problema com imagens?
Uma lógica parecida aparece no trabalho com imagens. A pesquisa IPLoc mostrou que até modelos atuais, como o GPT-4o, têm dificuldade para localizar um objeto específico em uma imagem quando recebem apenas alguns exemplos. Os autores criaram um treinamento com troca de nomes: por exemplo, a palavra "avião" era substituída pelo nome "Elizabeth". Dessa forma, o modelo não consegue se apoiar no que já sabe sobre aviões e precisa observar com mais atenção o contexto visual.
Como trabalhar sem um orçamento enorme?
A equipe reconhece que não tem recursos para treinar um modelo fundacional gigantesco. Por isso, os pesquisadores pegam modelos abertos e os adaptam com métodos de supervisão fraca, que exigem menos dados rotulados. Um exemplo é o aprendizado por reforço no momento de uso do modelo (test-time reinforcement learning). O projeto não segue uma abordagem única: segundo Glass, "mil flores florescem".
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.