Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarMIT News→ original

Modelos de áudio tiram nota alta em testes mesmo com ruído aleatório, mostram MIT e IBM

Modelos de áudio em testes de múltipla escolha frequentemente não ouvem a gravação e adivinham a resposta pelo texto. Um exemplo dado pela equipe do MIT e da IBM: na pergunta sobre qual animal rosna, as opções são "esquilo, leão, jacaré, chapim", e o modelo simplesmente escolhe "leão". Se, em vez da gravação, for enviado ruído aleatório, as notas continuam razoáveis. Por isso, ao testar modelos de áudio, inclua ruído e silêncio: se a nota não cair, o teste não está medindo a audição.

Processado por IA de MIT News; editado por Hamidun News
Modelos de áudio tiram nota alta em testes mesmo com ruído aleatório, mostram MIT e IBM
Fonte: MIT News. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMIT News ↗
Editor-chefe
Dado-chave #1O IPLoc troca o nome "avião" por "Elizabeth", para que o modelo olhe para a imagem
Dado-chave #2O projeto MIT-IBM existe há muitos anos e a equipe publicou cerca de duas dezenas de artigos
Dado-chave #3Em seguida, a equipe vai trabalhar com modelos que escutam enquanto eles mesmos falam

Imagine que você está escolhendo um modelo de áudio para um produto de voz e olha os resultados em benchmarks. A nota é alta, então o modelo entende bem o som? Não necessariamente. A equipe do MIT-IBM Computing Research Lab, liderada por Jim Glass, pesquisador sênior do laboratório CSAIL do MIT, descobriu que muitos modelos de áudio, em testes de múltipla escolha, simplesmente não ouvem a gravação. Eles adivinham a resposta certa pelo texto da pergunta. Se, em vez do som, for enviado ruído aleatório, os resultados continuam razoáveis.

Um modelo que "escuta" sem som

A questão são os modelos capazes de perceber áudio e raciocinar sobre ele. Testá-los é, em geral, simples: faz-se uma pergunta e oferecem-se algumas alternativas. Isso sai mais barato do que avaliar respostas livres. Uma resposta livre teria de ser checada por pessoas, o que é caro e demorado, ou por outro modelo de linguagem atuando como juiz, que também tem suas fraquezas.

Glass dá um exemplo ilustrativo. Pergunta: qual animal rosna na gravação? Alternativas: esquilo, leão, jacaré, chapim. O modelo não presta atenção ao som; ele vê a palavra "leão" entre as opções e a escolhe. Os pesquisadores confirmaram isso ao enviar ruído aleatório no lugar da gravação. Mesmo assim, os modelos se saíam bastante bem, o que indica que eles se apoiavam no texto da pergunta.

No artigo OmniR1, a equipe propôs maneiras de fazer o modelo prestar mais atenção ao áudio e depender menos das pistas contidas na pergunta. A conclusão prática para quem avalia modelos de áudio é: inclua na verificação casos de controle com ruído ou silêncio. Se a nota quase não cai, o seu teste está medindo outra coisa. Também vale comparar o modelo em diferentes tipos de benchmark, e não em apenas um.

O mesmo problema com imagens

Uma lógica parecida aparece no trabalho com imagens. A pesquisa IPLoc mostrou que até modelos atuais, como o GPT-4o, têm dificuldade para localizar um objeto específico em uma imagem quando recebem apenas alguns exemplos. Os autores criaram um treinamento com troca de nomes: por exemplo, a palavra "avião" era substituída pelo nome "Elizabeth". Dessa forma, o modelo não consegue se apoiar no que já sabe sobre aviões e precisa observar com mais atenção o contexto visual.

Há ainda outra ideia: às vezes o modelo já possui a representação interna necessária, mas ela se perde depois de um ajuste fino adicional. Por isso, parte do trabalho é recuperar essas capacidades sem uma nova rotulagem de dados.

Como trabalhar sem um orçamento enorme

A equipe reconhece que não tem recursos para treinar um modelo fundacional gigantesco. Por isso, os pesquisadores pegam modelos abertos e os adaptam com métodos de supervisão fraca, que exigem menos dados rotulados. Um exemplo é o aprendizado por reforço no momento de uso do modelo (test-time reinforcement learning). O projeto não segue uma abordagem única: segundo Glass, "mil flores florescem". Também participaram do trabalho Rogério Feris, Brian Kingsbury e Samuel Thomas, da IBM Research, e Hilde Kuehne, da Universidade de Tübingen.

O projeto começou de forma simples: os modelos recebiam pares de "imagem e descrição sonora" e também pares que não combinavam. Assim, o modelo aprendeu sozinho a associar o som da palavra "farol" à imagem de um farol, sem texto. Depois, foram acrescentados vídeo e som ambiente: o modelo passou a distinguir como soam papagaios, guitarras elétricas e violões. Mais tarde, foram incorporados grandes modelos de linguagem. Ao longo dos anos, a equipe publicou cerca de duas dezenas de artigos conjuntos relevantes e divulga benchmarks abertos.

O que vem a seguir e quais são as limitações

No próximo ano, a equipe vai concentrar o foco em sistemas de diálogo full-duplex. São modelos que escutam enquanto falam, como as pessoas, em vez de esperar a sua vez. Glass acredita que conversar com esses assistentes de voz será mais natural. Por enquanto, os modelos abertos desse tipo ficam atrás dos grandes modelos de linguagem: têm habilidades básicas de conversa, mas faltam-lhes compreensão de tempo e profundidade de conhecimento.

Uma ressalva importante: trata-se de uma entrevista, e não de um artigo com tabela de resultados. Não há números sobre o quanto a nota caiu com ruído. Ainda assim, o alerta deve ser levado em conta: um resultado alto de um modelo de áudio em um teste de escolha de resposta ainda não prova que ele ouviu alguma coisa.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Um modelo que "escuta" sem som?

A questão são os modelos capazes de perceber áudio e raciocinar sobre ele. Testá-los é, em geral, simples: faz-se uma pergunta e oferecem-se algumas alternativas. Isso sai mais barato do que avaliar respostas livres. Uma resposta livre teria de ser checada por pessoas, o que é caro e demorado, ou por outro modelo de linguagem atuando como juiz, que também tem suas fraquezas. Glass dá um exemplo ilustrativo. Pergunta: qual animal rosna na gravação? Alternativas: esquilo, leão, jacaré, chapim.

O que se sabe sobre O mesmo problema com imagens?

Uma lógica parecida aparece no trabalho com imagens. A pesquisa IPLoc mostrou que até modelos atuais, como o GPT-4o, têm dificuldade para localizar um objeto específico em uma imagem quando recebem apenas alguns exemplos. Os autores criaram um treinamento com troca de nomes: por exemplo, a palavra "avião" era substituída pelo nome "Elizabeth". Dessa forma, o modelo não consegue se apoiar no que já sabe sobre aviões e precisa observar com mais atenção o contexto visual.

Como trabalhar sem um orçamento enorme?

A equipe reconhece que não tem recursos para treinar um modelo fundacional gigantesco. Por isso, os pesquisadores pegam modelos abertos e os adaptam com métodos de supervisão fraca, que exigem menos dados rotulados. Um exemplo é o aprendizado por reforço no momento de uso do modelo (test-time reinforcement learning). O projeto não segue uma abordagem única: segundo Glass, "mil flores florescem".

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…