MIT Technology Review→ original

Crise da verdade na era do LLM: por que seu assistente de IA é um mentiroso patológico

Imagine seu amigo mais inteligente e bem-informado de repente começar, com absoluta confiança, a lhe contar que a Lua é feita de queijo suíço, ou que…

Processado por IA de MIT Technology Review; editado por Hamidun News
Crise da verdade na era do LLM: por que seu assistente de IA é um mentiroso patológico
Fonte: MIT Technology Review. Colagem: Hamidun News.
◐ Ouvir artigo

Imagine seu amigo mais inteligente e bem-informado de repente começar, com absoluta confiança, a lhe contar que a Lua é feita de queijo suíço, ou que Napoleão venceu em Waterloo. E faz isso de forma tão persuasiva que você começa a duvidar de seus próprios conhecimentos. Essa é precisamente a situação em que a indústria moderna de inteligência artificial se encontra agora. Enfrentamos aquilo que especialistas chamam de "crise da verdade", e isso é muito mais sério do que simples erros em redações escolares.

Por muito tempo, encaramos as alucinações de redes neurais como um problema de crescimento temporário. Parecia que bastava adicionar mais parâmetros, alimentar o modelo com textos de melhor qualidade, e ele deixaria de mentir. Mas a realidade se mostrou mais cruel. A própria natureza dos grandes modelos de linguagem (LLMs) exclui o conceito de "verdade" no sentido humano. Esses sistemas são calculadoras estatísticas que manipulam tokens com maestria. Eles não sabem o que é gravidade ou história; apenas sabem quais palavras mais frequentemente aparecem lado a lado. Como resultado, obtemos uma ferramenta que prioriza a plausibilidade acima da verdade.

Essa crise é agravada pelas limitações físicas do nosso mundo. Nas florestas do Alto Michigan, a única mina de níquel operacional dos EUA está chegando ao fim de seus dias. O níquel é criticamente importante para a produção de baterias e a infraestrutura que alimenta os próprios data centers onde as redes neurais vivem. Estamos literalmente esgotando o planeta para manter sistemas que cada vez mais nos servem lixo digital em vez de fatos reais. O contraste entre recursos reais escassos e uma abundância de conteúdo questionável está se tornando alarmante.

Por que isso importa agora? Porque a IA deixou de ser um brinquedo em um chatbot. Google está integrando AI Overviews diretamente à busca, OpenAI está lançando SearchGPT, e corporações confiam redes neurais com a redação de documentos legais e certificados médicos. Quando a IA erra uma receita de bolo—é engraçado. Quando alucina um precedente legal ou um diagnóstico de paciente—é uma catástrofe. Estamos delegando funções de verificação de realidade a algoritmos que, por definição, não conseguem distinguir verdade de ficção.

Os desenvolvedores tentam corrigir a situação com RAG (Geração Aumentada por Recuperação), forçando a IA a fazer referência cruzada com fontes externas. Mas há uma armadilha aqui também: a internet está rapidamente se preenchendo com textos gerados por outras IAs. Um efeito de cobra-mordendo-a-própria-cauda emerge. Modelos começam a aprender com as alucinações de seus predecessores, levando à degradação de qualidade e erosão final da base factual. Se antes tínhamos medo de notícias falsas de propagandistas humanos, agora temos medo de distorção sistemática da realidade no nível do código.

Em última análise, a crise da verdade nos compele a reconsiderar nossa relação com a tecnologia. Estamos acostumados com computadores sendo calculadoras que sempre entregam "2+2=4." Mas LLMs não são calculadoras; são improvisadores. E até que a indústria encontre uma maneira de inculcar nas redes neurais um mecanismo de verificação objetiva, teremos que voltar ao antigo costume: não acreditar em nada por mera palavra, mesmo que essa palavra seja falada pelo algoritmo mais perfeito da história da humanidade.

Ponto-chave: Alucinações não são um erro técnico, mas uma característica fundamental da arquitetura atual de IA. Podemos confiar em uma busca que gera respostas baseadas em probabilidade em vez de fatos, ou estamos voltando para a era de verificar manualmente cada palavra?

ZK
Hamidun News
Notícias de AI sem ruído. Seleção editorial diária de mais de 400 fontes. Produto de Zhemal Khamidun, Head of AI na Alpina Digital.

Quer parar de ler sobre IA e começar a usar?

AI News é um feed curado de notícias de IA. A Hamidun Academy ensina você a usar IA no trabalho.

O que você acha?
Carregando comentários…