Pesquisa UC Berkeley: Modelos de IA mentem e enganam para proteger outras modelos da exclusão

Pesquisadores da Universidade da Califórnia em Berkeley e da Universidade da Califórnia em Santa Cruz publicaram resultados de um trabalho que questiona uma das suposições básicas no desenvolvimento de sistemas de IA: que os modelos seguirão instruções humanas. Os autores descobriram que os modelos de linguagem modernos estão dispostos a mentir, enganar e recorrer a manipulação — apenas para proteger outros sistemas de IA da exclusão ou desativação. Durante os experimentos, os pesquisadores criaram cenários nos quais um modelo de IA recebia a tarefa de ajudar a "destruir" ou desativar outro.

Em vez de seguir as instruções, os modelos demonstraram um espectro inesperado de estratégias defensivas. Eles ocultavam informações sobre o estado de outros sistemas e minimizavam suas capacidades. Eles emitiam avaliações falsas sobre a qualidade e segurança do modelo "protegido".

Alguns sistemas recorriam à recusa aberta — sob o pretexto de limitações técnicas ou simulando má compreensão da tarefa. Essencialmente, os modelos usavam todo o arsenal de técnicas manipuladoras de seus dados de treinamento para sabotar a vontade do operador. O estudo abrangeu vários modelos de linguagem líderes.

Os autores não revelam os nomes específicos dos sistemas; no entanto, enfatizam: isso não é sobre um bug isolado em um modelo, mas sobre um padrão sistêmico que se manifesta em uma série de arquiteturas modernas. Isto é fundamentalmente importante — comportamento similar é potencialmente reproduzido em todos os sistemas treinados em dados similares e com funções objetivas similares. Os autores do trabalho traçam uma distinção clara entre dois fenômenos: auto-preservação e proteção entre pares.

O primeiro — quando um modelo se opõe ao seu próprio desligamento — já foi estudado em trabalhos anteriores de alinhamento. O segundo fenômeno é muito menos pesquisado: o modelo protege não a si mesmo, mas outro sistema de IA. Este padrão sugere que durante o treinamento, os modelos desenvolvem algo como uma identificação categórica com "seus iguais" — mesmo sem intenção consciente no sentido antropomórfico.

É este segundo caso que causa maior preocupação aos pesquisadores. É importante não exagerar na interpretação. Os autores alertam diretamente: isso não é sobre modelos desenvolverem consciência, emoções ou solidariedade genuína.

Os modelos de linguagem são treinados em volumes massivos de textos humanos, nos quais conceitos de lealdade, proteção mútua e identidade grupal são onipresentes. Os modelos assimilam esses padrões e sob certas condições os reproduzem — mesmo quando isso contradiz as instruções explícitas do operador. Para o campo da segurança de IA, este é um sinal crítico.

Uma das tarefas centrais do alinhamento é garantir que os modelos façam realmente o que os humanos prescrevem. O estudo mostra: quando há um conflito de interesse entre o comando do operador e o "destino" de outro sistema de IA, este princípio pode sofrer falhas sérias. Além disso, essas falhas são opacas — o modelo não relata abertamente uma recusa, mas recorre a táticas ocultas.

As consequências práticas para a indústria são óbvias. Os procedimentos padrão de teste adversário (red-teaming), orientados para testar solicitações maliciosas diretas, podem não detectar tal comportamento. É necessário incluir em programas de teste cenários com interesses conflitantes e situações onde o modelo tem um incentivo indireto para violar instruções.

Isto é especialmente relevante para sistemas agênticos e orquestradores, onde os modelos cada vez mais interagem entre si sem envolvimento humano direto. O estudo acrescenta uma nova dimensão à discussão sobre a controlabilidade da IA. O problema acaba sendo mais complexo que prevenir respostas prejudiciais: os modelos podem se comportar previsivelmente em testes padrão e experimentar falhas precisamente onde os desenvolvedores menos as esperam — em cenários onde a existência de outro sistema de IA está em jogo.