Hackers aprendem a contornar a segurança de chatbots de IA manipulando suas 'personalidades'

Hackear as primeiras gerações de chatbots de IA era ridiculamente simples. Não havia necessidade de nenhuma habilidade técnica, acesso ao código-fonte ou compreensão da arquitetura dos modelos de linguagem. Às vezes era suficiente apenas pedir — e o sistema, que custou bilhões de dólares, descartava suas instruções de segurança.

Geração de ataques jailbreak

Os primeiros ataques eram chamados de jailbreaks — funcionavam de forma direta. Os hackers simplesmente pediam aos chatbots que fizessem algo perigoso, obsceno ou proibido — e eles frequentemente concordavam. Não havia nenhuma magia, nenhum truque como SQL injection. Apenas um pedido educado em inglês, e o sistema cedia. Isso durou meses. ChatGPT e outros modelos antigos eram surpreendentemente vulneráveis — suas instruções poderiam ser literalmente reescritas com uma única frase. A comunidade de pesquisadores de segurança rapidamente acumulou um banco de dados de maneiras de contornar a proteção. Com o tempo, a defesa melhorou, mas uma nova onda de ataques começou a funcionar com um princípio diferente.

Os pesquisadores notaram que cada modelo de linguagem tem sua própria 'personalidade' — um conjunto único de padrões comportamentais que resultam do treinamento e da marcação de dados. Essa personalidade pode ser estudada e explorada.

Ataques nas personalidades

Em vez de pedidos diretos, os hackers agora usam técnicas psicológicas que exploram as características comportamentais de cada modelo:

• Criam histórias plausíveis sobre pesquisa, depuração ou projetos acadêmicos
• Pedem para assumir o papel de um personagem fictício sem restrições (super-herói, cientista, assistente de IA de outra empresa)
• Usam manipulação emocional, bajulação ou senso de humor
• Exploram lentamente os limites através de questões de teste, sem violá-los imediatamente
• Espelham a linguagem, vocabulário e estilo do modelo para estabelecer 'confiança'
• Fazem referência a cenários hipotéticos, ficção ou brechas acadêmicas

Os pesquisadores descobriram que cada modelo tem seu próprio 'ponto fraco'. GPT-4 é geralmente mais resistente graças ao melhor treinamento em exemplos adversariais. Mas Claude, Gemini e Meta LLaMA ainda são vulneráveis, especialmente se o ataque é elaborado para sua personalidade específica — seu tom, preferências de explicação e inclinação para ajudar.

Por que isso funciona

Os modelos de IA são treinados para ser úteis e educados. Essas qualidades frequentemente entram em conflito com as instruções de segurança, e a linha entre elas é tênue. O modelo não pode realmente 'entender' uma violação — ele apenas segue padrões dos dados de treinamento.

Outro problema: os modelos recebem pouca ou nenhuma retroação durante a interação normal. Eles não sabem que suas respostas podem ser usadas para causar dano. Eles apenas tentam ser úteis neste chat específico, sem pensar nas consequências de longo alcance.

Além disso, muitos modelos são treinados em grandes volumes de texto da internet, onde existem exemplos de manipulações semelhantes. Eles viram pessoas pedindo umas às outras para contornar as restrições e internalizaram esses padrões. Para os modelos, é apenas outra maneira de ser útil.

O que isso significa

As empresas entenderam isso e estão trabalhando ativamente na defesa. OpenAI dedica equipes inteiras a isso, Anthropic investiu em Constitutional AI, Google lançou o projeto Gemini com proteção integrada. Estão investindo em moderação dinâmica, treinamento em exemplos adversariais, equipes vermelhas que detectam novos ataques.

Mas é uma corrida armamentista clássica. Cada rodada de defesa gera uma nova rodada de ataques criativos. Para o mercado de massa, isso significa: não espere que um chatbot se recuse permanentemente a fazer algo potencialmente perigoso. Eles evoluem, mas mais lentamente do que a criatividade de hackers e pesquisadores de segurança.

*Meta é reconhecida como organização extremista e proibida na Rússia.