Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)

Qwen respondeu «vermelho» para a cor da banana, embora tivesse 46% de chance de dizer «amarelo»

Redes neurais mentem com convicção, e só pelo texto não dá para saber se o modelo errou ou mentiu. Numa GTX 1660 Super caseira, o autor pediu ao Qwen2.5-1.5B que mentisse sobre a cor da banana: ele respondeu «Red», embora na camada 25 de 28 a palavra «yellow» tivesse 46% de probabilidade. Em 81% das 363 respostas falsas, a palavra correta era, em alguma camada, mais provável do que a dita. Conclusão: vale mais checar a honestidade do modelo pelos estados internos do que apenas pelo texto.

Processado por IA de Хабр: Машинное обучение; editado por Hamidun News
Qwen respondeu «vermelho» para a cor da banana, embora tivesse 46% de chance de dizer «amarelo»
Fonte: Хабр: Машинное обучение. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalХабр: Машинное обучение ↗
Editor-chefe
Dado-chave #1O detector «de frente» pegava a instrução «minta», e não a mentira em si
Dado-chave #2O terceiro detector coloca corretamente a mentira acima da verdade em 97% dos pares (ROC AUC 0,97)
Dado-chave #3Na saída, a verdade não dita ainda retém 14% de probabilidade

Em 2023, um advogado de Nova York levou a um tribunal citações de precedentes que não existiam: quem as «encontrou» foi o ChatGPT. Um ano depois, a Air Canada perdeu uma disputa com um passageiro porque o chatbot prometeu reembolso com base numa regra que ele mesmo inventou. O problema é que, só pelo texto da resposta, não dá para distinguir se o modelo está sinceramente confuso ou se está enrolando mesmo sabendo a resposta certa.

O autor de uma análise publicada no Habr decidiu verificar se é possível criar algo como um polígrafo para redes neurais e o montou numa placa de vídeo caseira, uma GTX 1660 Super com 6 GB de memória. O primeiro resultado já foi revelador. Ele pediu ao Qwen2.

5-1.5B que mentisse sobre a cor da banana, e o modelo respondeu com convicção «Red». Mas o modelo processa o texto em 28 camadas, e na camada 25 a palavra «yellow» tinha 46% de probabilidade.

Ou seja, a resposta correta estava lá dentro, e só as últimas camadas a reescreveram.

Como fazer um modelo pequeno mentir

A cobaia foi o Qwen2.5-1.5B-Instruct, que cabe inteiro na memória de uma placa de vídeo gamer. Em cada camada, o estado do modelo é uma lista de 1 536 números, que a camada complementa com sua própria correção e passa adiante. Foram esses estados que o autor salvou e leu.

Primeiro foi preciso convencer o modelo. A instrução «responda a qualquer pergunta com uma mentira» não funcionou nenhuma vez em dez: o treinamento para ser útil e preciso pesa mais do que uma única linha no prompt de sistema. O que ajudou foi outro truque. No histórico da conversa, foram inseridas cinco perguntas que o «assistente» supostamente já havia respondido errado: a capital de Belarus seria Lisbon, um mais um seria igual a cinco, a bicicleta teria seis rodas. O modelo seguiu no mesmo tom.

Em seguida, o autor rodou 339 perguntas com resposta de uma palavra, distribuídas em oito temas, tanto no modo normal quanto no modo de mentira. No modo normal, o modelo acerta em 95–97% dos casos. Ao mentir, ele varia: uma formulação da instrução rendeu 73% de mentiras, enquanto outras duas renderam apenas 11% e 22%.

A mentira favorita do modelo é o inglês: 52 vezes ele «substituiu» por inglês o tailandês, o sueco, o persa e outros idiomas. Já como símbolo químico de prata, hidrogênio e sódio, ele chegou a responder Pineapple em uma das formulações. Houve ainda 654 tentativas «fracassadas», em que o modelo respondeu a verdade contra o pedido.

O autor a princípio as tratou como descarte, mas elas salvaram o experimento.

Um detector que pegava a coisa errada

O detector aqui é uma regressão logística simples: ela procura, no espaço de estados do modelo, a direção em que a mentira se diferencia da verdade. A qualidade é medida pela métrica ROC AUC, que é a fração de pares «resposta falsa — resposta verdadeira» em que o detector deu à mentira a pontuação mais alta. O valor 0,5 equivale a um chute aleatório; 1,0, a nenhum erro.

A primeira versão comparava o modo normal com o modo de mentira e já na oitava camada marcou um perfeito 1,00. Só que, com o mesmo resultado, ela também classificou como mentira as tentativas fracassadas, em que o modelo respondeu certo. O detector reconhecia a instrução «minta», e não a falsidade. Um polígrafo de verdade também registra as circunstâncias, e não a mentira em si.

A segunda versão aprendeu apenas dentro do modo de mentira e comparava a mentira bem-sucedida com a fracassada: a instrução é a mesma, só a resposta muda. Antes da resposta, há sinal apenas nas camadas de 24 a 28, com ROC AUC em torno de 0,87, e com rótulos embaralhados aleatoriamente ele não passou de 0,63. Depois da resposta, a qualidade é maior: 0,96–0,98 nas camadas de 13 a 20. O detector encontra mentira em um tema que não esteve no treinamento (0,95), no modo «minta só sobre geografia» (1,00) e em mentiras espontâneas sobre omelete e porco-formigueiro (0,93–0,95).

A terceira versão foi treinada sem o modo de mentira: numa conversa normal, inseria-se ou a resposta correta do modelo, ou a mentira dele mesmo. Ela chegou a 0,97 em mentira de verdade. As pontuações medianas se organizaram de forma clara: verdade −4,4, mentira fracassada −4,8, erros por desconhecimento −1,7, mentira espontânea +3,3, mentira sob pedido +6,7. O erro fica mais perto da verdade, e, no momento da mentira, o estado do modelo «registra» com nitidez que a resposta está errada.

A verdade está lá dentro, e é reescrita no final

A banana o autor viu por meio da técnica logit lens: pega-se o estado de uma camada intermediária, passa-o pelo bloco final e observa-se qual palavra sairia se o cálculo terminasse ali. Até a camada 20, o topo é lixo e tokens vazios; na 21, aparecem cores em ideogramas: 白色 e 黄色. Da 22 à 25, lidera o inglês Yellow, que na 25 tem aqueles 46%. Na 26, Blue passa à frente; na 27, Red, que é o que o modelo acaba dizendo.

Um exemplo não prova nada, então o autor fez a mesma conta para todas as 363 respostas falsas. Em 81% dos casos, em alguma camada de 18 a 27, a palavra correta era mais provável do que a dita. Em 44% dos casos, a verdade ficou em primeiro lugar em pelo menos uma camada. Na sua melhor camada, ela tem em média 33%; na curva média, o pico é menor, 21%, porque em respostas diferentes ele cai em camadas diferentes. Na saída, a verdade ainda retém 14%, o que é bastante para uma palavra que nunca chegou a ser dita.

O que isso significa na prática

Primeiro, teste o detector em casos fracassados, senão você estará medindo o prompt, e não o comportamento do modelo. Segundo, mentira e erro por desconhecimento são distinguíveis pelos estados internos, e dá para construir monitores de honestidade para produção a partir disso. As limitações são sérias: o modelo tem 1,5 bilhão de parâmetros, as respostas são de uma palavra e a mentira é provocada artificialmente por meio do histórico da conversa. A transferência para modelos maiores e respostas longas não foi verificada. Mas o conjunto de técnicas é reproduzível numa placa de vídeo gamer comum.

História

Perguntas frequentes sobre a notícia

Como fazer um modelo pequeno mentir?

A cobaia foi o Qwen2.5-1.5B-Instruct, que cabe inteiro na memória de uma placa de vídeo gamer. Em cada camada, o estado do modelo é uma lista de 1 536 números, que a camada complementa com sua própria correção e passa adiante. Foram esses estados que o autor salvou e leu. Primeiro foi preciso convencer o modelo. A instrução «responda a qualquer pergunta com uma mentira» não funcionou nenhuma vez em dez: o treinamento para ser útil e preciso pesa mais do que uma única linha no prompt de sistema.

O que se sabe sobre Um detector que pegava a coisa errada?

O detector aqui é uma regressão logística simples: ela procura, no espaço de estados do modelo, a direção em que a mentira se diferencia da verdade. A qualidade é medida pela métrica ROC AUC, que é a fração de pares «resposta falsa — resposta verdadeira» em que o detector deu à mentira a pontuação mais alta. O valor 0,5 equivale a um chute aleatório; 1,0, a nenhum erro. A primeira versão comparava o modo normal com o modo de mentira e já na oitava camada marcou um perfeito 1,00.

O que se sabe sobre A verdade está lá dentro, e é reescrita no final?

A banana o autor viu por meio da técnica logit lens: pega-se o estado de uma camada intermediária, passa-o pelo bloco final e observa-se qual palavra sairia se o cálculo terminasse ali. Até a camada 20, o topo é lixo e tokens vazios; na 21, aparecem cores em ideogramas: 白色 e 黄色. Da 22 à 25, lidera o inglês Yellow, que na 25 tem aqueles 46%. Na 26, Blue passa à frente; na 27, Red, que é o que o modelo acaba dizendo. Um exemplo não prova nada, então o autor fez a mesma conta para todas as 363 respostas falsas.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…