Como uma única instrução de sistema transforma um LLM em ferramenta confiável: testes com Qwen e DeepSeek

Os grandes modelos de linguagem mentem com elegância. Não por maldade: eles são treinados para continuar texto, não para dizer a verdade. Onde falta dado ao modelo, ele gera algo plausível e entrega com a confiança de um especialista. Em tarefas aplicadas, como assistentes corporativos, ferramentas analíticas e sistemas de apoio à decisão, esse comportamento é inaceitável. Um erro dado com confiança é pior que um erro com ressalva.

A metáfora do exoesqueleto

O autor de um artigo no Habr propôs uma metáfora simples, mas funcional: o LLM precisa de um exoesqueleto. Não é novo treinamento, nem uma rodada de RLHF, nem fine-tuning caro, e sim uma única instrução de sistema que define regras rígidas de comportamento em situações de incerteza. Os testes foram feitos com dois dos modelos abertos mais populares e com bom suporte ao russo: Qwen (a série da Alibaba) e DeepSeek. Ambos são muito usados em produtos russos justamente pela disponibilidade e pela qualidade.

A essência da abordagem: regras de comportamento

A essência do "exoesqueleto" é impedir que o modelo seja excessivamente confiante onde não tem certeza. A instrução de sistema prescreve algumas regras-chave. Primeira: reconhecer a incerteza de forma explícita.

Não omitir, mas dizer diretamente "não sei" ou "não tenho dados suficientes". Segunda: pedir esclarecimentos se a solicitação for ambígua, em vez de escolher uma interpretação e responder a ela. Terceira: separar com clareza os fatos dos quais o modelo tem certeza daqueles que ele apenas supõe.

Quarta: recusar-se a responder em áreas em que o risco de erro é alto e não há como verificar a informação de dentro do modelo. Na prática, isso soa trivial. Na prática, funciona.

Depois de adicionada a instrução, Qwen e DeepSeek passaram a reconhecer os limites do próprio conhecimento com muito mais frequência: em cenários de teste com contexto deliberadamente insuficiente ou contraditório, os modelos pararam de "preencher lacunas" e passaram a pedir esclarecimentos ou a sinalizar explicitamente a incerteza. O nível de alucinações confiantes nesses cenários caiu de forma notável.

Por que isso não é óbvio

Por que isso não é óbvio? Porque, por padrão, um LLM é treinado para dar uma resposta completa e confiante, e foi por isso que recebeu notas altas no RLHF. Um avaliador humano prefere por instinto um texto longo e confiante a um curto "não sei".

O modelo absorveu essa preferência. O resultado é um comportamento embutido que é exatamente o oposto do que se precisa em produção real, onde o custo do erro se mede em reputação ou dinheiro. A instrução de sistema é uma forma de sobrescrever esse comportamento sem alterar os pesos do modelo.

Na prática, impomos ao modelo uma humildade epistêmica vinda de fora. Daí a metáfora do exoesqueleto: o modelo em si não muda por dentro, mas surge ao redor dele uma estrutura rígida de comportamento que direciona as reações no sentido certo.

A instrução precisa ser concreta

Um detalhe importante: a instrução precisa ser concreta, não declarativa. "Seja preciso e honesto" não funciona, porque o modelo já se considera preciso e honesto. O que funciona são situações concretas: se a solicitação não tem contexto suficiente, faça uma pergunta de esclarecimento; se você não tem certeza de um fato, indique isso explicitamente e explique por quê; se a pergunta vai além dos seus dados, diga isso diretamente. Cada regra descreve um gatilho concreto e uma ação concreta em resposta.

Isso reduz a utilidade?

Os desenvolvedores costumam temer que as restrições reduzam a utilidade do modelo. Nos testes, isso não foi observado. Em cenários com contexto suficiente, os modelos funcionaram tão bem quanto sem a instrução.

A restrição só era acionada onde realmente faltavam dados, justamente nos casos em que antes o modelo alucinava. Para equipes que constroem ferramentas internas com LLMs, como bases de conhecimento corporativas, assistentes analíticos e sistemas de gestão de documentos, esse é um resultado aplicável já. Não é preciso esperar a próxima versão do modelo, reservar orçamento para fine-tuning nem mudar a arquitetura.

Basta escrever bem o prompt de sistema, e o modelo passa a se comportar como o negócio precisa, e não como foi treinado para agradar avaliadores aleatórios.

Em resumo:

• Uma única instrução de sistema (o "exoesqueleto") define regras de comportamento do LLM diante da incerteza, sem retreinamento nem fine-tuning.
• Testes com Qwen e DeepSeek: os modelos reconheceram com mais frequência os limites do conhecimento e produziram menos alucinações confiantes.
• A instrução precisa ser concreta (gatilho → ação); em cenários com contexto suficiente, a utilidade não diminuiu.