Haiku deu PASS e apontou problema major na revisão de dez artigos: análise do relatório

Ao revisar dez artigos, o modelo Haiku, em um dos relatórios, deu o veredito PASS e marcou uma observação como major, ou seja, significativa. Os autores do material no Habr não escolheram em qual dos dois sinais acreditar. Eles percorreram o relatório com as fontes em mãos e separaram as observações em dois grupos: as que levaram a correções e as que foram rejeitadas. Também registraram à parte qual contexto faltou ao próprio modelo.

Uma ressalva importante: o anúncio não traz o texto completo da análise. Estão disponíveis a amostra, o tipo de contradição e a estrutura geral das conclusões. Os erros específicos, a redação dos prompts e a proporção de correções aceitas não foram divulgados na parte aberta, por isso não são presumidos aqui.

Onde a lógica do relatório quebra

PASS e major descrevem coisas diferentes. O primeiro costuma significar a decisão final: «o material pode seguir». O segundo descreve a gravidade de um achado isolado. Em um esquema normal, um major deveria bloquear o PASS. Se isso não acontece, dois campos da mesma resposta do revisor estão em conflito.

Pela prática geral com revisão por LLM, as causas dessa divergência são conhecidas, embora, neste caso, continuem sendo hipóteses:

• o veredito e a lista de observações são gerados em sequência, e o modelo nem sempre os harmoniza entre si;
• a avaliação final responde à pergunta «no geral, o texto lê bem e fecha», enquanto a observação registra um fato pontual;
• um modelo compacto vê o texto do artigo, mas não vê o repositório, os arquivos de configuração e as versões em que o artigo se baseia.

O último ponto converge com a conclusão dos próprios autores: parte das objeções se deve à falta de contexto do modelo, e não a um erro no texto.

O que a checagem com as fontes mostrou

A conferência com as fontes primárias resultou em três categorias. Na primeira estão as observações que se confirmaram e os artigos que foram corrigidos. Na segunda, as observações rejeitadas porque o modelo errou ou leu o trecho de forma equivocada. Na terceira, os casos em que não era possível avaliar se a observação procedia sem dados que o revisor não recebeu.

A terceira categoria é, na prática, a mais útil. Ela não mostra a qualidade do modelo em geral, mas o limite de aplicação de uma combinação específica de «modelo mais dados de entrada». Se o revisor erra de forma sistemática em fatos de fontes externas, o problema se resolve ampliando a entrada, e não trocando de modelo.

Principais parâmetros do experimento:

• revisor: Haiku, que, pelo nome, é o modelo pequeno da linha Claude;
• amostra: 10 artigos;
• contradição registrada: veredito PASS com observação major;
• método de verificação: conferência manual do relatório com as fontes;
• resultado: correções parcialmente aceitas e parcialmente rejeitadas, com as lacunas de contexto destacadas à parte.

Dez artigos são uma amostra pequena demais para estatística. Serve como observação do comportamento do pipeline, mas não como benchmark.

Como montar esse tipo de revisão na prática

A principal conclusão para quem usa LLM na revisão de textos ou de código: não confie no campo único de veredito. Se o relatório traz a severidade das observações, é melhor calcular o resultado final por uma regra externa ao modelo. Qualquer major ou critical envia o material para verificação manual, independentemente do que esteja escrito em PASS.

A segunda medida é dar ao revisor o contexto a que o material verificado faz referência: arquivos-fonte, versões de bibliotecas, links para a documentação. Se o modelo não enxerga algo, ele deve devolver o status «dados insuficientes» em vez de um PASS confiante. Vale descrever esse status de forma explícita no prompt.

A terceira medida é registrar em log divergências como PASS mais major como uma métrica à parte. A proporção delas mostra o quanto o formato do relatório é confiável e indica quando é hora de complicar o esquema, por exemplo adicionando uma segunda passada ou um modelo mais forte apenas nos casos controversos.

Um modelo barato no papel de revisor continua sendo uma opção viável enquanto o veredito dele for checado por regras, e não aceito na confiança.