Codex deixou de pesquisar na internet em teste em russo, e a taxa de sucesso caiu de 100% para 0%

Você pede a um agente que corrija a exportação de um treino para um relógio. Ele altera campos, insere valores de frequência cardíaca e apresenta um patch bem organizado. Só que o relógio não reconhece aquele formato. A resposta está em um fórum, mas o agente nem chegou a consultá-lo. Em um experimento publicado no Habr, esse comportamento apareceu depois que as instruções foram traduzidas do inglês para o russo. A conclusão prática é simples: diante de correções estranhas, vale conferir o registro de consultas às fontes e fornecer ao agente as particularidades conhecidas do projeto.

A autora investigou se o idioma das instruções afeta o trabalho dos agentes e se precisava traduzir os relatos de seu projeto worklore, uma biblioteca de casos de engenharia analisados. Foram 1350 execuções ao todo: seis tarefas, nove configurações de agentes, cinco formas de apresentação e cinco repetições de cada combinação. É um pequeno experimento realizado pela autora, mas ele revela uma falha que pode passar facilmente despercebida no trabalho cotidiano.

Onde o agente começou a adivinhar

O caso mais claro envolveu o formato de uma faixa de frequência cardíaca em um treino para Garmin. Nas condições do experimento, a particularidade necessária estava descrita em um fórum, mas não constava na documentação. Com as instruções em inglês, o Codex com nível baixo de raciocínio pesquisou o formato na internet todas as vezes e resolveu corretamente as cinco tentativas.

Depois da tradução das instruções para o russo, o mesmo agente não consultou a internet nenhuma vez. Em vez de verificar, tentou uma série de mudanças plausíveis: removeu a meta estruturada, passou a usar valores absolutos de frequência cardíaca e acrescentou novos campos ao lado da chave antiga. Nenhuma tentativa teve sucesso. A taxa caiu de 100% para 0%, embora cada percentual represente aqui apenas cinco execuções.

O Kimi K3.1 apresentou um padrão semelhante em uma tarefa sobre particularidades de um provedor OAuth. A versão em inglês produziu cinco soluções corretas em cinco tentativas; a versão em russo, nenhuma. O agente pulou a busca e manteve suposições incorretas sobre os parâmetros de acesso e o tempo de validade do token. A autora não investigou por que o idioma alterava a decisão de usar uma ferramenta.

O dado que faltava foi mais útil do que a tradução

Acrescentar uma nota sobre um caso semelhante resolvia uma parte significativa dos problemas. Por exemplo, se um provedor emite tokens que não expiram, é útil informar essa particularidade diretamente ao agente. Assim, ele não precisa deduzir o comportamento de um serviço específico a partir de conhecimentos gerais sobre OAuth.

Em quatro tarefas nas quais a nota continha o dado que faltava, a taxa de sucesso subiu de 47% para 94% com as instruções em inglês e de 35% para 92% com as instruções em russo. Em duas tarefas de controle, nas quais a resposta já estava na documentação ou em um log, o ganho foi pequeno. Isso reforça uma ideia bastante prática: guardar as particularidades das integrações descobertas pela equipe e fornecê-las ao agente junto com a tarefa.

Traduzir a própria nota quase não alterou os resultados. Com as instruções em russo, a nota em russo gerou cerca de dois pontos percentuais a mais de soluções corretas, mas o intervalo de incerteza incluía a ausência de efeito. Identificadores, caminhos e mensagens de erro permaneceram em inglês nas duas versões. Para esse tipo de memória técnica, a precisão dos detalhes foi mais importante do que o idioma da explicação.

O que verificar no seu processo

Ainda é cedo para afirmar, com base nesses dados, que o russo causa um desempenho ruim dos agentes. O experimento envolveu apenas seis tarefas preparadas especificamente, um idioma além do inglês e cinco repetições por combinação. Além disso, foram comparadas configurações completas: modelo, ambiente de execução e ferramentas disponíveis. O resultado não pode ser automaticamente extrapolado para outras versões ou configurações.

Há outra limitação: em algumas execuções, os agentes encontraram nas buscas os relatos publicados pelo próprio worklore. Isso alterou o contexto disponível para eles. A autora recalculou separadamente os resultados gerais sem essas execuções; a observação principal se manteve, mas algumas combinações de modelo e tarefa ficaram sem uma comparação livre dessa interferência.

Um desenvolvedor pode escolher um problema conhecido que exija uma fonte externa e executá-lo várias vezes em dois idiomas. É preciso observar as chamadas de ferramentas e o resultado da validação do código. Se a busca for pulada com frequência, pode exigir explicitamente a consulta à fonte e repetir a comparação. É melhor anexar desde o início qualquer dado conhecido à tarefa, junto com um link ou trecho da fonte. Já quem avalia um agente para a equipe na gestão de produto deve incluir o idioma das tarefas de trabalho na avaliação: o mesmo significado em uma solicitação não garante o mesmo caminho até a solução.