Autores de artigo no arXiv limitam a automelhoria de agentes à classe de verificação

O preprint arXiv:2610.10611v1, da seção cs.AI, trata de uma questão que costuma ficar fora de cena na avaliação de agentes. Um agente pode ficar melhor porque buscou a solução por mais tempo, recebeu suporte adicional ou mudou a forma como propõe e verifica respostas. A pontuação final em um benchmark não distingue esses três casos. Os autores constroem um arcabouço formal em que as diferenças ficam visíveis e provam que as classes de problemas alcançáveis com verificação limitada e aleatoriedade oculta ficam entre Σₖᴾ e Σₖ₊₁ᴾ da hierarquia polinomial.

Como o modelo funciona

A unidade básica do trabalho se chama estágio. Ela é definida por quatro elementos: as transcrições de interação admissíveis, os limites polinomiais, um protocolo de verificação alternante e um verificador terminal, que emite o veredito final. O estágio tem dois modos. O native reach usa o suporte padrão. O closure frontier permite todo o suporte que a interface já admite.

Para que tudo isso defina linguagens formais de fato, são necessárias duas condições: uma lacuna uniforme ponto a ponto de probabilidades e a task-relative soundness, ou seja, a correção relativa a cada tarefa específica. Com elas, as classes ficam definidas de forma rigorosa e podem ser comparadas entre si.

O que foi provado

Principais resultados do resumo:

• a amplificação majoritária independente preserva as duas linguagens, native reach e closure frontier;
• a aceitação pelo princípio «existe uma fita aleatória com a qual a verificação passa» pode deixar passar respostas incorretas;
• a verificação exata é um caso particular com aleatoriedade zero, para o qual há resultados de posicionamento na hierarquia e de completude;
• as classes com verificador randomizado satisfazem Σₖᴾ ⊆ Σₖᴿⱽ ⊆ Σₖ₊₁ᴾ;
• a expansão estrita e a separação por profundidade exigem hipóteses explícitas de complexidade;
• com BPP = P, obtêm-se análogos exatos com os mesmos limites.

Uma seção à parte trata das representações. A aceitação invariante da resposta é separada dos rótulos «núcleo ou suporte», que podem mudar quando o sistema é refatorado. Ou seja, redistribuir funções dentro do agente não prova que ele ficou mais capaz.

Automelhoria recursiva

Para sistemas que se automodificam, a conclusão é bastante sóbria. Se a automodificação é uniformemente limitada, ocorre sob um interpretador correto comum e usa um protocolo de verificação fixo, o sistema permanece na mesma classe de verificação. A capacidade de reescrever a si mesmo, por si só, não desloca esse limite.

Há ainda um segundo problema. Quando o agente percorre candidatos de forma adaptativa, a probabilidade de uma escolha falsa aumenta. Para isso, os autores introduzem um orçamento separado de erro condicional. Uma família de problemas de síntese XOR com cotas forçadas mostra que a razão de sucesso da busca pode crescer sem limite, embora as linguagens aceitas não mudem. Auditorias exatas e probabilísticas verificam que evidências são necessárias para isso.

O que verificar na prática

O trabalho é teórico, trata-se da primeira versão do preprint, e o resumo não menciona experimentos com modelos reais. Não espere recomendações diretas ali, mas os compromissos aos quais os autores vinculam as alegações de automelhoria se traduzem em perguntas de engenharia: o que conta como resposta correta, quais evidências são admissíveis, quantos recursos a verificação consome e qual é o erro de seleção entre os candidatos.

Uma equipe que afirma ter melhorado um agente deve separar o orçamento de busca da alteração do verificador e, no relatório, informar o número de candidatos examinados. Se a verificação é aleatória, a votação independente entre várias execuções é mais confiável do que aceitar qualquer execução bem-sucedida. Sem esses dados, o aumento da métrica continua sendo uma observação, e não uma prova de melhoria.