GPT-4o mini sustenta 37–38 regras de substituição de palavras com 95% de precisão

O trabalho, publicado no Hugging Face Daily Papers, propõe medir o limite de um modelo de linguagem em número de regras, do mesmo modo que se mede o volume de memória. A unidade de carga é uma regra do tipo “troque a palavra A pela palavra B” em um texto sem sentido. O resultado recebe o nome de “capacidade de instruções” (instruction capacity): quantas dessas regras o modelo cumpre antes que a fatia de substituições corretas caia abaixo de um limiar definido. Para o GPT-4o mini, o limiar de 95% de substituições corretas é atingido com 37–38 regras. Se as palavras a substituir ocupam a maior fatia possível do texto, a capacidade cai para 18–19 regras.

Por que os testes antigos não dão um número único

É sabido há tempos que a qualidade cai conforme cresce o número de condições. Mas expressar o limite de um modelo em unidades de carga, e com margem de erro, ainda não era possível. A causa está nos próprios testes: as instruções são diferentes em natureza e complexidade.

No IFEval, por exemplo, pede-se para “escrever mais de 400 palavras” ou “mencionar a palavra IA três vezes”. No FollowBench, restrições de cinco tipos são adicionadas à tarefa uma a uma. No IFScale, são de 10 a 500 instruções de um mesmo tipo, e o melhor entre 20 modelos cumpre apenas 68% delas com 500 instruções.

Muitas vezes a verificação é feita por outro modelo, que atua como juiz e superestima o resultado. Em um dos trabalhos citados, com dez instruções, o juiz apontou 0,657, enquanto a verificação por programa mostrou 0,213.

O resultado é que o número de instruções se mistura com a composição do conjunto e com a complexidade crescente. O autor precisava de uma instrução sem esses defeitos:

• indivisível, ou seja, que não possa ser cumprida pela metade; • independente das outras regras, pela própria construção da tarefa; • homogênea, para que a décima regra não seja mais difícil que a primeira; • verificável por programa; • observável em cada ponto da resposta.

Como funciona a medição

A substituição de uma palavra em um texto sem sentido atende aos cinco requisitos. Cada substituição tem exatamente um desfecho correto, e o gabarito é calculado por um programa. A tarefa é gerada a partir de três sementes aleatórias e pode ser reproduzida byte a byte. A resposta é verificada linha a linha, e os erros se dividem em três tipos.

Cada ocorrência da palavra a ser trocada vira um teste separado de “certo ou errado”, com posição conhecida na resposta e número da regra na lista. Assim, um único modelo gera centenas de milhares de observações, e não uma só nota por tarefa.

Em seguida, entra em ação o modelo estatístico. Primeiro, ele mede por intervalos como a probabilidade de uma substituição correta depende de cinco fatores:

• comprimento do texto; • posição da palavra; • densidade das substituições; • número de regras; • número da regra na lista.

Depois, essas dependências são descritas por funções suaves. Uma correção do viés de aproximação recupera o nível-base, que não depende da escolha de codificação. A capacidade é calculada como solução de um problema inverso: com que carga a probabilidade cai ao nível desejado. A margem de erro é calculada pelo método delta e leva em conta a dispersão da dificuldade entre as requisições individuais.

O que saiu no GPT-4o mini

A medição consumiu 2958 requisições e 642 430 testes. Para cada fator de carga, o modelo apresentou uma degradação regular. O trabalho descreve separadamente os padrões de “colapso” da resposta: com que velocidade e em que ponto ela se desfaz. Além da capacidade com 95% de substituições corretas, o autor define a capacidade de fadiga e a capacidade garantida. As definições aparecem com mais detalhes no corpo do trabalho do que na introdução.

Os números principais:

• cerca de 37–38 regras com 0,95 de substituições corretas; • cerca de 18–19 regras com densidade total de substituições.

A diferença de quase metade mostra que o limite depende não só do número de regras, mas também de quão densamente elas são acionadas no texto. Para quem escreve prompts, isso importa: a mesma lista de regras pode ser segura em um texto esparso e pouco confiável em um texto denso.

Estão abertos o código da ferramenta, os dados da medição e o “passaporte” do modelo. Cada número do passaporte é recalculado a partir dos pontos publicados, ou seja, o resultado é verificável.

Para que serve isso a engenheiros

O autor vê o passaporte do modelo como a calibração de um futuro “medidor de carga” de prompts. A ideia é avaliar a complexidade de um prompt qualquer nas mesmas unidades da capacidade do modelo e saber de antemão se ele cabe no limite. Por ora, é uma promessa para o futuro, e não uma ferramenta pronta.

As limitações também são evidentes. Foi medido um único modelo, o GPT-4o mini, e a tarefa é artificial: substituição de palavras isoladas em um texto sem sentido. Instruções reais sobre estilo, formato e uso de ferramentas são mais complexas. O benchmark AgentIF, construído com prompts de agentes reais, mostrou que até os melhores modelos cumprem integralmente menos de 30% das instruções. O passaporte baseado em substituição de palavras estabelece uma escala inferior limpa, mas não substitui esses testes.

A conclusão prática: se um agente depende de uma longa lista de regras independentes no prompt de sistema, vale comparar o número delas com a capacidade medida do modelo e deixar uma folga. Para comparar modelos ou gerações de uma mesma linha, a capacidade com margem de erro é uma métrica mais honesta do que a nota média em um conjunto heterogêneo.