Relay-Bench: até o GPT-5.5 marcou apenas 43,3% em teste de raciocínio multidomínio

Pesquisadores publicaram no arXiv, em julho de 2026, o benchmark Relay-Bench, que avalia a capacidade de modelos de linguagem de resolver tarefas encadeadas de diferentes áreas em um único prompt. O melhor modelo testado, o GPT-5.5 no modo xHigh, marcou apenas 43,3% — ou seja, nem o sistema mais forte conseguiu resolver metade das tarefas.

O que o Relay-Bench mede

O Relay-Bench avalia se o modelo consegue manter vários domínios de raciocínio dentro de um mesmo prompt. O conjunto de testes é composto inteiramente por tarefas compostas: várias subtarefas de um único domínio são coladas em uma só cadeia, que não pode ser resolvida raciocinando em apenas uma área. Cada tarefa contém de 2 a 13 subtarefas e continua totalmente textual — não é preciso entrada nem saída multimodal, o que facilita reproduzir o teste em qualquer modelo.

Os autores descrevem o benchmark como "não saturado" (unsaturated): os modelos atuais ainda têm enorme margem de evolução, o teto está distante e uma única atualização não basta para alcançá-lo. É isso que diferencia o Relay-Bench de muitos testes mais antigos, nos quais os modelos de ponta já chegaram a 90–100% e deixaram de se distinguir entre si.

• Líder do ranking: GPT-5.5 (xHigh), com 43,3%
• Cada tarefa é montada a partir de 2 a 13 subtarefas relacionadas
• Domínios: raciocínio visual, código, matemática, extração de informação (busca na web), resolução de problemas, conhecimento geral, análise de dados
• Formato somente textual — sem imagens na entrada nem na saída
• Os modelos podem executar código, pesquisar na web e usar quaisquer ferramentas

Por que até o GPT-5.5 marcou só 43%

As tarefas são deliberadamente difíceis, e por isso os resultados são baixos até para os modelos mais fortes. Segundo a descrição no arXiv, as cadeias básicas recebem camadas extras de dificuldade por meio da codificação do prompt (prompt encoding) e da inflação intencional do contexto (context bloat): o modelo precisa filtrar o ruído e não perder o fio entre os domínios. Não há restrições fora do model harness: os autores incentivam explicitamente o uso de execução de código, busca na web e todas as ferramentas disponíveis, mas, mesmo assim, a marca de 43,3% continua sem ser superada.

O problema central é a troca entre áreas. O modelo pode resolver com segurança uma subtarefa de matemática e uma de código separadamente, mas tropeça quando o resultado de uma subtarefa precisa ser repassado à seguinte dentro de uma única cadeia de raciocínio. Essa "corrida de revezamento" (relay) é justamente a origem do nome do benchmark.

"Um benchmark não saturado, holístico e textual que mede a capacidade de LLMs de executar um conjunto de tarefas de diferentes domínios em um único prompt", — da descrição do

Relay-Bench no arXiv.

Como isso difere dos testes tradicionais

O Relay-Bench não avalia habilidades isoladas, mas a combinação delas em uma mesma tarefa. Os benchmarks clássicos medem código, matemática ou conhecimento geral separadamente; aqui, sete domínios são entrelaçados em uma única cadeia, e uma falha em qualquer elo derruba a tarefa inteira. Esse formato se aproxima mais de cenários reais de trabalho, em que um agente precisa buscar dados na web, fazer cálculos e escrever código dentro de uma só solicitação.

O que isso significa

O Relay-Bench expõe a distância entre as habilidades pontuais dos modelos e o raciocínio de ponta a ponta: as LLMs sabem resolver cada área por partes, mas ainda não conseguem amarrá-las em uma longa cadeia multidomínio. A margem para evolução é enorme: de 43,3% até o teto ainda falta muito, e são testes "não saturados" como este que vão definir o patamar para as próximas gerações de modelos e sistemas agênticos.

Perguntas frequentes

O que é o Relay-Bench?

O Relay-Bench é um benchmark textual apresentado no arXiv em julho de 2026. Ele avalia como os modelos de linguagem resolvem tarefas compostas de sete domínios (código, matemática, busca na web, análise de dados etc.), reunidas em uma única cadeia dentro de um mesmo prompt.

Qual modelo teve o melhor resultado?

O melhor resultado é do GPT-5.5 no modo xHigh: 43,3%. Isso significa que até o modelo mais forte testado resolveu menos da metade das tarefas, e o benchmark segue "não saturado" e longe do teto.