Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoWired→ original

Mais de 100 agentes de IA montaram um time de fantasy da Premier League e não superaram a média

Um jornalista da Wired pediu a agentes de IA que montassem um time de fantasy football, em que os pontos vêm das partidas reais dos jogadores da Premier League. Alguns agentes liam notícias, outros analisavam resultados, outros rodavam modelos e outros criticavam as escolhas. As dicas melhoraram. Ao subir para mais de 100 agentes, o único efeito concreto foi uma conta maior de API, e o time também não superou a média dos participantes. Para previsões, o que importa são os papéis dos agentes, não a quantidade deles.

Processado por IA de Wired; editado por Hamidun News
Mais de 100 agentes de IA montaram um time de fantasy da Premier League e não superaram a média
Fonte: Wired. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalWired ↗
Editor-chefe
Dado-chave #1No Prophet Arena, o melhor previsor foi o GPT-5, seguido pelo Grok 4
Dado-chave #2No Prediction Arena, modelos com US$ 10.000 por 57 dias perderam dinheiro de forma consistente
Dado-chave #3Superprevisores humanos ainda estão à frente da IA, mas no Metaculus Cup os modelos às vezes venceram

Fantasy football é um jogo em que o torcedor monta um time virtual com jogadores reais da Premier League e ganha pontos conforme esses atletas jogam nas partidas de verdade. É preciso adivinhar quem vai começar como titular, quem está machucado e qual calendário é mais favorável, ou seja, fazer uma previsão com base em notícias recentes. O colunista da Wired Will Knight deu essa tarefa a um enxame de agentes de IA: ele pediu ao Codex que montasse um sistema em que vários programas auxiliares leem notícias, fazem cálculos, discutem entre si e, por fim, escolhem a escalação.

Com mais de 100 agentes, não houve vitória, e o time também nunca superou a média dos outros participantes. Para quem constrói sistemas agênticos, é uma lição prática sobre o que de fato melhora a previsão e pelo que você apenas paga na conta da API.

Como o experimento funcionou

Há alguns anos, Knight testou uma ferramenta do Instituto Alan Turing que escolhia escalações com base em dados históricos da liga. As sugestões eram estranhas: o sistema não sabia de lesões de jogadores nem de troca de treinador. Desta vez, a caminho de visitar parentes, ele pediu ao Codex que montasse um harness, um conjunto de instruções e código que conduz os agentes pelas etapas: verificar notícias recentes, rodar um modelo e apresentar uma previsão. Antes disso, o Codex recebeu alguns artigos científicos sobre o tema.

A primeira versão reunia e analisava bem mais informação do que uma pessoa conseguiria, mas tomava decisões absurdas. Por exemplo, deixava Erling Haaland no banco. Então Knight dividiu o trabalho em papéis: alguns agentes liam notícias e blogs, outros analisavam resultados recentes, outros rodavam modelos estatísticos e outros criticavam as propostas uns dos outros. As sugestões melhoraram.

Em seguida, ele decidiu que mais agentes significariam um resultado melhor e chegou a mais de uma centena. Não houve efeito perceptível, mas a conta da API subiu. Para um engenheiro, é uma lição conhecida: se você acrescenta executores do mesmo tipo sem novas fontes de informação, a qualidade esbarra na arquitetura, enquanto o custo de tokens continua crescendo.

O que dizem os pesquisadores de previsão

O professor da Universidade de Chicago Haifeng Xu estuda o uso de IA em mercados. Segundo ele, os modelos novos preveem melhor porque conseguem processar um volume enorme de informação sobre o mundo real e montar sistemas mais complexos, formados por várias partes. O grupo dele testou modelos em mercados de previsão como Kalshi e Polymarket, com perguntas como quem vai vencer o campeonato da NBA ou com quem Donald Trump vai se encontrar. Em alguns casos, os modelos superaram a pessoa média sem nenhuma orientação especial.

Desse trabalho nasceu o benchmark Prophet Arena. Nos primeiros testes, o melhor desempenho foi do GPT-5, seguido por Grok 4, Claude Sonnet, Gemini e Llama. Xu acredita que a melhor abordagem é um harness próprio, em que cada agente tem uma tarefa: ler notícias, coletar dados, analisar o quadro geral. Isso coincide com a experiência de Knight.

Outro benchmark, o Prediction Arena, foi criado por pesquisadores de Harvard e pela empresa Arcada Labs. Os modelos receberam US$ 10.000 cada para apostar em mercados de previsão durante 57 dias. Eles perderam dinheiro de forma consistente, embora os resultados tenham melhorado com o tempo.

Onde a IA ainda perde

Os melhores especialistas humanos, os chamados superprevisores, ainda costumam estar à frente. Segundo Xu, eles leem menos, mas entendem com mais profundidade a dinâmica por trás de cada notícia. Ainda assim, essa vantagem parece estar diminuindo: no torneio Metaculus Cup, a IA às vezes superou até os melhores humanos. Os resultados do ForecastBench devem sair em breve e podem trazer mais uma comparação. Knight acredita que grandes laboratórios passem a usar a previsão do futuro como uma nova forma de medir o progresso dos modelos.

Há também limitações. Este é um texto de coluna, não uma pesquisa controlada: o time de Knight jogou por algumas semanas, a amostra é pequena e a média nunca foi superada. O próprio autor não pretende usar as sugestões do sistema em suas escolhas reais. A comparação de modelos no Prophet Arena está em uma fase inicial, quando o líder era o GPT-5, e o ranking pode mudar.

Conclusão prática

Para desenvolvedores e gerentes de produto, a lição é esta. Primeiro, previsões baseadas em notícias precisam de dados externos e de papéis bem definidos: coletor de fatos, analista e crítico. Um único modelo com um prompt longo tem desempenho pior. Segundo, o aumento do número de agentes precisa ser validado por métricas, não por crença: mais de 100 agentes não justificaram o custo. Terceiro, o crítico que avalia as propostas dos outros é uma peça barata da arquitetura e deve ser testado primeiro.

Por fim, Knight sugere uma mudança de papéis no trading: os melhores profissionais podem passar a liderar agentes de IA, em vez de competir diretamente com eles. Por enquanto, isso é uma hipótese, mas a direção é clara. Quanto ao fantasy, o autor deseja um pouco mais de emoção humana: vencer sem a ajuda de robôs ainda é mais divertido.

História

Perguntas frequentes sobre a notícia

Como o experimento funcionou?

Há alguns anos, Knight testou uma ferramenta do Instituto Alan Turing que escolhia escalações com base em dados históricos da liga. As sugestões eram estranhas: o sistema não sabia de lesões de jogadores nem de troca de treinador. Desta vez, a caminho de visitar parentes, ele pediu ao Codex que montasse um harness, um conjunto de instruções e código que conduz os agentes pelas etapas: verificar notícias recentes, rodar um modelo e apresentar uma previsão.

O que dizem os pesquisadores de previsão?

O professor da Universidade de Chicago Haifeng Xu estuda o uso de IA em mercados. Segundo ele, os modelos novos preveem melhor porque conseguem processar um volume enorme de informação sobre o mundo real e montar sistemas mais complexos, formados por várias partes. O grupo dele testou modelos em mercados de previsão como Kalshi e Polymarket, com perguntas como quem vai vencer o campeonato da NBA ou com quem Donald Trump vai se encontrar.

Onde a IA ainda perde?

Os melhores especialistas humanos, os chamados superprevisores, ainda costumam estar à frente. Segundo Xu, eles leem menos, mas entendem com mais profundidade a dinâmica por trás de cada notícia. Ainda assim, essa vantagem parece estar diminuindo: no torneio Metaculus Cup, a IA às vezes superou até os melhores humanos. Os resultados do ForecastBench devem sair em breve e podem trazer mais uma comparação.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…