Epoch AI: modelos recentes não conseguiram reproduzir uma ideia algorítmica criada por humanos

A Epoch AI publicou o material InnovationEval, e o título resume bem a ideia: modelos de IA recentes tiveram dificuldade para se igualar a uma inovação algorítmica criada por um humano. A publicação saiu em 9 de outubro de 2026. No Hacker News, ela somou 86 pontos e 71 comentários, ou seja, a comunidade se interessou pelo tema logo de cara. Um aviso desde já: o material que chegou à redação contém apenas o título, o link e os contadores da discussão. Não há tabelas com resultados de modelos específicos, e não vamos presumir esses dados.

Что известно о публикации

A Epoch AI faz há anos avaliações independentes das capacidades dos modelos, por isso suas conclusões costumam ser lidas com mais atenção do que os comunicados de imprensa dos laboratórios. O nome InnovationEval indica que o teste mede justamente a capacidade de inventar. Os modelos não resolvem um problema decorado. Eles precisam chegar a uma ideia que um pesquisador humano já havia proposto antes. A formulação do título ("struggled to match") sugere que o resultado ficou abaixo das expectativas.

Esta é a lista do que se pode afirmar com base nos dados disponíveis:

• Fonte: Epoch AI, página publications/innovationeval.
• Data de publicação no agregador: 9 de outubro de 2026.
• Principal conclusão: os modelos recentes não conseguiram repetir com segurança uma inovação algorítmica humana.
• Repercussão no Hacker News: 86 pontos, 71 comentários.
• Não divulgado na nossa fonte: lista de modelos, número de tentativas, critérios de aprovação e percentuais específicos.

Почему такой тест важен

A maioria dos benchmarks populares mede o quanto o modelo resolve bem problemas com resposta conhecida: matemática de olimpíada, correção de bugs em repositórios, programação competitiva. Nessas áreas, o progresso dos últimos anos foi rápido, e os gráficos muitas vezes batem no teto. Um teste de invenção funciona de outro jeito. Ele responde se o modelo é capaz de propor uma técnica nova, e não de montar uma boa solução a partir do que já está nos dados de treinamento.

Isso se liga diretamente à principal promessa da indústria: agentes de IA que aceleram a própria pesquisa em IA. Se o modelo não reproduz nem mesmo uma ideia que um humano já encontrou, as conversas sobre automatizar o trabalho científico precisam ser mantidas em limites mais estreitos. O contrário também vale: um único teste não encerra o assunto. O resultado depende de como a tarefa foi formulada, das dicas dadas, do orçamento de raciocínio e de qual inovação foi escolhida como referência.

Как читать результат

Há três pontos que vale buscar na fonte original. Primeiro, como os autores separam invenção de memorização: se a ideia pode ter entrado na base de treinamento, o teste mede memória, e não novidade. Segundo, quantas tentativas o modelo teve e como a melhor resposta foi escolhida. Terceiro, o que foi considerado sucesso: coincidência total com a solução humana ou uma abordagem funcionalmente equivalente. Dessas minúcias depende o peso da conclusão.

O nível da discussão no Hacker News (71 comentários para 86 pontos) sugere que os leitores têm dúvidas justamente sobre a metodologia. Isso é normal em um trabalho desse tipo: medir "inventividade" é muito mais difícil do que medir precisão em um teste com gabarito.

Что делать на практике

Para equipes que constroem produtos com agentes de código e pesquisa, vale dividir as tarefas em duas classes. Engenharia de rotina, refatoração, portabilidade de algoritmos conhecidos e ajuste de parâmetros cabem no que os modelos fazem de forma confiável. Já a formulação de novas abordagens algorítmicas continua sendo uma área em que o humano define a direção, enquanto o modelo atua como executor rápido e gerador de variantes para teste.

Antes de revisar planos, abra o original em epoch.ai e confira três parâmetros: a lista de modelos testados, o número de execuções e o critério de aprovação. Se você compra ferramentas de IA para P&D, vale pedir ao fornecedor resultados em tarefas que exijam novidade, e não apenas em benchmarks padrão. E lembre-se de que o próximo lançamento pode mudar o quadro: avaliações desse tipo envelhecem rápido.