Kaggle, agora sob o Google DeepMind, lança Benchmarks SDK para comparar grandes modelos de IA

O Kaggle, plataforma que milhões de cientistas de dados conhecem como a principal arena de competições de machine learning, está mudando de identidade. O slogan "Your Home for Data Science" deu lugar a "The World's AI Proving Ground", e a mudança vai além de um rebranding de marketing. Em 2026, o Kaggle passou oficialmente para o comando da AI Frontier, nova divisão do Google DeepMind.

Novo responsável, novo foco estratégico. O Kaggle deixa de ser só um lugar para competições de previsão ou classificação de imagens. Agora, a missão da plataforma é avaliar de forma sistemática grandes modelos de linguagem e modelos multimodais em condições padronizadas.

A principal novidade técnica é a nova seção Benchmarks no site e o Kaggle Benchmarks SDK, de código aberto, no GitHub. Trata-se de um framework completo para criar, gerenciar e executar conjuntos de testes. A mecânica é simples: o pesquisador descreve um teste (dados de entrada, resultado esperado e métrica de qualidade), agrupa vários testes e esse grupo vira um benchmark.

O SDK se encarrega de rodar os modelos em condições iguais e gera os resultados: logs, JSON, tabelas comparativas e leaderboards. A flexibilidade do sistema permite implementar praticamente qualquer mecânica de teste, da accuracy clássica a tarefas complexas de múltiplas etapas com avaliação de raciocínio. Os dados e o código dos benchmarks podem ficar em datasets privados, fechados ao acesso público.

Assim, empresas podem criar padrões internos de avaliação de modelos sem revelar a metodologia e os casos de teste aos concorrentes. Se quiserem, podem tornar o benchmark público, e ele passa a ser um padrão compartilhado pela comunidade. Por que isso importa justamente agora?

A avaliação honesta de modelos de IA é um problema cada vez mais urgente. Benchmarks públicos populares, como MMLU, HumanEval, GPQA e outros, são alvo frequente de críticas: seus dados vazam para os conjuntos de treinamento, e os modelos na prática fazem a prova com cola, em vez de demonstrar capacidades reais. Os grandes laboratórios criam testes internos fechados, mas equipes pequenas e grupos acadêmicos não têm essa infraestrutura.

O Kaggle Benchmarks SDK torna esse ferramental acessível. O Google DeepMind tem vantagens claras com a transformação da plataforma. Com uma comunidade de milhões de usuários, o Kaggle vira uma vitrine para mostrar as capacidades dos próprios modelos em comparação com os concorrentes, em condições percebidas como neutras.

Para a comunidade, o ganho também é evidente: antes, criar um benchmark honesto e reproduzível exigia um trabalho de engenharia considerável; agora, isso está disponível por meio de um SDK padrão. A nostalgia pelo antigo Kaggle é compreensível. Ficaram para trás os tempos em que um XGBoost bem ajustado vencendo uma rede neural em dados tabulares era notícia.

O desafio da indústria mudou: de «quem prevê com mais precisão» para «como medir objetivamente o que um grande modelo faz». O Kaggle está se adaptando a essa virada e, a julgar pela escala das mudanças, pretende se tornar o padrão dessa medição.