Kaggle, ahora bajo Google DeepMind, lanza un Benchmarks SDK para comparar grandes modelos de AI

Millones de especialistas en datos conocen Kaggle como el gran escenario de las competiciones de machine learning. Ahora la plataforma cambia de identidad. El eslogan "Your Home for Data Science" ha dado paso a "The World's AI Proving Ground", y no se trata de un simple cambio de imagen de marketing.

En 2026, Kaggle pasó oficialmente a depender de AI Frontier, una nueva división de Google DeepMind. Un nuevo responsable implica un nuevo enfoque estratégico. Kaggle ya no es simplemente un lugar para competiciones de predicción o de clasificación de imágenes.

Su misión ahora es evaluar de forma sistemática grandes modelos de lenguaje y modelos multimodales en condiciones estandarizadas. La principal novedad técnica es la nueva sección Benchmarks del sitio web y el Kaggle Benchmarks SDK, abierto y disponible en GitHub. Se trata de un framework completo para crear, gestionar y ejecutar conjuntos de pruebas.

El funcionamiento es sencillo: el investigador define una prueba (datos de entrada, resultado esperado y métrica de calidad), agrupa varias pruebas y ese grupo se convierte en un benchmark. El SDK se encarga de ejecutar los modelos en igualdad de condiciones y de generar los resultados: logs, JSON, tablas comparativas y tablas de clasificación. La flexibilidad del sistema permite implementar casi cualquier mecánica de evaluación, desde la accuracy clásica hasta tareas complejas de varios pasos que valoran el razonamiento.

Además, los datos y el código de los benchmarks pueden guardarse en datasets privados, cerrados al acceso público. Las empresas pueden crear estándares internos para evaluar modelos sin revelar a la competencia su metodología ni sus casos de prueba. Si lo desean, pueden hacer público el benchmark y convertirlo en un estándar compartido por la comunidad.

¿Por qué importa precisamente ahora? El problema de evaluar con honestidad los modelos de AI es muy acuciante. Los benchmarks públicos más populares, como MMLU, HumanEval o GPQA, reciben críticas constantes: sus datos se filtran a los conjuntos de entrenamiento, y los modelos acaban aprobando el examen con chuleta en lugar de demostrar capacidades reales.

Los grandes laboratorios crean pruebas internas cerradas, pero los equipos pequeños y los grupos académicos no disponen de esa infraestructura. Kaggle Benchmarks SDK pone estas herramientas a su alcance. Google DeepMind obtiene ventajas evidentes de esta transformación.

Kaggle, con una comunidad de millones de usuarios, se convierte en un escaparate para mostrar las capacidades de sus propios modelos frente a los de la competencia, en un entorno percibido como neutral. Para la comunidad, el beneficio también es claro: antes, crear un benchmark honesto y reproducible exigía un trabajo de ingeniería considerable; ahora basta con un SDK estándar. La nostalgia por el antiguo Kaggle es comprensible.

Quedan atrás los tiempos en que un XGBoost bien ajustado que superaba a una red neuronal con datos tabulares era toda una noticia. El reto de la industria ha cambiado: de «quién predice con más precisión» a «cómo medir objetivamente lo que hace un gran modelo». Kaggle se adapta a este cambio y, a juzgar por la magnitud de la transformación, aspira a convertirse en el estándar de esa medición.