Kaggle bajo Google DeepMind lanza Benchmarks SDK para comparar grandes modelos de IA

Kaggle, una plataforma que millones de especialistas en ciencia de datos conocen como la principal arena de competiciones de aprendizaje automático, está cambiando su identidad. El eslogan "Tu Hogar para Ciencia de Datos" ha cedido el lugar a "El Terreno de Pruebas de IA del Mundo" — y esto no es simplemente un cambio de marca de marketing. En 2026, Kaggle pasó oficialmente bajo la gestión de AI Frontier — una nueva división de Google DeepMind.

El cambio de gestor significa un cambio en el enfoque estratégico. Kaggle ya no es simplemente un lugar para competiciones de predicción o clasificación de imágenes. Ahora la misión de la plataforma es la evaluación sistemática de modelos de lenguaje grandes y multimodales en condiciones estandarizadas.

La principal actualización técnica — una nueva sección de Benchmarks en el sitio web y un SDK Kaggle Benchmarks abierto en GitHub. Este es un framework completo para crear, gestionar y ejecutar conjuntos de pruebas. La mecánica es simple: un investigador describe una prueba — datos de entrada, resultado esperado, métrica de calidad — combina varias pruebas en un grupo, y ese grupo se convierte en un benchmark.

El SDK se encarga de ejecutar los modelos en condiciones iguales y genera el resultado: registros, JSON, tablas de comparación, clasificaciones. La flexibilidad del sistema permite implementar casi cualquier mecánica de prueba — desde la precisión clásica hasta tareas complejas de múltiples pasos con evaluación de razonamiento. Al mismo tiempo, los datos y códigos de benchmarks pueden mantenerse en conjuntos de datos privados, cerrados al acceso público.

Las empresas pueden crear estándares internos de evaluación de modelos sin revelar a los competidores la metodología y casos de prueba. Si lo desean — harán el benchmark público, y se convierte en un estándar común de la comunidad. ¿Por qué es esto importante ahora?

El problema de la evaluación justa de modelos de IA es extremadamente agudo. Los benchmarks públicos populares — MMLU, HumanEval, GPQA y otros — son regularmente criticados: los datos de ellos se filtran en conjuntos de entrenamiento, y los modelos esencialmente toman un examen por trampa en lugar de demostrar habilidades reales. Los grandes laboratorios crean pruebas internas cerradas — pero los pequeños equipos y grupos académicos no tienen tal infraestructura.

El SDK Kaggle Benchmarks hace que este conjunto de herramientas sea accesible. Google DeepMind obtiene ventajas obvias de la transformación de la plataforma. Kaggle con su comunidad de millones se convierte en un lugar para demostrar las capacidades de sus propios modelos en comparación con competidores — bajo condiciones percibidas como neutrales.

La comunidad también tiene beneficios claros: anteriormente, crear un benchmark reproducible y justo requería un trabajo de ingeniería serio, ahora es accesible a través de un SDK estándar. La nostalgia por el Kaggle antiguo es comprensible. Los tiempos en que una victoria bien ajustada de XGBoost sobre una red neuronal en datos tabulares era una sensación han pasado.

La tarea de la industria ha cambiado: de "quién predice con más precisión" — a "cómo medir objetivamente lo que hace un modelo grande". Kaggle se está adaptando a este cambio y, a juzgar por la escala de los cambios, pretende convertirse en el estándar de esta medición.