GPQA

GPQA (Preguntas y Respuestas de Nivel Graduado Google-Proof) es un benchmark de evaluación desafiante introducido por David Rein y colegas — incluyendo investigadores afiliados a Anthropic y NYU — en un artículo de 2023. Contiene 448 preguntas de opción múltiple a través de biología, química y física de nivel graduado, cada una escrita por expertos de dominio verificados y sometida a un riguroso proceso de validación. Una pregunta se incluye solo si expertos de dominio que no son el autor aún responden correctamente a una tasa significativa, mientras que no-expertos con acceso a internet sin restricciones responden correctamente no más de aproximadamente 34% de las veces. GPQA Diamond, un subconjunto de 198 preguntas de los ítems más desafiantes, es la versión más comúnmente reportada en evaluaciones de modelos.

El diseño "google-proof" es la característica definitoria del benchmark. Las preguntas requieren razonamiento científico multi-paso que no puede resolverse recuperando un pasaje coincidente en línea; una pregunta representativa de química podría requerir aplicar principios de mecánica cuántica para predecir propiedades espectroscópicas desde primeros principios. La precisión medida en GPQA Diamond es aproximadamente 65% para expertos de dominio (científicos de nivel PhD en el campo relevante), con no-expertos puntuando cerca del baseline aleatorio de 25%.

GPQA se volvió importante después de que benchmarks estándar como MMLU comenzaran a saturarse entre modelos frontera. Sirve como una señal de si un modelo ha internalizado razonamiento genuino de experto de dominio en lugar de patrones estadísticos superficiales, y las puntuaciones en GPQA Diamond se correlacionan ampliamente con la capacidad de un modelo para resolver problemas científicos multi-paso. El benchmark es ampliamente citado en reportes técnicos de lanzamiento de modelos de laboratorios principales de IA.

A partir de 2026, modelos enfocados en razonamiento líderes — incluyendo la serie o1 y o3 de OpenAI y las familias Claude 3.7 y Claude 4 de Anthropic — puntúan significativamente por encima del baseline de 65% de expertos humanos en GPQA Diamond, con modelos top aproximándose a 80–90%. Este progreso rápido está impulsando a la comunidad hacia evaluaciones de seguimiento más difíciles, aunque GPQA permanece como un punto de referencia estándar debido a su diseño limpio y fuerte resistencia a la memorización superficial.

Ejemplo

“Una empresa de biotecnología evaluando asistentes de IA para investigación de descubrimiento de drogas usa GPQA Diamond para separar modelos con razonamiento genuino de bioquímica de aquellos que recuperan respuestas de nivel superficial, tratando una precisión de 70% como un umbral de despliegue mínimo.