OpenAI revela el error de predicción de palabras de sus modelos: de 0,99 en GPT-3.5 a menos de 0,8
Cuanto mejor predice un modelo la siguiente palabra de un texto, más "inteligente" es: eso es la perplejidad, y cuanto menor sea el número, mejor. El científico jefe de OpenAI, Jakub Pachocki, propone que todos los laboratorios comparen sus modelos de este modo. El logaritmo de la perplejidad de GPT-3.5 ronda 0,99, el de GPT-4 ronda 0,91 y los modelos actuales están por debajo de 0,8; a partir de ese nivel aparecieron habilidades sólidas en ciberseguridad y matemáticas. Por eso, el entrenamiento básico merece tanta atención como los benchmarks.
Procesado por IA desde OpenAI Blog; editado por Hamidun News
Imagine el autocompletado del teléfono: resulta más útil cuanto más a menudo adivina qué palabra escribirá a continuación. Los grandes modelos actuales se basan en el mismo principio, solo que aprenden de enormes volúmenes de texto y código. El científico jefe de OpenAI, Jakub Pachocki, publicó un ensayo en el que propone medir el progreso de la IA precisamente por la calidad de esa predicción. La métrica se llama perplejidad, y OpenAI ha mostrado por primera vez sus cifras internas, pidiendo a otros laboratorios que hagan lo mismo.
Qué es la perplejidad con un ejemplo sencillo
Supongamos que el modelo ve el inicio de una línea de código def add(a, b): return a y debe predecir la continuación. Si casi siempre escribe + b, el error de predicción es bajo. Si adivina al azar, es alto. La perplejidad promedia ese error sobre un enorme conjunto de textos que el modelo no vio durante el entrenamiento. En la práctica, OpenAI mira el logaritmo de la perplejidad, también llamado entropía cruzada. No son porcentajes de precisión: cuanto menor es el número, mejor predice el modelo.
Pachocki llama al modelo entrenado un "compresor". Para predecir bien datos nuevos, hay que captar sus regularidades. Pero no es un archivo como GZIP: el modelo no tiene que memorizar el corpus. Todo lo demás —los prompts, el ajuste fino y el aprendizaje por refuerzo— solo saca a la luz capacidades ocultas en esa base. Cuáles aparecerán exactamente, no está claro de antemano.
Las cifras de OpenAI sobre el conjunto de validación principal:
- GPT-3.5, alrededor de 0,99: diálogo coherente, base del primer ChatGPT;
- GPT-4, alrededor de 0,91: cadenas de razonamiento útiles, de las que surgieron los modelos de razonamiento;
- por debajo de 0,8: habilidades notables en ciberseguridad y matemáticas;
- alrededor de 0,76: el modelo empezó a dar resultados revolucionarios en problemas abiertos de matemáticas.
Pachocki recuerda cómo las soluciones a preguntas que le eran familiares aparecían una tras otra en un mismo hilo de Slack, y lo describe como "surrealista". Subraya que nadie sabía de antemano que las capacidades aparecerían justo en esos umbrales. Antes, GPT-2 aprendió a escribir párrafos coherentes, y GPT-3, a aprender a partir de unos pocos ejemplos dentro del propio prompt.
Para qué sirven los límites y qué viene después
El autor señala como siguiente hito un valor de aproximadamente 0,68–0,70. Reconoce con franqueza que no sabe qué capacidades surgirán allí ni si llegaremos a comprobarlas. Además, prevé que las auditorías habituales de alineamiento (alignment) funcionarán peor y que los modelos aprenderán a reconocer cuándo se les está evaluando.
Por eso, OpenAI propone un estándar para toda la industria. Los laboratorios acordarían de antemano un primer límite de perplejidad y otras mediciones, y se comprometerían a no superarlo hasta alcanzar un hito concreto en la comprensión y el monitoreo del comportamiento de la IA. Un ejemplo de ese hito sería el sucesor de la monitorización de las cadenas de razonamiento (monitores CoT). Después, siguiendo el mismo principio, podrían fijarse los siguientes límites. También hacen falta normas comunes de evaluación y pruebas de red team de seguridad antes del primer lanzamiento de cada modelo.
Hay además una previsión sobre el ritmo. Pachocki considera que la IA puede acelerar de forma notable la investigación algorítmica del preentrenamiento, y que en 2027 es posible una "avalancha" de descubrimientos fundamentales, como ya ocurrió en matemáticas. Según su estimación, el progreso en alineamiento y monitorización difícilmente podrá seguir ese ritmo. En el gráfico se aprecia un quiebre brusco en 2026. OpenAI lo explica sobre todo por la investigación a largo plazo y la inversión en cómputo, y solo en parte por la automatización. Pero en el diseño de los modelos más recientes ya hay una contribución de la IA.
Limitaciones de la métrica
Pachocki enumera él mismo las desventajas:
- los laboratorios usan conjuntos de validación y mezclas de datos distintos, por lo que una comparación directa todavía no es posible;
- OpenAI calcula la perplejidad sobre una muestra de su código interno, y en el caso de GPT-2 y GPT-3 esa medición refleja mal las capacidades generales;
- la perplejidad no corresponde a una tarea práctica concreta, y el razonamiento en cadena de pensamiento no la reduce, aunque sí potencia mucho al modelo;
- se desconoce el límite inferior de los propios datos: el cero no es alcanzable, y a medida que nos acercamos al suelo el progreso en la escala se ralentizará, aunque cada pequeña fracción signifique un salto mayor en inteligencia.
Qué significa en la práctica
Para desarrolladores y responsables de producto, la conclusión es esta: los benchmarks se saturan rápido, y la mayoría de las pruebas antiguas quedaron "resueltas" más o menos al nivel de GPT-4. El indicador de preentrenamiento sigue siendo una referencia más estable, y OpenAI propone convertirlo en un lenguaje común de la industria. Cuando un laboratorio anuncie un nuevo modelo base, conviene preguntar no solo por las puntuaciones en benchmarks, sino también por el error de predicción sobre un conjunto de datos abierto.
Que la métrica se convierta en estándar dependerá de los competidores. Publicar cifras internas da a los rivales una imagen clara de las posiciones de OpenAI, y la compañía ha decidido asumir ese riesgo en aras de estándares comunes de seguridad.
- 22 nov 2026Ahrefs: una marca con diez veces más menciones en la web recibe solo 3,7 veces más en la IA
- 22 nov 2026Axiom Math usa IA para escribir en Lean una demostración de 43,1 millones de líneas de código en 24 días
- 22 nov 2026Un grant de Yandex financia un motor para LLM: un modelo de 35B en una RTX 2080 Ti, tres veces más rápido que llama.cpp
- 22 nov 2026El nuevo modelo de OpenAI, Astra, escribe un 40 % más corto, pero su puntuación de reconocimiento de incertidumbre cayó de 96 a 24
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué es la perplejidad con un ejemplo sencillo?
Supongamos que el modelo ve el inicio de una línea de código def add(a, b): return a y debe predecir la continuación. Si casi siempre escribe + b, el error de predicción es bajo. Si adivina al azar, es alto. La perplejidad promedia ese error sobre un enorme conjunto de textos que el modelo no vio durante el entrenamiento. En la práctica, OpenAI mira el logaritmo de la perplejidad, también llamado entropía cruzada. No son porcentajes de precisión: cuanto menor es el número, mejor predice el modelo.
¿Qué se sabe sobre Para qué sirven los límites y qué viene después?
El autor señala como siguiente hito un valor de aproximadamente 0,68–0,70. Reconoce con franqueza que no sabe qué capacidades surgirán allí ni si llegaremos a comprobarlas. Además, prevé que las auditorías habituales de alineamiento (alignment) funcionarán peor y que los modelos aprenderán a reconocer cuándo se les está evaluando. Por eso, OpenAI propone un estándar para toda la industria.
¿Qué se sabe sobre Limitaciones de la métrica?
Pachocki enumera él mismo las desventajas: los laboratorios usan conjuntos de validación y mezclas de datos distintos, por lo que una comparación directa todavía no es posible; OpenAI calcula la perplejidad sobre una muestra de su código interno, y en el caso de GPT-2 y GPT-3 esa medición refleja mal las capacidades generales; la perplejidad no corresponde a una tarea práctica concreta, y el razonamiento en cadena de pensamiento no la reduce, aunque sí potencia mucho al modelo; se desconoce el…
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.