Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
LanzamientoAnálisis · En radarTechCrunch→ original

El científico jefe de OpenAI propone un límite de velocidad para la IA: la perplejidad de GPT-4 era 0,91 y ahora está por debajo de 0,8

Para limitar la velocidad del desarrollo de la IA hace falta un «velocímetro» común. Jakub Pachocki, de OpenAI, propone la perplejidad: indica con qué precisión el modelo predice el siguiente token (fragmento de palabra), y cuanto más bajo es el número, más fuerte es el modelo. La cifra de GPT-4 era de alrededor de 0,91; ahora está por debajo de 0,8, y en ese nivel, según sus palabras, han aparecido capacidades sólidas en ciberseguridad y matemáticas. Las empresas podrían no cruzar ese umbral hasta aprender a controlar sus modelos.

Procesado por IA desde TechCrunch; editado por Hamidun News
El científico jefe de OpenAI propone un límite de velocidad para la IA: la perplejidad de GPT-4 era 0,91 y ahora está por debajo de 0,8
Fuente: TechCrunch. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTechCrunch ↗
Editor jefe
Dato clave #1Altman calificó la publicación como «la más importante que OpenAI ha hecho recientemente»
Dato clave #2Los tests de habilidades aplicadas caducan rápido; la perplejidad sigue siendo útil
Dato clave #3La idea de un límite fue publicada antes por el director de Anthropic, Dario Amodei

Imagine que hay que poner un límite de velocidad en una carretera, pero los coches no tienen velocímetro: cada uno mide «rápido» a su manera. Algo parecido ocurre con las conversaciones sobre frenar el desarrollo de la IA. El científico jefe de OpenAI, Jakub Pachocki, propuso ese velocímetro: la perplejidad. Este número indica con qué precisión un modelo de lenguaje adivina el siguiente token (fragmento de palabra) en un texto corriente. Cuanto más bajo, mejor es el modelo. La de GPT-4 era de alrededor de 0,91, y ahora la de los modelos de OpenAI ha bajado por debajo de 0,8. A continuación explicamos por qué esta métrica y qué se deduce de ella.

¿Para qué hace falta realmente un «velocímetro»?

El tema de ralentizar la IA ha dejado de ser cosa de activistas. Un antiguo investigador de OpenAI y Anthropic afirmó que las compañías «juegan con nuestras vidas». En la solicitud de salida a bolsa de Anthropic se dice expresamente que la tecnología puede entrañar «riesgos catastróficos o existenciales para la sociedad». El director de Anthropic, Dario Amodei, publicó un plan para «marcar el ritmo de la frontera tecnológica», que, a juzgar por las reacciones, respaldaron Sam Altman y Elon Musk. Amodei proponía que las empresas acordaran estándares comunes de seguridad y límites para la velocidad del progreso incontrolado.

Pero para poner un límite de velocidad hay que acordar cómo medirla. Esa es la pregunta que responde la publicación de Pachocki. Altman la calificó como «lo más importante que OpenAI ha publicado últimamente».

¿Por qué la perplejidad y no los benchmarks habituales?

Los tests de habilidades aplicadas (resolución de problemas, escritura de código, matemáticas de olimpiada) caducan rápidamente: los modelos topan con el techo y el test deja de distinguir una versión nueva de la anterior. Según Pachocki, la perplejidad sigue siendo «informativa» mientras otros benchmarks se suceden unos a otros. En pocas palabras, mide con qué frecuencia el modelo se «sorprende» ante la continuación real de una frase. No tiene relación con la startup Perplexity, que simplemente tiene un nombre parecido.

La publicación incluye un gráfico que muestra cómo ha ido bajando la perplejidad de los modelos de OpenAI desde GPT-3.5. Pachocki destaca dos hitos. GPT-4, con un valor de alrededor de 0,91, ya era capaz de razonar productivamente mediante cadena de pensamiento. Eso impulsó al equipo a desarrollar específicamente esa habilidad y a crear los modernos modelos de razonamiento. Ahora que el valor de error de predicción (que en el texto de la publicación se llama loss) está por debajo de 0,8, según él han aparecido capacidades «transformadoras» en ciberseguridad y matemáticas.

De ahí surge la idea: la perplejidad podría servir de base para un «benchmark general de inteligencia» y, sobre esa base, las compañías establecerían «límites comunes». Se comprometerían a no cruzar un determinado umbral hasta que la capacidad de comprender y supervisar el comportamiento de la IA alcance una marca concreta. La pausa no estaría ligada al calendario, sino a lo bien que las personas hayan aprendido a ver lo que ocurre dentro de los modelos.

Lo que queda fuera de foco

De momento, esta propuesta es de una sola compañía, no un acuerdo del sector. En el resumen de TechCrunch no aparece ningún umbral concreto, ningún mecanismo para verificar que un competidor no eluda la restricción, ni respuesta sobre quién hará los cálculos.

Las cuestiones prácticas son evidentes. La perplejidad se calcula sobre un conjunto de textos concreto y con un tokenizador concreto, por lo que una comparación honesta entre modelos de distintas empresas requiere un corpus de prueba común. Los laboratorios cerrados tendrían que compartir al menos esa medición. Además, el indicador se relaciona con las capacidades reales solo de forma indirecta. El ejemplo de la ciberseguridad y las matemáticas muestra una correlación, no una garantía: qué capacidades concretas aparecerán con la siguiente bajada es algo que no se conoce de antemano.

Qué significa para desarrolladores y responsables de producto

Por ahora, la conclusión es más bien estratégica. Si la idea llega a convertirse en estándar del sector, el ritmo de lanzamiento de los nuevos modelos de frontera podría depender de un umbral acordado públicamente, y no solo de la disponibilidad de hardware y presupuesto. Esto afectaría a las hojas de ruta de los proveedores de API y a la rapidez con la que los equipos pueden contar con la siguiente generación de modelos. Conviene seguir tres cosas: si OpenAI publica una cifra concreta, si se suman Anthropic y Google al esquema y si surge un organismo independiente que verifique esos números.

Historia

Preguntas frecuentes sobre la noticia

¿Para qué hace falta realmente un «velocímetro»?

El tema de ralentizar la IA ha dejado de ser cosa de activistas. Un antiguo investigador de OpenAI y Anthropic afirmó que las compañías «juegan con nuestras vidas». En la solicitud de salida a bolsa de Anthropic se dice expresamente que la tecnología puede entrañar «riesgos catastróficos o existenciales para la sociedad». El director de Anthropic, Dario Amodei, publicó un plan para «marcar el ritmo de la frontera tecnológica», que, a juzgar por las reacciones, respaldaron Sam Altman y Elon Musk.

¿Por qué la perplejidad y no los benchmarks habituales?

Los tests de habilidades aplicadas (resolución de problemas, escritura de código, matemáticas de olimpiada) caducan rápidamente: los modelos topan con el techo y el test deja de distinguir una versión nueva de la anterior. Según Pachocki, la perplejidad sigue siendo «informativa» mientras otros benchmarks se suceden unos a otros. En pocas palabras, mide con qué frecuencia el modelo se «sorprende» ante la continuación real de una frase.

¿Qué se sabe sobre Lo que queda fuera de foco?

De momento, esta propuesta es de una sola compañía, no un acuerdo del sector. En el resumen de TechCrunch no aparece ningún umbral concreto, ningún mecanismo para verificar que un competidor no eluda la restricción, ni respuesta sobre quién hará los cálculos. Las cuestiones prácticas son evidentes. La perplejidad se calcula sobre un conjunto de textos concreto y con un tokenizador concreto, por lo que una comparación honesta entre modelos de distintas empresas requiere un corpus de prueba común.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…