GPT-4o mini mantiene 37–38 reglas de sustitución de palabras con un 95% de precisión

Un trabajo publicado en Hugging Face Daily Papers propone medir el límite de un modelo de lenguaje en número de reglas, igual que se mide la capacidad de una memoria. La unidad de carga es una regla del tipo «sustituye la palabra A por la palabra B» en un texto sin sentido. El resultado se denomina «capacidad de instrucciones» (instruction capacity): cuántas de estas reglas cumple el modelo antes de que la proporción de sustituciones correctas caiga por debajo de un umbral dado. En el caso de GPT-4o mini, el umbral del 95% de sustituciones correctas se alcanza con 37–38 reglas. Si las palabras que se sustituyen ocupan la máxima proporción del texto, la capacidad cae a 18–19 reglas.

Por qué las pruebas anteriores no dan una cifra única

Se sabe desde hace tiempo que la calidad baja a medida que aumenta el número de condiciones. Sin embargo, hasta ahora no se había logrado expresar el límite de un modelo en unidades de carga y con un margen de error. El problema está en las propias pruebas: sus instrucciones son de naturaleza y complejidad muy distintas.

Por ejemplo, IFEval pide «escribir más de 400 palabras» o «mencionar la palabra IA tres veces». FollowBench añade a la tarea, una a una, restricciones de cinco tipos. IFScale usa de 10 a 500 instrucciones de un mismo tipo, y con 500 las mejores de 20 modelos cumplen solo el 68%.

Además, la comprobación suele hacerla otro modelo que actúa como juez, y ese juez sobrestima el resultado. En uno de los trabajos citados, con diez instrucciones el juez dio 0,657, mientras que la verificación por programa dio 0,213.

Como consecuencia, el número de instrucciones se mezcla con la composición del conjunto y con una complejidad creciente. El autor necesitaba una instrucción sin esos defectos:

• indivisible, es decir, que no se pueda cumplir a medias; • independiente de las demás reglas por la construcción de la tarea; • homogénea, para que la décima regla no sea más difícil que la primera; • verificable por un programa; • observable en cada punto de la respuesta.

Cómo funciona la medición

La sustitución de una palabra en un texto sin sentido cumple los cinco requisitos. Cada sustitución tiene exactamente un resultado correcto, y la respuesta de referencia la calcula un programa. La tarea se genera a partir de tres semillas aleatorias y es reproducible byte a byte. La respuesta se comprueba línea por línea, y los errores se clasifican en tres tipos.

Cada aparición de la palabra que se sustituye se convierte en una prueba independiente de «correcto o incorrecto», con una posición conocida en la respuesta y el número de la regla en la lista. Así, un solo modelo genera cientos de miles de observaciones, en lugar de una única puntuación por tarea.

A continuación entra en juego un modelo estadístico. Primero mide, por intervalos, cómo depende la probabilidad de una sustitución correcta de cinco factores:

• la longitud del texto; • la posición de la palabra; • la densidad de sustituciones; • el número de reglas; • el número de la regla en la lista.

Después, esas dependencias se describen mediante leyes suaves. Una corrección del sesgo de aproximación recupera el nivel base, que no depende de la codificación elegida. La capacidad se calcula como la solución de un problema inverso: con qué carga la probabilidad desciende hasta el nivel deseado. El margen de error se calcula con el método delta y tiene en cuenta la dispersión en la dificultad de cada solicitud.

Qué resultados obtuvo GPT-4o mini

La medición requirió 2958 solicitudes y 642 430 pruebas. Con cada factor de carga, el modelo mostró una degradación regular. Por separado se describen los patrones de «colapso» de la respuesta: a qué velocidad y en qué punto se desmorona. Además de la capacidad con un 95% de sustituciones correctas, el autor define una capacidad de fatiga y una capacidad garantizada. Sus definiciones están más detalladas en el cuerpo del trabajo que en la introducción.

Las cifras principales:

• unas 37–38 reglas con una proporción de sustituciones correctas de 0,95; • unas 18–19 reglas con densidad máxima de sustituciones.

Una diferencia de un factor dos indica que el límite no depende solo del número de reglas, sino también de la densidad con que se activan en el texto. Para quien diseña prompts, esto importa: una misma lista de reglas puede ser segura en un texto con pocas sustituciones y poco fiable en uno denso.

Son públicos el código de la herramienta, los datos de la medición y el «pasaporte» del modelo. Cada número del pasaporte se recalcula a partir de los puntos publicados, de modo que el resultado es verificable.

Para qué sirve a los ingenieros

El autor concibe el pasaporte del modelo como la calibración de un futuro «medidor de carga» de prompts. La idea es evaluar la complejidad de un prompt arbitrario en las mismas unidades que la capacidad del modelo y ver de antemano si cabe dentro de su límite. Por ahora es una propuesta de futuro, no una herramienta lista para usar.

Las limitaciones también son evidentes. Se midió un solo modelo, GPT-4o mini, y la tarea es artificial: sustituir palabras sueltas en un texto sin sentido. Las instrucciones reales sobre estilo, formato y uso de herramientas son más complejas. El benchmark AgentIF, construido con prompts de agentes reales, mostró que incluso los mejores modelos cumplen por completo menos del 30% de las instrucciones. El pasaporte basado en la sustitución de palabras fija una escala inferior limpia, pero no sustituye a este tipo de pruebas.

Conclusión práctica: si un agente se apoya en una larga lista de reglas independientes en el prompt de sistema, conviene comparar su número con la capacidad medida del modelo y dejar un margen. Para comparar modelos o generaciones de una misma línea, la capacidad con su margen de error ofrece una métrica más honesta que la puntuación media de un conjunto heterogéneo.