Claude Opus 5.5 alcanza el 68% en HLE-Diamond, pero cada tarea cuesta 35 veces más

El equipo de Artificial Analysis, un laboratorio independiente que compara modelos de IA por calidad y precio, ha mostrado cuánto cuesta cada punto extra de precisión. En HLE-Diamond, un conjunto de preguntas expertas muy difíciles del test Humanity's Last Exam («El último examen de la humanidad»), Claude Opus 5.5, de Anthropic, resuelve el 42% de las tareas con un nivel de esfuerzo bajo y el 68% con el máximo. La mejora es de 26 puntos porcentuales, pero cada tarea sale aproximadamente 35 veces más cara. En GPT-6 Astra, de OpenAI, el resultado pasó del 45% al 64%, es decir, 19 puntos, con un encarecimiento de la tarea de 11 veces.

Qué se entiende aquí por «esfuerzo»

Los modelos de razonamiento actuales no responden de inmediato. Primero escriben un borrador largo de razonamiento: prueban opciones, se autoverifican, vuelven atrás. El ajuste de esfuerzo (effort) define cuánto de ese «pensar» se permite. En el nivel bajo, el modelo responde rápido y de forma breve. En el máximo, puede gastar en una sola tarea muchas veces más tokens.

Esos tokens los paga quien llama al modelo. Por eso la calidad y el precio suben a la vez. Al aumentar el esfuerzo se obtienen más respuestas correctas, pero cada intento cuesta bastante más.

Las cifras de los dos modelos, lado a lado

El post de Artificial Analysis ofrece estos datos:

• Claude Opus 5.5: esfuerzo bajo 42%, máximo 68%, mejora de 26 puntos, el precio de la tarea aumentó aproximadamente 35 veces.
• GPT-6 Astra: esfuerzo bajo 45%, máximo 64%, mejora de 19 puntos, el precio de la tarea aumentó 11 veces.

De estos números se pueden deducir algunos más. Con el esfuerzo mínimo, GPT-6 Astra supera a Opus por 3 puntos (45% frente a 42%). Con el máximo ocurre lo contrario: Opus va por delante por 4 puntos (68% frente a 64%). La proporción de errores de Opus bajó del 58% al 32%; la de GPT, del 55% al 36%.

Con estos datos no se puede determinar qué modelo es más barato. Las cifras solo muestran cuántas veces crece el precio de la tarea dentro de cada modelo. En dólares absolutos, Opus en el máximo puede costar tanto más como menos que GPT-6 Astra en el máximo. Depende del precio de partida en el nivel bajo y de las tarifas por token de cada proveedor.

Cuánto cuesta cada punto adicional

Se puede estimar cómo se relaciona el precio con la calidad. Un aumento de 35 veces equivale aproximadamente a cinco duplicaciones (2⁵ = 32). Con ellas, Opus ganó 26 puntos, es decir, unos 5 puntos por cada duplicación. Un aumento de 11 veces equivale a unas 3,5 duplicaciones, y los 19 puntos de GPT-6 Astra suponen unos 5,5 puntos por duplicación.

Es una aritmética gruesa. La curva real casi seguro que no es una recta perfecta, y en los niveles altos el crecimiento debería ralentizarse. Aun así, la imagen es útil: GPT-6 Astra convierte el dinero adicional en precisión con algo más de eficiencia, mientras que Opus 5.5 llega más lejos en el techo de calidad. Para conseguir los últimos 10–15 puntos habrá que pagar una cantidad desproporcionada.

Qué deben hacer ingenieros y empresas

La principal conclusión práctica: decir «qué modelo es mejor» sin indicar el modo de funcionamiento casi no informa de nada. Un mismo modelo con distintos ajustes difiere en 19–26 puntos, más que la distancia entre los líderes en un mismo nivel de esfuerzo. Hay que comparar por el par «modelo más ajuste» y por el precio por tarea resuelta.

Pasos prácticos:

• Para tareas masivas como clasificación, extracción de datos y respuestas tipo de soporte, use un esfuerzo bajo. Ahí la precisión rara vez depende de la profundidad del razonamiento, y el sobrecoste de 35 veces no se amortiza.
• Reserve el esfuerzo máximo para casos raros y costosos: análisis complejo, preguntas científicas, bugs difíciles. Allí un error cuesta más que los tokens adicionales.
• Construya un sistema de enrutamiento. Primero, una pasada barata, y envíe al modo máximo solo lo que el modelo no tenga claro o lo que no haya superado la verificación.
• Mida el precio por respuesta correcta con sus propios datos, y no solo el porcentaje del benchmark. Un test como HLE-Diamond muestra el techo en preguntas de examen, y sus tareas de trabajo pueden comportarse de otra manera.

El post de Artificial Analysis recuerda bien que, en los modelos de razonamiento, la precisión se ha convertido en un parámetro regulable y no en una característica fija. Junto con ella, también se regula la factura.