Anthropic reescribió tres veces su prueba técnica: Claude Opus 4.5 alcanza a los mejores ingenieros

La prueba técnica para ingenieros de rendimiento de Anthropic se utiliza desde principios de 2024. La han realizado más de 1000 candidatos y decenas de ellos trabajan hoy en la empresa, entre ellos quienes pusieron en marcha el clúster de Trainium y lanzaron todos los modelos desde Claude 3 Opus. Ahora cada nueva versión de Claude rompe esta prueba. Con el mismo límite de tiempo, Claude Opus 4 superó a la mayoría de las personas. Claude Opus 4.5 igualó a los mejores candidatos, y con un resultado a las dos horas ya es imposible distinguirlos del modelo. Tristan Hume, autor de la prueba y responsable del equipo de optimización de rendimiento, lo describió el 21 de enero de 2026.

Cómo estaba diseñada la prueba

En noviembre de 2023, Anthropic se preparaba para lanzar Claude Opus 3. Ya disponía de clústeres de TPU y GPU, esperaba un gran clúster de Trainium y le faltaban ingenieros de rendimiento. Hume escribió en Twitter y recibió por correo más candidatos de los que el proceso estándar podía gestionar. Tardó dos semanas en diseñar la prueba.

Construyó en Python un simulador de un acelerador ficticio parecido a una TPU. Los candidatos optimizan código sobre él con ayuda de una traza de Perfetto con recarga en caliente que muestra cada instrucción. La máquina cuenta con memoria scratchpad de gestión manual, VLIW (varias unidades de ejecución en cada ciclo), SIMD y multinúcleo.

La tarea no trata deliberadamente de deep learning: es un recorrido paralelo de un árbol, inspirado en la inferencia SIMD sin ramificaciones de árboles de decisión. Se parte de una implementación totalmente secuencial, después viene un calentamiento con multinúcleo y, por último, hay que elegir entre SIMD y empaquetado VLIW. La primera versión aún contenía un bug que había que depurar, es decir, para el que había que construir una herramienta.

El primer resultado confirmó la idea. Un candidato de la oleada de Twitter obtuvo una puntuación notablemente superior a la del resto, se incorporó al equipo y casi de inmediato encontró una solución alternativa para un bug del compilador que bloqueaba un lanzamiento: la aritmética de índices de los tensores desbordaba los 32 bits.

Cómo Claude rompió la prueba

En mayo de 2025, más de la mitad de los candidatos habría ganado con solo entregarle la tarea a Claude 3.7 Sonnet a través de Claude Code. Opus 4, en versión previa al lanzamiento, produjo en 4 horas una solución mejor que la de casi todos los humanos. Hume usó el modelo para localizar el punto en el que empieza a atascarse y lo convirtió en el punto de partida de la segunda versión. Escribió un código inicial más limpio, añadió nuevas capacidades a la máquina, eliminó el multinúcleo, que Claude ya resolvía, y redujo el límite de 4 horas a 2, porque la coordinación de franjas horarias alargaba la contratación varias semanas.

Con Opus 4.5 eso no funcionó. El modelo cubrió los principales cuellos de botella, implementó las microoptimizaciones habituales y superó el umbral de aprobación en menos de una hora.

Después se detuvo, convencido de haber chocado con el límite de ancho de banda de memoria. A la misma conclusión llega la mayoría de las personas. Sin embargo, existe un truco que aprovecha la estructura del problema.

Cuando Hume le indicó el número de ciclos alcanzable, Claude lo pensó y encontró ese truco. A las 2 horas, su resultado igualaba al mejor resultado humano, y esa persona, a su vez, usaba activamente Claude 4. En un arnés interno con test-time compute, el modelo seguía mejorando el resultado a medida que aumentaba el tiempo.

Dos intentos de salvar el formato

Hume descartó prohibir la IA: no se puede controlar y aleja la prueba del trabajo real. La opción de «superar a Claude Code por cuenta propia» también le parece dudosa. Claude trabaja rápido, mientras que las personas dedican la mitad del tiempo a leer el enunciado, de modo que la estrategia ganadora podría ser limitarse a observar desde fuera.

La primera tarea nueva surgió de una optimización real de Hume: la transposición de datos en los registros 2D de la TPU sin conflictos de bancos de memoria. Opus 4.5 se le adelantó con algo que el autor no había previsto: transponer no los datos, sino todo el cálculo. Hume cerró ese resquicio y el modelo no llegó al óptimo, pero con el modo ultrathink y un presupuesto de razonamiento ampliado resolvió igualmente la tarea. El motivo es que sobre los conflictos de bancos hay mucho escrito y Claude cuenta con un enorme bagaje de experiencia.

El segundo intento fue por un camino más extraño. Hacía falta una tarea fuera de la distribución de los datos de entrenamiento, y Hume recurrió a los juegos de Zachtronics, que emplean conjuntos de instrucciones inusuales y muy restringidos. Esto choca con el objetivo de que la prueba se parezca a un trabajo real, y el autor reconoce este compromiso.

Hechos clave

• La prueba se usa desde principios de 2024 y la han realizado más de 1000 candidatos.
• El límite de tiempo se redujo de 4 a 2 horas.
• Claude 3.7 Sonnet superaba a más del 50% de los candidatos.
• Opus 4 superó a casi todos los humanos en 4 horas.
• Opus 4.5 superó el umbral en menos de una hora e igualó al mejor humano en 2 horas.
• Con tiempo ilimitado, los mejores humanos aún superan a Claude.

Conclusiones prácticas para quienes contratan

El modelo resuelve con su experiencia acumulada las tareas basadas en técnicas conocidas, como la transposición o los conflictos de bancos. Es más fiable evaluar el razonamiento sobre material desconocido que el conocimiento. Prohibir la IA, además, aporta poco: es más sencillo diseñar la prueba asumiendo que el candidato trabaja con un modelo. El propio trabajo también se ha desplazado hacia la depuración compleja, el diseño de sistemas, el análisis de rendimiento y la verificación de la corrección, y eso es difícil de evaluar en un par de horas. Anthropic ha publicado el enunciado original como reto abierto: quien supere el resultado de Opus 4.5 puede escribir a la empresa.