METR: los modelos de Anthropic mejoran el doble de rápido que hace un año, en gran parte gracias a la IA

Imagine un equipo de desarrolladores en el que cada ingeniero empieza de pronto a trabajar varias veces más rápido gracias a su propio producto. Según el nuevo informe de METR, eso es exactamente lo que ocurre ahora en Anthropic. La compañía usa IA para construir una IA más potente y obtiene un efecto notable.

Qué encontró METR

Los investigadores de METR trabajaron 11 semanas dentro de la compañía y estudiaron cómo influye la IA en sus propios desarrollos. La conclusión principal: los modelos de Anthropic mejoran aproximadamente el doble de rápido que hace un año. Según los benchmarks, en el último año la compañía logró cerca de dos años de progreso histórico.

Un detalle importante: METR está convencida de que no se trata simplemente de haber comprado más cómputo. Antes, la escala era el principal motor del progreso. Ahora, según los investigadores, la mayor parte de la aceleración a octubre está ligada a la propia IA, y su contribución crece.

Lo confirman encuestas en Slack y entrevistas. Los empleados que trabajan con el modelo interno más potente estiman su productividad, en promedio, unas 12 veces superior a la que tendrían sin IA. Es aproximadamente el doble de lo que decían hace unos meses, cuando usaban Mythos 5. Son estimaciones subjetivas, pero la tendencia es clara.

Por ahora, la aceleración procede sobre todo de que la IA ayuda a los investigadores humanos, no de que trabaje de forma totalmente autónoma. Sin embargo, METR advierte de que hay señales de que el papel de las contribuciones autónomas crecerá pronto. Los investigadores no hallaron indicios claros de rendimientos decrecientes ni de cuellos de botella que impidan seguir acelerando.

Los modelos que no vemos

Una parte significativa de la mejora corresponde a modelos internos inaccesibles al público. En los últimos seis meses, Anthropic terminó de entrenar tres nuevos modelos que aún no se han lanzado. METR los llama Model 2, Model 3 y Model 4 (son nombres en clave convencionales; dentro de la compañía son otros). El entrenamiento terminó en julio, entre agosto y septiembre, y entre septiembre y octubre, respectivamente.

Para el profesional esto significa algo sencillo: lo que los desarrolladores usan a través de la API va por detrás de lo que se usa dentro del laboratorio. Al planificar un producto a un año vista, conviene asumir que las capacidades de los modelos crecerán más rápido que en las previsiones del año pasado.

Por qué se preocupan los investigadores

Se permitió a Anthropic editar el informe final, y lo hizo de forma activa. Según METR, de la versión pública se eliminó la mayor parte de las pruebas más informativas del informe completo, de unas 100 páginas. Algunas solicitudes de datos fueron rechazadas y la compañía canceló la verificación de cuánto cómputo se dedica a seguridad en lugar de a aumentar las capacidades.

El cofundador de Anthropic, Sam McCandlish, reconoció que esto dificulta la verificación, pero explicó la decisión por la sensibilidad comercial y el riesgo de entregar a los competidores una «hoja de ruta» de aceleración. La compañía promete publicar su propio informe en las próximas semanas.

Los críticos señalan una contradicción: Anthropic habla de seguridad más alto que nadie, pero ella misma acelera. Daniel Kokotajlo la acusó de «jugar temerariamente con nuestras vidas». Marius Hobbhahn, de Apollo Research, considera que el ritmo es incluso más rápido que el escenario AI 2027 y aconseja «prepararse para la locura». El legislador Alex Bores pidió al Congreso prohibir la automejora recursiva.

Qué hacer al respecto

Primero, no considere las capacidades actuales de los modelos como un techo: planifique productos con margen para un rápido crecimiento de la calidad y ciclos de lanzamiento más cortos. Segundo, siga la regulación: la presión sobre los laboratorios aumenta y los requisitos de transparencia pueden afectar a todos los que construyen sobre modelos frontier. Tercero, trate con cautela los autoinformes de productividad: el aumento de 12 veces se basa en encuestas y una parte significativa de las pruebas está oculta. El público debe confiar en la evaluación de METR en lugar de verificar los datos por sí mismo.