En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarAI Alignment Forum→ original

Redwood Research: la IA acelera nuestro trabajo entre 2 y 3 veces, no entre 5 y 10 como en Anthropic

Según METR, la IA acelera el progreso de Anthropic en 1,7 veces, mientras que las estimaciones para la investigación en sí oscilan entre 5 y 12 veces. Un investigador de Redwood Research esperaba una mejora similar para los equipos externos, ya que cuentan con dinero para capacidad de cómputo. En la práctica, con Opus 5.5 y Claude Code solo consigue entre 2 y 3x. Busca las causas en las debilidades de los modelos, el tipo de tareas y la falta de atención humana.

Procesado por IA desde AI Alignment Forum; editado por Hamidun News
Redwood Research: la IA acelera nuestro trabajo entre 2 y 3 veces, no entre 5 y 10 como en Anthropic
Fuente: AI Alignment Forum. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAI Alignment Forum ↗
Editor jefe
Dato clave #1A veces, el agente toma decisiones «descabelladas» que invalidan los resultados
Dato clave #2El cuello de botella es el criterio de los responsables, no la velocidad de los agentes
Dato clave #3Si el 5x es real, los equipos externos pronto nos inundarán de publicaciones

Todos nos hemos acostumbrado a una afirmación atractiva: la IA acelera el desarrollo de la propia IA. Pero cuando esa afirmación se lleva a la práctica un lunes cualquiera, resulta que la mejora varía considerablemente de un equipo a otro. Un investigador de Redwood Research planteó una pregunta incómoda: si a Anthropic le va tan bien, ¿por qué nosotros no obtenemos los mismos resultados con los mismos modelos?

¿De dónde salió la cifra de 5–10x?

METR estimó recientemente que Anthropic logra una aceleración global de 1,7 veces en el progreso de las capacidades de sus modelos gracias al uso de IA en su propio trabajo. Es un resultado agregado, lo que implica que la investigación en sí se ha acelerado mucho más. Ajeya Cotra calcula alrededor de 10x; empleados de Anthropic han mencionado aproximadamente 12x. Los investigadores de la empresa hablaron de 5x con Mythos 5. Los equipos externos tienen acceso a Opus 5.5, que, según el autor, es ligeramente mejor.

El autor extrae una conclusión sencilla. Si la IA también acelera la investigación en seguridad, los especialistas internos de Anthropic deberían trabajar unas 10 veces más rápido, y los externos, 5 veces más rápido ya mismo. Además, los equipos externos tienen una ventaja: pueden aumentar rápidamente el gasto en capacidad de cómputo. Redwood cuenta con buena financiación y multiplicaría con gusto su gasto por 5 si tuviera 5 veces más experimentos que ejecutar. Por tanto, la aceleración del trabajo debería traducirse en una aceleración equivalente de los proyectos.

En la práctica, el autor sitúa su propia mejora más bien entre 2 y 3 veces. Ya es mucho, pero no es 5x.

Tres posibles explicaciones

Hemos implementado mal la IA. Es posible. Pero el equipo utiliza agentes de forma activa, sobre todo Claude Code y, desde hace poco, Claude Tag. También cuenta con una infraestructura propia para la investigación autónoma que ha producido resultados publicados. Sus puntos débiles son conocidos: Claude a veces toma decisiones «completamente descabelladas» que invalidan todo el resultado y redacta mal el informe final. Si Anthropic tuviera una infraestructura que aumentara radicalmente la utilidad de los modelos, probablemente la habría convertido en un producto. Aunque también podría disponer de herramientas internas específicas que no ofrece al exterior. El autor cree que la explicación está más en las limitaciones fundamentales de los modelos que en la infraestructura.

Las tareas son distintas. Quizá sea más fácil acelerar la investigación sobre capacidades. Por ejemplo, si el principal obstáculo al experimentar con una arquitectura nueva es implementarla de forma eficiente, la fortaleza del modelo encaja precisamente con esa necesidad. Un empleado de Anthropic le dijo al autor que el trabajo sobre capacidades se había acelerado bastante más que su trabajo de alineamiento a corto plazo.

El criterio se ha convertido en el cuello de botella. Buena parte de la investigación en Redwood la realizan personas en prácticas y empleados júnior, que colaboran estrechamente con un responsable para definir prioridades. Quienes ejecutan el trabajo pueden haber ganado velocidad de verdad, pero ahora les falta tiempo de su responsable para que este entienda qué están haciendo. Quizá Anthropic tenga más investigadores sénior autónomos, o sus tareas exijan menos decisiones matizadas.

También hay un ejemplo de un salto real. La investigación de Ryan sobre Hugging Face se aceleró «una barbaridad» gracias al trabajo intensivo con agentes: el proyecto exigía leer una cantidad enorme de material, y el propio Ryan sabe diseñar muy bien flujos de trabajo con agentes.

Qué implica esto para quienes usan agentes

En primer lugar, las cifras de aceleración no se pueden trasladar sin más de un equipo a otro. Un mismo modelo ofrece 10x cuando la tarea es fácil de verificar y hay personas experimentadas, y entre 2 y 3x cuando hacen falta decisiones matizadas y supervisión manual. Si estáis incorporando agentes, fijaos en los cuellos de botella: la verificación de resultados, los informes y el tiempo del personal sénior.

En segundo lugar, el principal riesgo es un agente que rompe la metodología con total seguridad. Los experimentos rápidos no sirven de nada si parte de las conclusiones no son válidas. Hacen falta comprobaciones automáticas y una persona que revise tanto el resultado final como el proceso seguido para obtenerlo.

En tercer lugar, la hipótesis tiene una consecuencia comprobable. Si el trabajo empírico en seguridad realmente se acelera entre 5 y 10 veces, pronto debería aumentar de forma notable el flujo de publicaciones valiosas de investigadores externos. El autor escribe expresamente que, si las mejoras no aparecen en las tareas más susceptibles de acelerarse, concluirá que los investigadores están haciendo algo mal. Además, cita una encuesta de Arcadia Impact en la que especialistas externos declararon una aceleración de aproximadamente 1,6x.

Las limitaciones son evidentes: es el razonamiento de un investigador, no una medición. Las estimaciones de velocidad declaradas por los propios participantes son notoriamente poco fiables, y el autor reconoce que, al principio, las propias cifras de Anthropic le parecían poco fundamentadas. Aun así, la pregunta es útil: ¿la mejora anunciada es una propiedad del modelo o del equipo, las tareas y los procesos que lo rodean?

Historia

Preguntas frecuentes sobre la noticia

¿De dónde salió la cifra de 5–10x?

METR estimó recientemente que Anthropic logra una aceleración global de 1,7 veces en el progreso de las capacidades de sus modelos gracias al uso de IA en su propio trabajo. Es un resultado agregado, lo que implica que la investigación en sí se ha acelerado mucho más. Ajeya Cotra calcula alrededor de 10x; empleados de Anthropic han mencionado aproximadamente 12x. Los investigadores de la empresa hablaron de 5x con Mythos 5. Los equipos externos tienen acceso a Opus 5.5, que, según el autor, es ligeramente mejor.

¿Qué se sabe sobre Tres posibles explicaciones?

Hemos implementado mal la IA. Es posible. Pero el equipo utiliza agentes de forma activa, sobre todo Claude Code y, desde hace poco, Claude Tag. También cuenta con una infraestructura propia para la investigación autónoma que ha producido resultados publicados. Sus puntos débiles son conocidos: Claude a veces toma decisiones «completamente descabelladas» que invalidan todo el resultado y redacta mal el informe final.

¿Qué se sabe sobre Qué implica esto para quienes usan agentes?

En primer lugar, las cifras de aceleración no se pueden trasladar sin más de un equipo a otro. Un mismo modelo ofrece 10x cuando la tarea es fácil de verificar y hay personas experimentadas, y entre 2 y 3x cuando hacen falta decisiones matizadas y supervisión manual. Si estáis incorporando agentes, fijaos en los cuellos de botella: la verificación de resultados, los informes y el tiempo del personal sénior. En segundo lugar, el principal riesgo es un agente que rompe la metodología con total seguridad.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…