Apple y CMU aceleran 10 veces a los agentes de IA al sustituir el razonamiento por la elección

Investigadores de Apple y Carnegie Mellon University han propuesto un método para acelerar los agentes basados en LLM aproximadamente 10 veces. En lugar de redactar un razonamiento extenso antes de cada acción, el modelo elige el siguiente paso de un conjunto de opciones, como en un test de respuestas múltiples. Lo informa el medio chino Jiqizhixin. La cifra de «10 veces» procede del titular de la publicación: en el fragmento de texto disponible no aparecen ni el nombre del método ni tablas con benchmarks, así que por ahora no se puede verificar.

Dónde pierde tiempo el agente

Un agente típico trabaja con el esquema ReAct: observación, pensamiento, acción. Antes de cada movimiento, el modelo genera texto libre. Analiza la situación actual, sopesa las evidencias reunidas y solo después decide qué hacer. Es el núcleo del paradigma y lo que da flexibilidad a los agentes. Pero esa flexibilidad tiene un precio.

Los tokens se generan de forma secuencial, uno tras otro. Si el razonamiento ocupa cientos de tokens y la acción en sí cabe en una decena, el grueso del tiempo y del dinero se va en «pensar». En una tarea de veinte o treinta pasos, estas pérdidas se acumulan y la latencia de respuesta crece casi linealmente con el número de pasos.

Qué proponen Apple y CMU

La idea que apunta el titular es convertir la generación en una tarea de elección. El modelo no compone el razonamiento desde cero, sino que recibe opciones e indica la adecuada. La salida se reduce de cientos de tokens a unos pocos. Eso explica de dónde podría salir un orden de magnitud de aceleración. Pero esta es mi interpretación de la mecánica: el texto disponible no detalla el método.

Del fragmento publicado se sabe lo siguiente:

• autores: investigadores de Apple y Carnegie Mellon University;
• problema: el razonamiento libre antes de cada acción en ReAct genera una sobrecarga apreciable en la inferencia;
• solución: sustituir la generación libre del «pensamiento» por un formato de elección entre opciones;
• resultado declarado: aceleración de la inferencia del agente de aproximadamente 10 veces;
• no se revela: el nombre del método, el conjunto de tareas, los modelos ni el efecto sobre la proporción de tareas resueltas con éxito.

El último punto es el más importante. Cualquier compresión del razonamiento corre el riesgo de dañar la calidad, sobre todo en tareas largas, donde un error temprano arrastra toda la cadena.

Qué comprobar en primer lugar

Al leer el artículo completo, conviene buscar respuesta a varias preguntas. ¿De dónde salen las opciones? Si los candidatos también los genera un modelo grande, parte del ahorro simplemente se traslada a otra etapa. ¿Cómo se comporta el método en entornos abiertos, donde el espacio de acciones no se reduce a una lista corta? ¿Con qué líneas base se comparó: con ReAct completo, con un chain-of-thought corto o con otros aceleradores, como la decodificación especulativa y el almacenamiento en caché?

A los equipos que construyen agentes les conviene calcular ya qué proporción de los tokens de salida de sus trazas corresponde al razonamiento. Si supera la mitad, el formato de elección o cualquier otra compresión del «pensamiento» puede dar una mejora notable en latencia y en coste por llamada. Si el razonamiento ocupa poco en las trazas, no cabe esperar un efecto de diez veces.

Para Apple, el interés del tema es evidente: los pasos baratos del agente importan donde la capacidad de cómputo es escasa. Es una suposición mía y el texto no la confirma. Por ahora, estamos ante el anuncio de un resultado fuerte sin pruebas visibles. Se podrá juzgar su solidez después de leer el trabajo en sí, sobre todo sus tablas de precisión en benchmarks de agentes.