Anthropic lanza Message Threads: inicio de respuesta un 35% más rápido en sesiones largas

Cualquiera que haya construido un agente sobre contexto largo conoce este problema: la sesión crece y cada nuevo paso empieza con una pausa. El modelo aún no ha dicho nada, pero usted ya ha enviado por la red cientos de miles de tokens de historial. Anthropic lanzó Message Threads para eliminar precisamente esa pausa.

Qué ha cambiado

Antes, el esquema era simple e incómodo. En cada paso el cliente reunía todo el diálogo: el prompt del sistema, los resultados de las herramientas, las intervenciones anteriores, y lo enviaba completo. Cuanto mayor es el historial, mayor es el retraso hasta el primer token.

Ahora la solicitud a la API incluye un parámetro thread. El conjunto completo de datos se envía una vez. Después, el cliente envía solo los mensajes nuevos y el identificador de la respuesta anterior. Entre solicitudes, Anthropic mantiene el contexto en la memoria RAM de forma cifrada. El hilo vive cinco minutos tras la última llamada; después hay que volver a enviar el historial.

Según la compañía, para agentes y sesiones de entre 500.000 y un millón de tokens, la espera hasta el inicio de la respuesta se reduce un 35% de media. La beta pública está disponible en la plataforma Claude, en AWS, Microsoft Foundry y Google Cloud.

Cómo se ve en la práctica

Imagine un agente de código que analiza un repositorio grande. Ha leído 40 archivos, ejecutado pruebas, recibido registros, y ahora el contexto ocupa 600.000 tokens. Antes, cada llamada posterior a una herramienta implicaba reenviar los 600.000. Ahora el agente envía un mensaje corto del tipo «este es el resultado de la última prueba» más el identificador de la respuesta anterior. Se alivian la red y la preparación de la solicitud, y el usuario ve la respuesta antes.

Una salvedad importante: la facturación no se ve afectada. El modelo sigue procesando todo el volumen, así que los tokens se cuentan igual que antes. Es una optimización de la latencia, no una forma de ahorrar presupuesto. Si su problema es el coste, mire hacia el almacenamiento en caché de prompts y la compresión de contexto, no hacia Threads.

Limitaciones y qué hacer

El principal inconveniente es la ventana de cinco minutos. Para un agente interactivo que trabaja de forma continua, es suficiente. Para un chat en el que el usuario se ha ido a comer, el hilo caducará y la primera solicitud tras la pausa volverá a ser pesada. Por tanto, el código del cliente debe poder reconstruir el historial completo: guárdelo por su cuenta y use thread como acelerador, no como fuente de verdad.

Otro punto: la función está en beta. No conviene convertirla en la única vía hasta comprobar el comportamiento ante cortes del flujo y errores. Un plan razonable: activar thread en un escenario de agente, medir el tiempo hasta el primer token en sesiones reales y compararlo con el 35% prometido. La cifra es una media; en diálogos cortos la mejora será más modesta.

Qué más ha pasado

El mismo día salieron otras noticias que conviene tener presentes. Según el FT, Nvidia exige de manera extraoficial a los operadores de centros de datos que los clientes de China no ocupen más del 49% de la capacidad alquilada en los nuevos contratos. Si alquila GPU a nubes pequeñas, espere preguntas sobre la composición de su clientela y posibles cambios en la disponibilidad.

OpenAI ha elevado el pago base por vulnerabilidades críticas en ChatGPT y Codex hasta 30.000 dólares, y el máximo con bonificaciones llega a 172.000. Para los equipos que construyen productos sobre estos servicios, es una señal: la superficie de ataque se examina en serio, y usted también debería hacerlo.