Anthropic acelera un 35% las respuestas de Claude en conversaciones largas

Las conversaciones largas con un modelo se gestionan de una forma poco elegante: antes de cada nueva respuesta, la aplicación vuelve a enviar todo el intercambio. Cuando el historial contiene apenas unos mensajes, casi no se nota. Pero cuando un agente pasa horas analizando un repositorio, manejando un ordenador o leyendo cientos de documentos, la retransmisión del contexto se convierte en una fuente de latencia por sí misma.

Anthropic ha presentado Message Threads para estos casos. La función ha entrado en beta pública en la plataforma Claude y, según la empresa, reduce cerca de un 35% el tiempo hasta el primer token en solicitudes con contextos de entre 500.000 y un millón de tokens.

Que cambia en la solicitud

Imaginemos un agente que ya ha cargado un proyecto grande: código fuente, documentación, resultados de pruebas y el historial de sus acciones. Entonces el desarrollador escribe un mensaje breve: «Corrige el error detectado y vuelve a ejecutar las pruebas».

Con el esquema convencional, el cliente vuelve a transmitir a Claude toda la conversación acumulada junto con ese mensaje. Message Threads permite enviar únicamente lo que ha cambiado desde la solicitud anterior. El modelo sigue recibiendo el historial completo, pero la capa de transporte ya no tiene que volver a mover cientos de miles de tokens por la red.

Por eso Anthropic habla de acelerar el tiempo hasta el primer token, no de reducir el volumen del contexto. El usuario ve antes el comienzo de la respuesta, pero el modelo continúa leyendo todo el diálogo y teniéndolo en cuenta durante la generación.

Donde tendra un efecto apreciable

Los principales candidatos son los agentes de larga duración. Un agente de programación acumula poco a poco archivos, mensajes del compilador y resultados de pruebas. Un agente que trabaja con interfaces conserva una secuencia de capturas de pantalla y acciones realizadas. Un sistema de análisis documental puede mantener en el contexto informes, hojas de cálculo e imágenes. En todos estos casos, la nueva instrucción es pequeña en comparación con el historial ya reunido.

Para un chatbot convencional con una docena de intervenciones breves, la diferencia probablemente será más modesta. El 35% anunciado corresponde a solicitudes muy grandes, a partir de 500.000 tokens. No se puede extrapolar esa cifra a cualquier conversación: la mejora real depende del tamaño del historial, la red, la región, el modelo y el resto de la infraestructura de la aplicación.

También existe una limitación importante. Message Threads no reduce el consumo de tokens: Claude sigue procesando todo el contexto. Por tanto, la función mejora la latencia de transmisión de datos, pero no resuelve el coste de las conversaciones largas. Si el objetivo exige ahorrar, los desarrolladores aún tendrán que recortar el historial, crear resúmenes, trasladar datos a un almacenamiento externo o seleccionar con mayor precisión el contexto de cada paso.

Que comprobar antes de implementarlo

El hilo se conserva entre solicitudes en memoria RAM cifrada y se elimina tras cinco minutos de inactividad. Esto puede bastar para un agente interactivo, pero un proceso en segundo plano con pausas largas debe poder restaurar el estado o volver a enviar el historial. El identificador del hilo no debe considerarse un almacenamiento persistente de la sesión.

La función opera en la plataforma Claude y también a través de AWS, Microsoft Foundry y Google Cloud. Mientras permanezca en beta pública, conviene activarla de forma gradual: medir el tiempo hasta el primer token en las trazas propias, comprobar el comportamiento después de que transcurran los cinco minutos y prever el retorno a las solicitudes convencionales.

La conclusión práctica es sencilla: si su agente retransmite constantemente cientos de miles de tokens de un contexto casi idéntico, vale la pena probar Message Threads. No abaratará el modelo ni mejorará la calidad del razonamiento, pero puede eliminar una parte apreciable de la espera cuando el historial ya pesa más que el mensaje nuevo.