ArisGlobal recortó un 40% su factura de IA al cachear el prompt común en lugar del PDF
La IA de ArisGlobal analiza informes de efectos adversos de medicamentos, y el prompt común para las farmacéuticas ha crecido de 72 a 180 mil tokens. Al principio se cacheaba el PDF de entre 10 y 200 páginas, pero ese documento es distinto en cada caso. Ahora van primero las reglas comunes: el 65% de los tokens de entrada sale de la caché y la factura de inferencia ha bajado cerca de un 40%. La conclusión: cachee lo que se repite, no lo más grande.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Si desarrolla un producto de IA para varios clientes corporativos, conoce el problema: el prompt de sistema se hincha con el tiempo. Cada cliente aporta sus propias reglas y ejemplos, y el modelo los vuelve a leer en cada solicitud y los cobra. ArisGlobal, proveedora de software para el sector farmacéutico, ha explicado en el blog de AWS cómo redujo cerca de un 40% su factura mensual de inferencia (el trabajo del modelo).
No acortó el prompt: cambió el orden de sus partes. Amazon Bedrock puede cachear el inicio de una solicitud: si la siguiente empieza con el mismo texto, ese fragmento se lee de la caché a un precio reducido. Antes, ArisGlobal cacheaba el documento PDF, que cambia en cada caso, y pagaba las instrucciones comunes a precio completo.
Ahora el 65% de los tokens de entrada procede de la caché y el precio efectivo de la entrada ha caído cerca de un 50%.
De dónde salió el aumento de la factura
El motor de IA NavaX de ArisGlobal funciona sobre Amazon Bedrock con modelos Claude. Procesa notificaciones de reacciones adversas a medicamentos: un PDF de varias páginas, de entre 10 y 200. De él, el agente extrae unos 130 campos: datos del paciente, fármaco sospechoso, cronología de los hechos, criterios de gravedad y clasificación regulatoria. Lo hace con una serie de solicitudes, cada una responsable de una sección del formulario.
En cada solicitud se repiten cuatro bloques: instrucciones de sistema, reglas de la farmacéutica concreta, esquema de extracción con ejemplos y el propio documento. Mientras hubo un solo cliente, el prompt era compacto. Después llegaron nuevos clientes y cada uno traía sus requisitos: por ejemplo, cómo registrar el inicio de la reacción, qué formato exigen la UE, la FDA o el regulador japonés, o cómo evaluar la gravedad de un caso. En 6 meses, la parte común del prompt pasó de 72 a 180 mil tokens, es decir, creció un 150%. El coste de procesar un caso subió más de un 200%, porque esa parte se procesaba de nuevo en cada solicitud.
Qué cambiaron
La caché de Bedrock funciona por prefijo: se cachea un tramo continuo desde el inicio de la solicitud hasta un punto de control. Todo lo que queda después del punto se paga a precio completo. Al principio, el equipo cacheó lo más lógico, el bloque más grande, es decir, el documento, y lo colocó primero. Dentro de un mismo caso funcionaba: la primera solicitud escribía el PDF en la caché y las demás lo leían a bajo coste. Pero el siguiente caso traía otro PDF y la caché empezaba de cero. Mientras tanto, el prompt común, ya inflado, quedaba después del punto de control y se pagaba entero en cada solicitud.
El nuevo esquema reordena los bloques. Primero va el prefijo común: reglas de sistema, esquema y ejemplos. Después, el punto de control, y solo tras él el documento y la pregunta sobre la sección concreta. El mismo punto de control genera ahora una caché que leen todas las solicitudes, todos los casos y todos los clientes que usan ese agente. La regla sencilla que deja el artículo: cachee lo que se repite, no lo que es más grande. Un documento de 200 páginas es grande, pero apenas se reutiliza.
Por defecto, la caché dura 5 minutos y cada acierto prolonga ese plazo. En las cuentas activas llega un caso nuevo más o menos cada 5 minutos por cliente, y hay varios clientes, así que el prefijo común se mantiene «caliente» durante el horario laboral. En algunos modelos se puede elegir un TTL de 1 hora.
Cifras y limitaciones
Según los datos de ArisGlobal facilitados a AWS, con un volumen de más de 19 mil millones de tokens al mes se obtuvo lo siguiente:
- el 65% de los tokens de entrada de una solicitud típica procede de la caché;
- el precio efectivo de la entrada es aproximadamente un 50% menor;
- la factura mensual total de inferencia es aproximadamente un 40% menor;
- la latencia de las solicitudes cacheadas se redujo hasta un 25%;
- a la plataforma se conectaron aproximadamente un 15% más de clientes corporativos sin un aumento proporcional de los costes.
El enrutamiento dentro de la UE mediante inferencia entre regiones no cambió. En CloudWatch, la lectura de la caché en los periodos de carga es aproximadamente 10 veces superior a la escritura.
Hay salvedades. Son datos de la propia empresa, y AWS señala expresamente que el resultado depende de la estructura del prompt, del tráfico y de la proporción de aciertos en la caché. El equipo renunció a reutilizar el documento dentro de cada caso, por lo que ahora el PDF se procesa a precio completo en cada solicitud. Un segundo punto de control después del documento no es necesario: esa entrada de caché es única para un solo caso. Para Claude Sonnet 4.5, el tamaño mínimo del prefijo cacheable es de 1 024 tokens, y una solicitud admite hasta cuatro puntos de control.
Qué hacer en la práctica
Coloque al principio de la solicitud todo lo estable: descripciones de herramientas, instrucciones de sistema, esquemas y ejemplos. Deje después del punto de control los datos del cliente, el documento y la pregunta. Procure que el prefijo coincida byte a byte: una marca de tiempo, un ID aleatorio u otro orden de las herramientas provocarán un fallo de caché. Por último, vigile en CloudWatch la lectura y la escritura de la caché. Si la proporción de aciertos cae de forma sostenida por debajo de su nivel habitual (en ArisGlobal, el 65%), algo ha roto el prefijo.
Para los equipos con agentes multicliente, la conclusión es directa: antes de recortar el prompt, compruebe qué hay delante del punto de control de la caché. Reordenar los bloques no obliga a reescribir el pipeline y, con grandes volúmenes, se amortiza de inmediato.
- 18 nov 2026Un agente de IA dejó al SOC 27 minutos para reaccionar, frente a los 53 con un atacante junior
- 18 nov 2026Garry Tan elimina el skill /investigate: 50,0% frente a 47,2% de éxito, y cada arreglo sale un 43% más caro
- 18 nov 2026Tras los bloqueos de Anthropic, un autor lanzó un equipo de agentes en Kimi, Codex y OpenCode: una ejecución desde $0,30
- 18 nov 2026El plugin TokenEconomizer reduce entre un 18,4 y un 30,9% el gasto de los agentes de código con IA sin cambiar de modelo
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre De dónde salió el aumento de la factura?
El motor de IA NavaX de ArisGlobal funciona sobre Amazon Bedrock con modelos Claude. Procesa notificaciones de reacciones adversas a medicamentos: un PDF de varias páginas, de entre 10 y 200. De él, el agente extrae unos 130 campos: datos del paciente, fármaco sospechoso, cronología de los hechos, criterios de gravedad y clasificación regulatoria. Lo hace con una serie de solicitudes, cada una responsable de una sección del formulario.
¿Qué se sabe sobre Qué cambiaron?
La caché de Bedrock funciona por prefijo: se cachea un tramo continuo desde el inicio de la solicitud hasta un punto de control. Todo lo que queda después del punto se paga a precio completo. Al principio, el equipo cacheó lo más lógico, el bloque más grande, es decir, el documento, y lo colocó primero. Dentro de un mismo caso funcionaba: la primera solicitud escribía el PDF en la caché y las demás lo leían a bajo coste. Pero el siguiente caso traía otro PDF y la caché empezaba de cero.
¿Qué se sabe sobre Cifras y limitaciones?
Según los datos de ArisGlobal facilitados a AWS, con un volumen de más de 19 mil millones de tokens al mes se obtuvo lo siguiente: el 65% de los tokens de entrada de una solicitud típica procede de la caché; el precio efectivo de la entrada es aproximadamente un 50% menor; la factura mensual total de inferencia es aproximadamente un 40% menor; la latencia de las solicitudes cacheadas se redujo hasta un 25%; a la plataforma se conectaron aproximadamente un 15% más de clientes corporativos sin un…
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.