Comprimir el prompt 7 veces redujo la precisión en razonamiento del 70% al 57%
Los prompts largos suelen recortarse a ojo, y eso es arriesgado. En el estudio de LLMLingua, una compresión de 7 veces en tareas de razonamiento (BBH) redujo el porcentaje de respuestas correctas del 70% al 57%. En matemáticas (GSM8K), en cambio, incluso una compresión de 20 veces costó solo 1,5 puntos. Si de una instrucción de entregas desaparece la excepción para el envío exprés, la respuesta parecerá verosímil, pero el precio será incorrecto. Por eso cada prompt recortado debe probarse con un conjunto que incluya casos poco frecuentes.
Procesado por IA desde Habr AI; editado por Hamidun News
Los prompts suelen crecer siguiendo el mismo patrón: primero la tarea, luego el rol, las restricciones, un par de ejemplos y un párrafo más «por si acaso». Al llegar a media página da miedo tachar algo: quizá justo esa frase sostenga toda la lógica. Los estudios muestran que el texto sí puede acortarse varias veces, pero el resultado depende de la tarea.
Cuando LLMLingua comprimió el prompt 7 veces en el conjunto BBH (tareas de razonamiento), el porcentaje de respuestas que coincidían con la de referencia cayó del 70,07% al 56,85%, es decir, 13,22 puntos porcentuales. En el conjunto matemático GSM8K, incluso una compresión de 20 veces costó solo 1,52 puntos. Imagine una instrucción para calcular el coste de una entrega: si al recortarla se pierde la línea sobre la excepción para el envío exprés, la respuesta del modelo seguirá pareciendo correcta, pero el precio será erróneo.
Por eso conviene recortar un prompt solo junto con una prueba.
Qué han mostrado los estudios
En Selective Context (EMNLP 2023), un modelo auxiliar evalúa cuán inesperado le resulta cada fragmento del texto y elimina los más predecibles. Con un contexto un 50% más corto, el consumo de memoria bajó un 36% y el tiempo de procesamiento de la consulta (inferencia), un 32%. La métrica de cercanía a la referencia BERTScore cayó 0,023, y la puntuación de fidelidad al texto original (faithfulness), 0,038. Un texto la mitad de largo se procesa aproximadamente un tercio más rápido, con una pérdida pequeña en estas métricas.
LLMLingua (EMNLP 2023) actúa de forma más agresiva: un modelo pequeño elige qué partes del prompt conservar y reparte el presupuesto de tokens entre la instrucción, los ejemplos y la pregunta. La prueba se hizo con GPT-3.5-Turbo-0301 y la calidad se midió como el porcentaje de respuestas que coinciden exactamente con la de referencia (Exact Match). En GSM8K, el prompt se comprimió de 2366 a 446 tokens (5 veces) y el resultado incluso subió ligeramente: del 78,85% al 79,08%. Al comprimirlo hasta 117 tokens (20 veces), bajó al 77,33%. En BBH, la compresión de 774 a 110 tokens (7 veces) hundió el resultado del 70,07% al 56,85%. La misma técnica se comporta de forma distinta según la tarea.
LLMLingua-2 (Findings of ACL 2024) se entrenó para decidir, token a token, si «conservar o eliminar», y el modelo mira el contexto a ambos lados. Los datos de entrenamiento los preparó GPT-4 y la validación se hizo en cinco benchmarks, entre ellos MeetingBank y LongBench. El propio compresor funciona entre 3 y 6 veces más rápido que los métodos con los que se compara, y todo el ciclo, de la compresión a la respuesta, se acelera entre 1,6 y 2,9 veces cuando el prompt se reduce entre 2 y 5 veces.
Dónde la compresión rompe el sentido
Las palabras que se conservan proceden del original, pero si desaparece una negación o parte de una condición, la regla cambia. La versión corta «El envío es gratis a partir de 5000 rublos» pierde la aclaración de que esto solo se aplica al envío ordinario, y que el exprés cuesta 790 rublos con cualquier importe. Una sola respuesta correcta no revelará esa pérdida: hace falta un pedido con envío exprés. La longitud del texto y la precisión en la ejecución de la tarea deben comprobarse por separado.
El autor del análisis propone una metodología. Se toman tres versiones de la instrucción: la original, una versión compacta con las mismas condiciones y otra densa, en la que las palabras se sustituyen por flechas y una expresión ternaria. Se ejecutan en GPT-4.
1 Mini a través de BotHub: 12 pedidos, tres repeticiones por cada versión, 108 consultas en total con temperature=0, top_p=1 y max_tokens=512. El orden de las consultas se mezcla y cada una se lanza en un chat nuevo, sin historial. Una respuesta solo se da por válida si el JSON es correcto, el estado coincide y el precio es exacto.
Los textos de los prompts se fijan antes de la ejecución para no ajustarlos a respuestas ya conocidas. El material no incluye resultados finales: se trata únicamente de una metodología. Ni siquiera 36 respuestas correctas de 36 en 12 casos permiten prever la frecuencia futura de errores, así que el conjunto de prueba debe ampliarse con pedidos reales.
Cómo calcular el ahorro con honestidad
Los tokens de entrada y de salida tienen precios distintos. Un ejemplo: un prompt de 2000 tokens frente a uno de 1200, una respuesta de 600 tokens en ambos casos y un token de salida cuatro veces más caro que uno de entrada. El resultado es 4400 unidades convencionales frente a 3600. La entrada se redujo un 40%, pero el precio de la consulta solo bajó en torno a un 18%. Si la instrucción corta provoca una respuesta más larga o una consulta repetida, la ganancia es aún menor.
Conviene incluir en el cálculo el trabajo del compresor: si el contexto es nuevo en cada consulta, la compresión se paga cada vez. También hay que sumar el tiempo de edición manual y de verificación de la plantilla, además de la caché: un prefijo largo servido desde la caché puede salir más barato que uno corto recién procesado. La métrica final es el coste del resultado aceptado: los gastos de todas las consultas más los de compresión, divididos entre el número de respuestas que superan la verificación. Los intentos fallidos van en el numerador.
En la práctica, recorte el prompt, pero con una prueba: los mismos datos, con excepciones y campos omitidos incluidos en el conjunto, un único modelo y una configuración fija. Compare por pares cuatro desenlaces: acertaron ambas versiones, solo la original, solo la corta, fallaron las dos. Una versión que pierde una regla no sirve, por muchos tokens que ahorre.
- 12 oct 2026RunPod analiza 4 métodos de cuantización: de FP16 a INT4, la memoria se reduce a una cuarta parte
- 8 nov 2026Un trader convierte RAG y RandomForest en señales BUY/SELL: 62 % de acierto con 59 registros
- 12 nov 2026Modal acelera un 35% la generación de Sakana Namazu con un modelo borrador
- 11 oct 2026DeepSeek-OCR comprime el contexto de texto 10 veces con un 97% de precisión
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué han mostrado los estudios?
En Selective Context (EMNLP 2023), un modelo auxiliar evalúa cuán inesperado le resulta cada fragmento del texto y elimina los más predecibles. Con un contexto un 50% más corto, el consumo de memoria bajó un 36% y el tiempo de procesamiento de la consulta (inferencia), un 32%. La métrica de cercanía a la referencia BERTScore cayó 0,023, y la puntuación de fidelidad al texto original (faithfulness), 0,038.
Dónde la compresión rompe el sentido?
Las palabras que se conservan proceden del original, pero si desaparece una negación o parte de una condición, la regla cambia. La versión corta «El envío es gratis a partir de 5000 rublos» pierde la aclaración de que esto solo se aplica al envío ordinario, y que el exprés cuesta 790 rublos con cualquier importe. Una sola respuesta correcta no revelará esa pérdida: hace falta un pedido con envío exprés. La longitud del texto y la precisión en la ejecución de la tarea deben comprobarse por separado.
Cómo calcular el ahorro con honestidad?
Los tokens de entrada y de salida tienen precios distintos. Un ejemplo: un prompt de 2000 tokens frente a uno de 1200, una respuesta de 600 tokens en ambos casos y un token de salida cuatro veces más caro que uno de entrada. El resultado es 4400 unidades convencionales frente a 3600. La entrada se redujo un 40%, pero el precio de la consulta solo bajó en torno a un 18%. Si la instrucción corta provoca una respuesta más larga o una consulta repetida, la ganancia es aún menor.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.