Una desarrolladora recorta el contexto de un agente de IA un 97–98%: al modelo llegan 100 KB en lugar de 4 MB
Si se le entrega a un agente de IA un proyecto de 500 archivos completo, el prompt se infla hasta los 4 MB: el modelo se inventa métodos y choca con el límite de contexto. Una desarrolladora publicó en Habr un filtro en PHP y SQL que, a partir de las palabras de la tarea, preselecciona de 10 a 20 archivos y los ordena por frecuencia de palabras (TF-IDF). Al modelo llegan unos 100 KB en lugar de 4 MB, es decir, un 97–98% menos, y la búsqueda sobre un índice ya construido tarda entre 1,5 y 10 ms. En código, los nombres exactos son más fiables que los embeddings.
Procesado por IA desde Habr AI; editado por Hamidun News
Si se le entrega a un agente de IA un proyecto de 500 archivos completo, el prompt crece hasta varios megabytes. El modelo empieza a inventar clases y métodos que no existen, responde despacio y, a veces, choca con el límite de la ventana de contexto, de modo que el presupuesto de la API se gasta en vano. La autora del análisis en Habr, una desarrolladora, resolvió el problema sin bases de datos vectoriales ni servicios de embeddings de pago.
Construyó un pequeño módulo en PHP y SerenaDB que, a partir del texto de la tarea, preselecciona de 10 a 20 archivos relevantes. Como resultado, el contexto pasó de unos 4 MB a 100 KB, es decir, se redujo un 97–98%.
Cómo funciona la selección de archivos
El módulo recibe la raíz del proyecto y el texto de la tarea, y devuelve una lista de rutas que se pueden mostrar al modelo sin reparos. No genera código ni hace búsqueda «por significado»: solo selecciona. Todo funciona en un procesador convencional.
Primero, el código se divide en palabras. Nombres como ItemService y signing_date se separan en partes: item, service, signing, date. Hay que hacerlo antes de pasar a minúsculas; de lo contrario, se pierden los límites de palabra del camelCase. Las palabras reservadas del lenguaje (public, return, null) se descartan. Las palabras en ruso de la tarea pasan por un stemmer ligero, que recorta las terminaciones y deja una raíz de no menos de cuatro caracteres.
Después, en una tabla se registra la relación «palabra → archivo → cuántas veces aparece». También se guardan el tamaño y la fecha de modificación de cada archivo, así que en una nueva ejecución solo se reindexan los archivos nuevos y los modificados. Los primeros 30 KB del contenido se conservan para futuros fragmentos de texto (snippets).
El ranking se calcula en dos capas. La primera la resuelve SQL con el esquema TF-IDF. En términos sencillos, una palabra que aparece en tres archivos de quinientos pesa mucho, y una palabra presente casi en todas partes no aporta casi nada.
Los archivos grandes se atenúan dividiendo entre el logaritmo de su tamaño, para que no ganen simplemente por volumen. La segunda capa la calcula PHP. Añade una bonificación si la palabra de la tarea aparece en la ruta del archivo y aplica un multiplicador según el tipo de archivo: .
php pesa 1,0, los tests 0,6 y la documentación .md 0,3. Si SerenaDB no admite las funciones LN y GREATEST, se activa un modo de reserva con una simple suma de frecuencias.
Los logs siempre indican qué modo se ha usado.
Por qué no vectores ni BM25
En el código hacen falta métodos, clases y variables concretos, no cercanía semántica, por lo que las coincidencias exactas de identificadores funcionan de forma más predecible. Además, SerenaDB no admite pgvector ni una búsqueda de texto completo decente. Hay otra ventaja: el resultado es explicable. Para cada archivo se ve qué palabras, y con qué frecuencia, lo llevaron a los primeros puestos.
La autora también consideró BM25, el estándar popular de ranking, y lo descartó. El motivo principal no está en la fórmula, sino en la propia tarea. BM25 mejora el orden entre archivos que ya contienen las palabras de la consulta.
Pero el archivo necesario a menudo no las contiene en absoluto. Por ejemplo, si se pide «corregir las claves del DTO en los contratos», en ItemDto.php no aparece ni «claves» ni «corregir»: es justo lo que habrá que añadir allí.
Ningún ranking por coincidencias subirá ese archivo. Ese trabajo lo hacen los términos de rol (la palabra «contrato» añade a la consulta los nombres asociados) y la bonificación por ruta, y fueron ellos los que aportaron la mayor parte de la mejora. Por otro lado, la autora no dispone de una muestra etiquetada para ajustar los parámetros de BM25, y las frecuencias de palabras en el código fuente suelen estar entre 3 y 20, así que la saturación de frecuencia apenas funciona.
Cifras y limitaciones
En un backend de ~500 archivos, el contexto para el modelo se redujo de ≈4 MB a 84–111 KB, con un objetivo de no más de 150 KB. La búsqueda sobre un índice en caliente tarda entre 1,5 y 10 ms, y la primera indexación, entre 8 y 30 segundos (mediana de 28). No hay llamadas a una API de embeddings. En un frontend de ~1200 archivos a través de un bind-mount de Docker, la primera pasada tarda hasta 80 segundos. La autora no mide el tiempo de respuesta del propio LLM: depende más de la API externa que de este código.
También hay limitaciones. La validación es pequeña: que el archivo objetivo aparezca entre los 7 primeros se confirmó en un solo caso, no en un conjunto etiquetado de 10 a 20 tareas. Las reglas de roles y sinónimos están escritas para un dominio concreto, y en otro proyecto habrá que crear las propias. La bonificación por ruta solo funciona si los archivos tienen nombres con sentido.
La conclusión práctica es sencilla. Antes de conectar una base de datos vectorial a un agente para código, conviene probar la opción barata: tokenización con división de camelCase, TF-IDF en una base SQL corriente y un diccionario de sinónimos de su ámbito. Es gratuita, explica cada decisión y ahorra tokens en cada consulta. Los embeddings conviene reservarlos para las tareas en las que de verdad se necesita una búsqueda por significado.
- 4 mar 2026Un agente de IA para revisar especificaciones técnicas: por qué automatizar lo que no funciona a mano
- 11 oct 2026Una desarrolladora gastó $9 000 en agentes de IA y publicó el plugin Crossweft
- 13 oct 2026Yandex pierde tres centros de datos: la recuperación puede tardar hasta seis meses
- 22 abr 2026Allbirds pasa a llamarse NewBird AI y cambia las zapatillas por el alquiler de GPU
Preguntas frecuentes sobre la noticia
Cómo funciona la selección de archivos?
El módulo recibe la raíz del proyecto y el texto de la tarea, y devuelve una lista de rutas que se pueden mostrar al modelo sin reparos. No genera código ni hace búsqueda «por significado»: solo selecciona. Todo funciona en un procesador convencional. Primero, el código se divide en palabras. Nombres como ItemService y signing_date se separan en partes: item, service, signing, date. Hay que hacerlo antes de pasar a minúsculas; de lo contrario, se pierden los límites de palabra del camelCase.
¿Qué se sabe sobre Por qué no vectores ni BM25?
En el código hacen falta métodos, clases y variables concretos, no cercanía semántica, por lo que las coincidencias exactas de identificadores funcionan de forma más predecible. Además, SerenaDB no admite pgvector ni una búsqueda de texto completo decente. Hay otra ventaja: el resultado es explicable. Para cada archivo se ve qué palabras, y con qué frecuencia, lo llevaron a los primeros puestos. La autora también consideró BM25, el estándar popular de ranking, y lo descartó.
¿Qué se sabe sobre Cifras y limitaciones?
En un backend de ~500 archivos, el contexto para el modelo se redujo de ≈4 MB a 84–111 KB, con un objetivo de no más de 150 KB. La búsqueda sobre un índice en caliente tarda entre 1,5 y 10 ms, y la primera indexación, entre 8 y 30 segundos (mediana de 28). No hay llamadas a una API de embeddings. En un frontend de ~1200 archivos a través de un bind-mount de Docker, la primera pasada tarda hasta 80 segundos. La autora no mide el tiempo de respuesta del propio LLM: depende más de la API externa que de este código.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.