Un autor de Habr montó un buscador agéntico con modelos open source y comprobó dónde falla

Habr ha publicado el análisis de un experimento que hoy repiten muchos equipos: un buscador agéntico basado en modelos abiertos en lugar de un servicio ya hecho como Deep Research. El autor aclara de entrada su motivación. No le interesa ahorrar en la suscripción. Quiere averiguar qué stack tecnológico mínimo necesita un agente para encontrar información concreta, citar una fuente que pueda comprobarse y no inventarse el enlace. El avance no incluye cifras. El coste de las ejecuciones y los fallos concretos se han reservado para el texto completo, así que aquí nos basamos únicamente en el planteamiento declarado del problema.

Qué problema resuelve el autor

El título promete tres cosas: a quién encontró el agente, cuánto gastó y dónde falló todo. Es un buen marco de evaluación. Un buscador agéntico es fácil de lucir con un ejemplo favorable, pero difícil de medir con honestidad. La tarea de «encontrar a una persona o un dato concretos» no se ha elegido al azar. Tiene una respuesta de referencia, así que permite distinguir un hallazgo real de una invención verosímil.

Aparte está el requisito de «control propio sobre las fuentes». Los agentes comerciales navegan por la web por su cuenta y el usuario solo ve el informe final. En un sistema autoensamblado se pueden restringir los dominios, registrar cada consulta y guardar la página de la que procede cada cita.

De qué suele componerse un stack así

El autor no enumera los componentes en el avance, así que lo que sigue es el esquema general con el que se construyen sistemas de este tipo. No describe su arquitectura.

• Capa de búsqueda: un metabuscador o una API de resultados que devuelve una lista de URL.
• Descargador de páginas: obtiene el HTML, lo limpia hasta dejar texto legible y lidia con JavaScript y bloqueos.
• Planificador: una LLM abierta que divide la pregunta en subconsultas y decide cuándo parar.
• Extractor: saca de la página el dato necesario junto con su cita literal.
• Verificador: comprueba que la URL existe y que la cita realmente aparece en la página.

El último componente responde a la pregunta central del autor. Un enlace inventado aparece cuando el modelo construye la respuesta de memoria y no a partir del documento descargado. Si cada URL de la respuesta pasa por la comprobación «página abierta, cita encontrada», la alucinación del enlace deja de ser un error invisible y se convierte en un resultado rechazado.

Dónde suelen fallar estos sistemas

El título dice sin rodeos que algo se rompió. Los puntos de fallo típicos de la búsqueda agéntica son bien conocidos, y es probable que el autor describa parte de ellos.

Primer punto: la calidad de los resultados. Si la capa de búsqueda no devuelve la página necesaria, ni siquiera un modelo potente la inventará ni la encontrará. Segundo: las cadenas largas de pasos. Los modelos abiertos pequeños sostienen peor el plan a lo largo de decenas de llamadas a herramientas y tienden a entrar en bucles o a terminar la búsqueda antes de tiempo. Tercero: el contexto. Las páginas sin procesar llenan la ventana enseguida, y los tokens de lectura determinan directamente el coste. Cuarto: los homónimos y los datos obsoletos. El agente puede unir con total seguridad datos de personas distintas.

Cómo aplicar este enfoque en la práctica

Si estás construyendo un sistema parecido, toma del planteamiento del autor los criterios de evaluación, no la arquitectura concreta. Prepara un conjunto de preguntas con respuestas conocidas y calcula con él varias métricas:

• proporción de respuestas con un enlace que funciona;
• proporción de respuestas en las que la cita aparece literalmente en la página;
• coste de una respuesta correcta, no de una ejecución;
• número de pasos hasta la parada y proporción de ejecuciones atrapadas en bucles.

El coste de una respuesta correcta importa más que el precio de una ejecución. Un modelo barato que falla en la mitad de los casos puede salir más caro que uno costoso. Para comparar tu stack con los resultados del autor hacen falta sus cifras reales, y solo están en el artículo completo de Habr.