Qwen en local obtiene un 92,3% en búsquedas en el registro de laboratorio y un 40,9% en control de equipos
Buscar bien en documentos todavía no significa que se pueda confiar un equipo a un agente. En un experimento descrito en Habr, Qwen ejecutado en local obtuvo un 92,3% de los puntos en tareas con el registro de laboratorio, pero solo un 40,9% en el banco de pruebas de control de equipos. Por ejemplo, presentó la revisión del texto de una receta de proceso como una ejecución ya completada. Para los desarrolladores, esto justifica evaluar por separado las búsquedas, las secuencias largas de acciones y el respeto de los permisos de acceso.
Procesado por IA desde Habr AI; editado por Hamidun News
El agente encontró la entrada correcta en la base de datos, extrajo bien los números y dio una respuesta convincente. ¿Se le puede conectar ya a herramientas operativas? En un experimento de laboratorio descrito en Habr, Qwen ejecutado en local resolvió bien las tareas del registro, pero rindió bastante peor en los cálculos y el control de equipos. En un caso, revisó el texto de una receta de proceso, leyó los valores de una cámara inmóvil y lo describió todo como si la deposición ya se hubiera realizado.
Es un análisis útil para los equipos que construyen agentes sobre documentos internos y API. Muestra qué errores persisten una vez que el modelo ha aprendido a encontrar datos y a dar el formato correcto a las llamadas a funciones. Todos los resultados citados proceden de las pruebas que los autores del artículo realizaron en sus propios bancos de ensayo; no constituyen una clasificación universal de modelos.
Tres tareas, tres resultados distintos
Los autores evaluaron seis modelos con 68 tareas: buscar y cotejar entradas del registro de laboratorio, reconstruir la estructura de espejos a partir de mediciones de rayos X y trabajar con un emulador de un sistema de vacío.
Qwen en local obtuvo 24 puntos de 26, un 92,3%, en las tareas del registro. Encontró erratas, detectó confusiones entre unidades y relacionó las entradas con los archivos de mediciones. Pero ya aquí apareció un hábito problemático: convertir información ambigua en afirmaciones categóricas. Si el nombre de una muestra dentro de un archivo no coincidía con el nombre del archivo y su historial de cambios, el modelo podía decidir por su cuenta a qué muestra correspondía.
En las tareas de reflectometría de rayos X, obtuvo un 62,5%. Aquí hay que reconstruir los espesores y otros parámetros de las capas de un espejo a partir de una curva medida. Varias estructuras diferentes pueden producir curvas similares. Por tanto, un buen ajuste numérico sigue necesitando verificación: el modelo debe buscar alternativas e indicar qué parámetros no pueden determinarse de forma inequívoca.
En el banco de pruebas de control del equipo, Qwen obtuvo 9 puntos de 22, un 40,9%, y quedó en último lugar entre los participantes. Aun así, completó con éxito una tarea extensa de deposición en el emulador. El mal resultado global se debió a invenciones puntuales, conclusiones incorrectas e incumplimientos de las restricciones establecidas.
Una llamada fiable a una función no garantiza una decisión correcta
Para ejecutar el modelo se utilizó un ordenador con una RTX 5080 con 16 GB de VRAM y 64 GB de RAM. Según los autores, los pesos cuantizados ocupaban 46,84 GiB. Por tanto, un titular que mencione 16 GB de VRAM no significa que todo el modelo cupiera en la tarjeta gráfica.
Las tareas largas exigieron una configuración adicional. Las sesiones crecían hasta los 180–260 mil tokens, el modelo entraba en bucles con las tablas numéricas y el analizador a veces concatenaba argumentos de funciones generados de nuevo. Los autores ampliaron el contexto disponible, limitaron el presupuesto de razonamiento y modificaron el procesamiento de las llamadas a herramientas.
Tras esas correcciones, según su informe, no hubo ningún error de protocolo en más de cuatro mil llamadas. Sin embargo, persistieron los errores de fondo. Qwen podía aceptar la primera solución que pareciera adecuada, omitir una comprobación obligatoria u olvidar parte de las restricciones al redactar el informe final.
En un producto, estos son criterios de calidad distintos. Una función puede recibir argumentos correctos y ejecutarse con éxito, y después el agente puede explicar mal el resultado. En el experimento descrito, el validador aceptaba un nombre arbitrario para la posición de un obturador. El modelo detectó esa carencia, pero aun así declaró viable la receta original.
Hay que comprobar tanto el agente como el propio manual de instrucciones
Uno de los episodios más útiles tiene que ver con los errores de los propios autores. Varios modelos fallaban en las mismas tareas difíciles. El análisis reveló cuatro defectos en las instrucciones, la configuración y los criterios de aceptación: desde un material omitido hasta la exigencia de comprobar una subcapa innecesaria.
Tras las correcciones, la puntuación de Qwen en el banco de pruebas de óptica subió del 47,5% al 62,5%. La mejora se consiguió sin cambiar de modelo. Para los equipos de desarrollo, esto se traduce en una tarea concreta: investigar los fallos compartidos por varios modelos y comprobar que las instrucciones, las herramientas disponibles y los criterios de evaluación sean coherentes entre sí.
La muestra es pequeña, los bancos de pruebas son especializados y el texto proporcionado se interrumpe antes de que termine el análisis. No permite establecer un límite general a las capacidades de los modelos locales ni separar el efecto de la cuantización del de los demás ajustes. Pero sí permite aplicar este enfoque de evaluación a un producto propio: medir por separado la precisión de las búsquedas, el desempeño en secuencias largas de acciones y el respeto de los permisos. Y comprobar siempre si el agente distingue entre encontrar un registro, superar una validación y ejecutar realmente una operación.
- 12 nov 2026Ocho países, OpenAI y Anthropic prometen un «interruptor de emergencia» para los modelos de IA, pero sin plazos ni sanciones
- 12 nov 2026Anthropic cierra Claude desde el 12 de noviembre a empresas bajo control ruso
- 12 nov 2026n8n lanza Nod, un agente de código abierto que funciona en tu ordenador
- 12 nov 2026Hugging Face advierte: una ola de hackeos podría hacer que la IA de código abierto sea menos abierta
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Tres tareas, tres resultados distintos?
Los autores evaluaron seis modelos con 68 tareas: buscar y cotejar entradas del registro de laboratorio, reconstruir la estructura de espejos a partir de mediciones de rayos X y trabajar con un emulador de un sistema de vacío. Qwen en local obtuvo 24 puntos de 26, un 92,3%, en las tareas del registro. Encontró erratas, detectó confusiones entre unidades y relacionó las entradas con los archivos de mediciones. Pero ya aquí apareció un hábito problemático: convertir información ambigua en afirmaciones categóricas.
¿Qué se sabe sobre Una llamada fiable a una función no garantiza una decisión correcta?
Para ejecutar el modelo se utilizó un ordenador con una RTX 5080 con 16 GB de VRAM y 64 GB de RAM. Según los autores, los pesos cuantizados ocupaban 46,84 GiB. Por tanto, un titular que mencione 16 GB de VRAM no significa que todo el modelo cupiera en la tarjeta gráfica. Las tareas largas exigieron una configuración adicional. Las sesiones crecían hasta los 180–260 mil tokens, el modelo entraba en bucles con las tablas numéricas y el analizador a veces concatenaba argumentos de funciones generados de nuevo.
¿Qué se sabe sobre Hay que comprobar tanto el agente como el propio manual de instrucciones?
Uno de los episodios más útiles tiene que ver con los errores de los propios autores. Varios modelos fallaban en las mismas tareas difíciles. El análisis reveló cuatro defectos en las instrucciones, la configuración y los criterios de aceptación: desde un material omitido hasta la exigencia de comprobar una subcapa innecesaria. Tras las correcciones, la puntuación de Qwen en el banco de pruebas de óptica subió del 47,5% al 62,5%. La mejora se consiguió sin cambiar de modelo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.