El 45% de los informes de IA obtenía un 3 o menos: cómo en Atom encontraron las causas en los prompts
En Atom, el 45% de los informes de IA sobre reuniones de trabajo recibía de parte del juez LLM en Langfuse un 3 o menos. El equipo revisó manualmente 56 de esos informes junto con sus transcripciones. Resultó que el prompt causaba el 45% de los fallos y otro 36% se debía a un tipo de reunión inadecuado. Las reglas estrictas contra las invenciones hicieron que el modelo perdiera tareas reales.
Procesado por IA desde Habr AI; editado por Hamidun News
Cuando el equipo AI LAB de Atom miró por primera vez las evaluaciones automáticas de los informes de IA sobre reuniones de trabajo, el panorama era desagradable: el 45% obtenía un 3 o menos. Para saber si eso era mucho o poco, primero tuvieron que aprender a medir quién usa el servicio y qué obtiene de él.
Primero, las métricas de uso
Empezaron con una pestaña del panel de administración con la lista de quienes entraban en el Transcriptor. Mostraba interés, pero no lo que el usuario hacía después. Luego añadieron visitantes, usuarios activos y nuevos, el número de proyectos y de archivos transcritos. Después definieron las «acciones de valor»: descargar un documento, obtener una transcripción, ver un informe de IA durante más de un minuto, dar retroalimentación y recibir una respuesta del chat sobre la reunión. Todo lo demás, incluidas las visitas cortas, se considera secundario.
A continuación incorporaron DAU, WAU, MAU y la «pegajosidad» (DAU respecto a MAU). La señal principal vino del promedio de acciones de valor por usuario activo: de abril a agosto pasó de 3,4 a 6,8, a pesar de que la audiencia se multiplicó. Esto significa que el crecimiento no se sostenía solo en la curiosidad. La proporción de visitantes que realizaron al menos una acción se mantiene por encima del 80%. Una pegajosidad del 10–25% es normal para una herramienta así: la gente llega después de las reuniones y el ritmo es más bien semanal.
Por separado, el equipo definió métricas de contrapeso: el número de errores de transcripción y la proporción de llamadas fallidas. Sin ellas, el panel solo muestra una imagen agradable. Para la capa de costes calculan el precio por solicitud, las latencias p50 y p95 y la disponibilidad respecto al SLO. Un informe cuesta menos de 100 rublos y una hora de reunión se procesa en unos 15 minutos.
Qué mostró el análisis de las malas puntuaciones
La calidad de los informes la evalúa un modelo juez independiente en Langfuse con una escala de cinco puntos. Las reuniones de investigación, cuya estructura se diseñó junto con investigadores de UX, obtienen de forma constante cuatros y cincos. Con el resto la situación es peor: de 374 informes sobre reuniones de trabajo entre el 3 de julio y el 22 de septiembre, 168 recibieron un 3 o menos. Leyeron manualmente 56 junto con las transcripciones y, para cada uno, redactaron una versión de referencia con un modelo más potente.
Las causas se repartieron así: el prompt de resumen, 45%; la reunión no era en absoluto «de trabajo» (demo, sincronización de estado), 36%; datos de origen deficientes, 12%; error del propio juez, 7%. Lo que más se perdía era la conclusión principal de la reunión (28 de 56), en las tareas se colaba basura como «compartir pantalla» y las secciones se contradecían entre sí.
Un efecto interesante: cuando se endurecieron las reglas para que el modelo no inventara encargos, empezó a descartar los reales. Aparecieron informes con «no hay tareas activas» pese a que se había fijado una fecha límite. La regla «mejor no escribir que inventar», sin un contrapeso, simplemente desplaza el error al otro lado.
Qué llevarse de todo esto
Primero, acuerden de antemano qué se considera una acción útil en cada producto. No existe una definición única de usuario activo: si la revisión de código se ejecuta automáticamente, ¿está activo quien no pulsó nada?
Segundo, no confíen en la puntuación media del juez LLM. Lean completos al menos cincuenta de los peores casos y clasifiquen las causas por categorías. Una parte de las puntuaciones «malas» resultará ser un problema del tipo de documento o del juez, no del prompt.
Tercero, versionen los prompts y comprueben los cambios con ejemplos de referencia; de lo contrario, la mejora de un defecto creará otro sin que nadie lo note.
- 30 abr 2026OpenAI explica el origen de los «goblins» en GPT-5: cómo un fallo de personalidad se coló en el modelo
- 17 may 2026Anthropic da el salto al mercado de consumo con Claude
- 19 jul 2026Midjourney vs Nano Banana Pro vs FLUX 2 Max: comparativa de modelos de IA para generar imágenes en 2026
- 9 oct 2026La capacidad de las redes troncales de internet crece un 23% y alcanza los 2259 Tbit/s
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Primero, las métricas de uso?
Empezaron con una pestaña del panel de administración con la lista de quienes entraban en el Transcriptor. Mostraba interés, pero no lo que el usuario hacía después. Luego añadieron visitantes, usuarios activos y nuevos, el número de proyectos y de archivos transcritos. Después definieron las «acciones de valor»: descargar un documento, obtener una transcripción, ver un informe de IA durante más de un minuto, dar retroalimentación y recibir una respuesta del chat sobre la reunión.
¿Qué se sabe sobre Qué mostró el análisis de las malas puntuaciones?
La calidad de los informes la evalúa un modelo juez independiente en Langfuse con una escala de cinco puntos. Las reuniones de investigación, cuya estructura se diseñó junto con investigadores de UX, obtienen de forma constante cuatros y cincos. Con el resto la situación es peor: de 374 informes sobre reuniones de trabajo entre el 3 de julio y el 22 de septiembre, 168 recibieron un 3 o menos.
¿Qué se sabe sobre Qué llevarse de todo esto?
Primero, acuerden de antemano qué se considera una acción útil en cada producto. No existe una definición única de usuario activo: si la revisión de código se ejecuta automáticamente, ¿está activo quien no pulsó nada? Segundo, no confíen en la puntuación media del juez LLM. Lean completos al menos cincuenta de los peores casos y clasifiquen las causas por categorías. Una parte de las puntuaciones «malas» resultará ser un problema del tipo de documento o del juez, no del prompt.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.