En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
IndustriaAnálisis · En radarHabr AI→ original

El 45% de los informes de IA obtenía un 3 o menos: cómo en Atom encontraron las causas en los prompts

En Atom, el 45% de los informes de IA sobre reuniones de trabajo recibía de parte del juez LLM en Langfuse un 3 o menos. El equipo revisó manualmente 56 de esos informes junto con sus transcripciones. Resultó que el prompt causaba el 45% de los fallos y otro 36% se debía a un tipo de reunión inadecuado. Las reglas estrictas contra las invenciones hicieron que el modelo perdiera tareas reales.

Procesado por IA desde Habr AI; editado por Hamidun News
El 45% de los informes de IA obtenía un 3 o menos: cómo en Atom encontraron las causas en los prompts
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Las métricas de valor importan más que las visitas: las acciones de valor por usuario subieron de 3,4 a 6,8
Dato clave #2De las malas puntuaciones, el 7% eran errores del propio juez LLM
Dato clave #3Un informe de IA cuesta menos de 100 rublos

Cuando el equipo AI LAB de Atom miró por primera vez las evaluaciones automáticas de los informes de IA sobre reuniones de trabajo, el panorama era desagradable: el 45% obtenía un 3 o menos. Para saber si eso era mucho o poco, primero tuvieron que aprender a medir quién usa el servicio y qué obtiene de él.

Primero, las métricas de uso

Empezaron con una pestaña del panel de administración con la lista de quienes entraban en el Transcriptor. Mostraba interés, pero no lo que el usuario hacía después. Luego añadieron visitantes, usuarios activos y nuevos, el número de proyectos y de archivos transcritos. Después definieron las «acciones de valor»: descargar un documento, obtener una transcripción, ver un informe de IA durante más de un minuto, dar retroalimentación y recibir una respuesta del chat sobre la reunión. Todo lo demás, incluidas las visitas cortas, se considera secundario.

A continuación incorporaron DAU, WAU, MAU y la «pegajosidad» (DAU respecto a MAU). La señal principal vino del promedio de acciones de valor por usuario activo: de abril a agosto pasó de 3,4 a 6,8, a pesar de que la audiencia se multiplicó. Esto significa que el crecimiento no se sostenía solo en la curiosidad. La proporción de visitantes que realizaron al menos una acción se mantiene por encima del 80%. Una pegajosidad del 10–25% es normal para una herramienta así: la gente llega después de las reuniones y el ritmo es más bien semanal.

Por separado, el equipo definió métricas de contrapeso: el número de errores de transcripción y la proporción de llamadas fallidas. Sin ellas, el panel solo muestra una imagen agradable. Para la capa de costes calculan el precio por solicitud, las latencias p50 y p95 y la disponibilidad respecto al SLO. Un informe cuesta menos de 100 rublos y una hora de reunión se procesa en unos 15 minutos.

Qué mostró el análisis de las malas puntuaciones

La calidad de los informes la evalúa un modelo juez independiente en Langfuse con una escala de cinco puntos. Las reuniones de investigación, cuya estructura se diseñó junto con investigadores de UX, obtienen de forma constante cuatros y cincos. Con el resto la situación es peor: de 374 informes sobre reuniones de trabajo entre el 3 de julio y el 22 de septiembre, 168 recibieron un 3 o menos. Leyeron manualmente 56 junto con las transcripciones y, para cada uno, redactaron una versión de referencia con un modelo más potente.

Las causas se repartieron así: el prompt de resumen, 45%; la reunión no era en absoluto «de trabajo» (demo, sincronización de estado), 36%; datos de origen deficientes, 12%; error del propio juez, 7%. Lo que más se perdía era la conclusión principal de la reunión (28 de 56), en las tareas se colaba basura como «compartir pantalla» y las secciones se contradecían entre sí.

Un efecto interesante: cuando se endurecieron las reglas para que el modelo no inventara encargos, empezó a descartar los reales. Aparecieron informes con «no hay tareas activas» pese a que se había fijado una fecha límite. La regla «mejor no escribir que inventar», sin un contrapeso, simplemente desplaza el error al otro lado.

Qué llevarse de todo esto

Primero, acuerden de antemano qué se considera una acción útil en cada producto. No existe una definición única de usuario activo: si la revisión de código se ejecuta automáticamente, ¿está activo quien no pulsó nada?

Segundo, no confíen en la puntuación media del juez LLM. Lean completos al menos cincuenta de los peores casos y clasifiquen las causas por categorías. Una parte de las puntuaciones «malas» resultará ser un problema del tipo de documento o del juez, no del prompt.

Tercero, versionen los prompts y comprueben los cambios con ejemplos de referencia; de lo contrario, la mejora de un defecto creará otro sin que nadie lo note.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Primero, las métricas de uso?

Empezaron con una pestaña del panel de administración con la lista de quienes entraban en el Transcriptor. Mostraba interés, pero no lo que el usuario hacía después. Luego añadieron visitantes, usuarios activos y nuevos, el número de proyectos y de archivos transcritos. Después definieron las «acciones de valor»: descargar un documento, obtener una transcripción, ver un informe de IA durante más de un minuto, dar retroalimentación y recibir una respuesta del chat sobre la reunión.

¿Qué se sabe sobre Qué mostró el análisis de las malas puntuaciones?

La calidad de los informes la evalúa un modelo juez independiente en Langfuse con una escala de cinco puntos. Las reuniones de investigación, cuya estructura se diseñó junto con investigadores de UX, obtienen de forma constante cuatros y cincos. Con el resto la situación es peor: de 374 informes sobre reuniones de trabajo entre el 3 de julio y el 22 de septiembre, 168 recibieron un 3 o menos.

¿Qué se sabe sobre Qué llevarse de todo esto?

Primero, acuerden de antemano qué se considera una acción útil en cada producto. No existe una definición única de usuario activo: si la revisión de código se ejecuta automáticamente, ¿está activo quien no pulsó nada? Segundo, no confíen en la puntuación media del juez LLM. Lean completos al menos cincuenta de los peores casos y clasifiquen las causas por categorías. Una parte de las puntuaciones «malas» resultará ser un problema del tipo de documento o del juez, no del prompt.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…