Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

45% dos relatórios de IA recebiam nota 3 ou menos: como a Atom encontrou as causas nos prompts

Na Atom, 45% dos relatórios de IA sobre reuniões de trabalho recebiam do juiz LLM no Langfuse nota 3 ou menos. A equipe analisou manualmente 56 desses relatórios junto com as transcrições. Descobriu-se que o prompt causa 45% das falhas e outros 36% vêm de um tipo de reunião inadequado. Regras rígidas contra invenções fizeram o modelo perder tarefas reais.

Processado por IA de Habr AI; editado por Hamidun News
45% dos relatórios de IA recebiam nota 3 ou menos: como a Atom encontrou as causas nos prompts
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Métricas de valor importam mais que visitas: as ações de valor por usuário subiram de 3,4 para 6,8
Dado-chave #2Das notas ruins, 7% são erros do próprio juiz LLM
Dado-chave #3Um relatório de IA custa menos de 100 rublos

Quando a equipe AI LAB da Atom olhou pela primeira vez para as avaliações automáticas dos relatórios de IA sobre reuniões de trabalho, o cenário era desagradável: 45% recebiam nota 3 ou menos. Para entender se isso era muito ou pouco, primeiro foi preciso aprender a medir quem usa o serviço e o que obtém dele.

Primeiro, as métricas de uso

Começaram com uma aba no painel de administração com a lista de quem acessava o Transcritor. Ela mostrava interesse, mas não o que o usuário fazia depois. Em seguida, adicionaram visitantes, usuários ativos e novos, o número de projetos e de arquivos transcritos. Depois definiram as «ações de valor»: baixar um documento, obter uma transcrição, ver um relatório de IA por mais de um minuto, dar feedback e receber uma resposta do chat sobre a reunião. Todo o resto, incluindo visitas curtas, é considerado secundário.

Depois disso, incluíram DAU, WAU, MAU e a «aderência» (DAU em relação ao MAU). O principal sinal veio da média de ações de valor por usuário ativo: de abril a agosto, ela subiu de 3,4 para 6,8, embora o público tenha crescido várias vezes. Isso significa que o crescimento não se sustentava apenas na curiosidade. A parcela de visitantes que realizaram pelo menos uma ação permanece acima de 80%. Uma aderência de 10–25% é normal para uma ferramenta assim: as pessoas chegam após as reuniões, e o ritmo é mais semanal.

Separadamente, a equipe criou métricas de contrapeso: o número de erros de transcrição e a parcela de chamadas malsucedidas. Sem elas, o painel mostra apenas um quadro agradável. Para a camada de custo, calculam o preço por requisição, as latências p50 e p95 e a disponibilidade em relação ao SLO. Um relatório custa menos de 100 rublos, e uma hora de reunião é processada em cerca de 15 minutos.

O que a análise das notas ruins mostrou

A qualidade dos relatórios é avaliada por um modelo juiz separado no Langfuse, em uma escala de cinco pontos. As reuniões de pesquisa, cuja estrutura foi criada em conjunto com pesquisadores de UX, recebem de forma consistente notas 4 e 5. Com as demais é pior: de 374 relatórios sobre reuniões de trabalho entre 3 de julho e 22 de setembro, 168 receberam nota 3 ou menos. Leram manualmente 56, junto com as transcrições, e para cada um escreveram uma versão de referência com um modelo mais forte.

As causas se distribuíram assim: o prompt de sumarização, 45%; a reunião não era de fato «de trabalho» (demo, sincronização de status), 36%; dados de origem ruins, 12%; erro do próprio juiz, 7%. O que mais se perdia era a conclusão principal da reunião (28 de 56), lixo como «compartilhar a tela» entrava nas tarefas e as seções se contradiziam.

Um efeito interessante: quando as regras foram endurecidas para que o modelo não inventasse atribuições, ele passou a descartar as reais. Surgiram relatórios com «sem tarefas ativas» apesar de um prazo definido. A regra «melhor não escrever do que inventar», sem um contrapeso, apenas desloca o erro para o outro lado.

O que levar disso

Primeiro, combine antecipadamente o que conta como ação útil em cada produto. Não existe uma definição única de usuário ativo: se a revisão de código roda automaticamente, quem não clicou em nada está ativo?

Segundo, não confie na nota média do juiz LLM. Leia por inteiro pelo menos cinquenta dos piores casos e distribua as causas em categorias. Parte das notas «ruins» se revelará um problema do tipo de documento ou do juiz, e não do prompt.

Terceiro, versione os prompts e verifique as alterações com exemplos de referência; caso contrário, a melhoria de um defeito criará outro sem que ninguém perceba.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Primeiro, as métricas de uso?

Começaram com uma aba no painel de administração com a lista de quem acessava o Transcritor. Ela mostrava interesse, mas não o que o usuário fazia depois. Em seguida, adicionaram visitantes, usuários ativos e novos, o número de projetos e de arquivos transcritos. Depois definiram as «ações de valor»: baixar um documento, obter uma transcrição, ver um relatório de IA por mais de um minuto, dar feedback e receber uma resposta do chat sobre a reunião. Todo o resto, incluindo visitas curtas, é considerado secundário.

O que a análise das notas ruins mostrou?

A qualidade dos relatórios é avaliada por um modelo juiz separado no Langfuse, em uma escala de cinco pontos. As reuniões de pesquisa, cuja estrutura foi criada em conjunto com pesquisadores de UX, recebem de forma consistente notas 4 e 5. Com as demais é pior: de 374 relatórios sobre reuniões de trabalho entre 3 de julho e 22 de setembro, 168 receberam nota 3 ou menos. Leram manualmente 56, junto com as transcrições, e para cada um escreveram uma versão de referência com um modelo mais forte.

O que levar disso?

Primeiro, combine antecipadamente o que conta como ação útil em cada produto. Não existe uma definição única de usuário ativo: se a revisão de código roda automaticamente, quem não clicou em nada está ativo? Segundo, não confie na nota média do juiz LLM. Leia por inteiro pelo menos cinquenta dos piores casos e distribua as causas em categorias. Parte das notas «ruins» se revelará um problema do tipo de documento ou do juiz, e não do prompt.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…