Doubletapp explica por que datasets fracos impedem a IA de elevar NPS, CTR e conversão

A Doubletapp publicou uma entrevista sobre por que os projetos de IA costumam falhar mais nos dados do que na escolha do modelo. Ilnur Faiziev, chefe da unidade Data LLM, explicou como a qualidade do dataset se reflete diretamente no NPS do suporte, no CTR do catálogo e na conversão em compra.

Onde as métricas se perdem

A ideia central da entrevista é simples: as empresas não compram o modelo em si, e sim a melhoria de um número específico. No suporte, isso significa a velocidade de resolução do chamado e a satisfação do cliente; no varejo online, a taxa de cliques nos cards de produto e a proporção de pedidos; na busca em base de conhecimento, a precisão da resposta. Se o dataset tem ruído, rotulagem ruim ou não tem relação com os cenários reais, o modelo passa a errar justamente onde cada erro custa dinheiro ao negócio. Por isso, a conversa sobre dados aqui não é acadêmica, e sim uma conversa direta sobre receita, custos e qualidade do serviço.

A matéria traz também casos menos óbvios. Numa empresa industrial, a IA pode buscar respostas em regulamentos internos e reduzir erros na produção. Em tarefas de visão computacional, pode determinar a qualidade do aço a partir dos parâmetros do processo e ajudar a manter um resultado estável. Em todos os casos há a mesma lógica: no topo está a métrica de negócio, abaixo dela a qualidade do sistema de ML e, sob ela, o dataset, que ou reforça o modelo ou o puxa para baixo sem ninguém notar.

• NPS e tempo de resposta no suporte
• CTR e conversão no e-commerce
• Precisão da busca na base de conhecimento interna
• Redução de erros em processos de produção
• Qualidade do reconhecimento em sistemas de visão computacional

Quando o dataset é indispensável

Segundo Faiziev, um dataset de qualidade é necessário em duas situações típicas. A primeira é quando a empresa ainda está apenas comparando a IA com o trabalho manual e quer entender se é possível colocar a solução em produção. A segunda é quando o sistema já funciona, mas as métricas deixaram de satisfazer: as respostas são irrelevantes, as recomendações não levam à compra, e a velocidade ou a precisão chegaram a um teto. Nos dois casos, sem uma medição da qualidade atual e uma métrica-alvo clara, o trabalho com dados vira adivinhação.

«Datasets são necessários em duas etapas do desenvolvimento do produto».

Há ênfase especial na economia. Um dataset não é um desenvolvimento personalizado sem fim, e sim um artefato finito, que pode ser preparado, verificado e carregado no pipeline de treinamento ou de ajuste fino. Sim, a auditoria do modelo precisa ser repetida regularmente, mas a coleta e a rotulagem costumam compensar mais quando entregues a quem é especializado nesse processo. Se tudo fica dentro da empresa, os engenheiros gastam semanas selecionando exemplos, organizando o ambiente, controlando a qualidade e gerenciando os rotuladores. Para o negócio, isso costuma sair mais caro do que parece no início.

Por que o crowdsourcing perde força

A entrevista é interessante também por registrar uma mudança no mercado. O crowdsourcing em massa funcionou bem na época das tarefas simples, como «gato ou cachorro». Hoje os próprios modelos resolvem esses cenários com bastante segurança, então a rotulagem humana migra para domínios especializados. Quando se trata de um assistente de código para uma linguagem rara, de uma validação industrial complexa ou de uma base de conhecimento temática, não basta um grande fluxo de executores: é preciso gente que entenda de fato o contexto da tarefa e consiga perceber erros sutis.

Um esquema combinado ainda é possível: a parte simples do pipeline pode ir para rotulagem em massa e a complexa, para uma equipe de especialistas. Mas aí o negócio ganha uma nova carga: decompor a tarefa, buscar diferentes fornecedores, repassar o contexto entre eles e incluir controle de qualidade extra nas junções. Por isso, na avaliação da Doubletapp, o mercado segue relativamente restrito, concentrado em grandes empresas de LLM e nos projetos em que a melhoria das métricas é fácil de converter em dinheiro.

O que isso significa

Para o mercado, é um sinal de que a vantagem competitiva em IA se desloca cada vez mais da escolha do modelo mais badalado para a qualidade dos dados aplicados. Os grandes players continuam precisando de datasets enormes, mas a próxima onda de demanda pode vir de equipes pequenas com produtos de IA de nicho. Primeiro elas testarão o MVP com dados prontos e, quando virem a economia, passarão a comprar datasets pontuais para seus pontos fracos; é aí que surgirá o crescimento real das métricas.