Kolab: 115 horas de gravações mostram que agentes de IA não entendem seus colegas humanos

Pesquisadores do Minnesota NLP publicaram o Kolab, um dataset e benchmark para avaliar como agentes de IA trabalham ao lado de pessoas, e não no lugar delas. A base reúne mais de 115 horas de gravações de tela: 50 profissionais de 40 especialidades resolveram, com agentes, tarefas realistas de longo horizonte. A principal conclusão é incômoda para a indústria. Os modelos de ponta, agênticos e convencionais, superestimam a qualidade da colaboração e distinguem mal a boa colaboração da ruim.

O que acontece com a resposta do agente depois do chat

A maioria dos benchmarks populares para agentes mede automação: se o agente deu conta da tarefa de uma só vez. Os autores do Kolab, entre eles Sherly Anugrah Hayati, Patricia Anugrah Setiani, Ruiqi Wang, Zhouyi Li, Han Chi Le, Yong-Jun Lee e Dongyeop Kang, partem de outra observação. Em tarefas longas, as pessoas valorizam mais a interação constante com o agente, como a revisão de um plano, do que a capacidade de levar o trabalho até o fim na primeira tentativa.

Os processos profissionais são adequados para esse tipo de teste. Seus passos dependem uns dos outros: uma decisão tomada na segunda etapa muda tudo o que vem na quinta. O Kolab registra como os especialistas conversam com o agente, o que aproveitam das respostas dele e o que corrigem. Os participantes também avaliaram, eles mesmos, a qualidade da colaboração e do resultado final. O resultado é algo raro: dados sobre o que as pessoas fazem com a contribuição do agente depois que ela sai da janela do chat.

A análise revelou diferentes padrões de interação. Muita coisa depende de quando e como o especialista envolve o agente no trabalho.

Dois testes que os benchmarks de automação não têm

Os autores consideram que um agente colaborativo precisa saber fazer duas coisas, e nenhuma delas é verificada pelos testes de automação. Daí as duas tarefas do benchmark:

• Previsão do uso da contribuição do agente. O modelo deve prever o que o especialista fará com a proposta do agente: aceitar, alterar ou rejeitar. Disso dependem os próximos passos do agente.
• Verificação das avaliações da colaboração. Com base no fluxo de trabalho em andamento, sem feedback constante do especialista, o modelo deve determinar o quanto o participante está satisfeito com a colaboração e qual é a qualidade do resultado.

O dataset abrange 50 participantes, 40 profissões e mais de 115 horas de gravação. Ele inclui as avaliações dos próprios especialistas, de modo que o padrão de referência é a opinião humana, e não uma métrica automática.

Onde os modelos erram

Os resultados foram homogêneos. Nas duas categorias, agêntica e não agêntica, os modelos de ponta superestimam de forma sistemática a qualidade da colaboração com os especialistas. Também têm dificuldade para distinguir uma interação de alta qualidade de uma de baixa qualidade. Na prática, o modelo tende a achar que tudo correu bem, mesmo quando o especialista ficou insatisfeito ou reescreveu metade do que foi proposto.

O resultado menos intuitivo diz respeito ao contexto. Um histórico mais longo do fluxo de trabalho não melhora as previsões de forma consistente. A solução mais comum, "vamos dar mais informações ao modelo sobre o andamento do trabalho", não funciona aqui. O problema, ao que tudo indica, não é falta de tokens, mas a incapacidade de ler sinais: como a pessoa reage, o que ela corrige em silêncio, quando deixa de confiar.

O que fazer para quem desenvolve agentes

Para as equipes que constroem agentes para uso profissional, o Kolab oferece duas referências práticas. A primeira: vale somar às métricas de sucesso de tarefas métricas de aceitação da contribuição. Um agente que resolve 80% das tarefas de uma só vez, mas cujos resultados os especialistas reescrevem, é na prática menos útil do que parece no ranking. A segunda: a autoavaliação do agente não é confiável. Se o modelo superestima a qualidade do trabalho em conjunto, não dá para se apoiar nos sinais de "está tudo indo bem" que ele mesmo emite ao decidir automaticamente quando pedir confirmação a um humano.

Para os pesquisadores, o dataset oferece material para treinar modelos que preveem a reação do especialista. O código e os dados estão publicados em acesso aberto, na página do projeto do Minnesota NLP e em um repositório no GitHub. O artigo saiu no arXiv com o número 2610.21109 e entrou na seleção diária do Hugging Face Papers.

Vale ter em mente a principal limitação: 50 participantes formam uma amostra pequena, embora a cobertura de 40 profissões seja ampla. Mas a direção é clara. Enquanto os agentes não souberem prever o que o especialista fará com o resultado deles, continuarão sendo uma ferramenta de automação, e não um parceiro de trabalho.