Autores no arXiv pedem que a “verdade” única da rotulagem dê lugar a um espaço de interpretações

Foi publicado no arXiv (cs.AI, número 2610.10805, versão v1) um position paper que questiona a premissa básica de boa parte do aprendizado de máquina: a de que cada exemplo tem uma única resposta correta. Os autores propõem modelar um “espaço de interpretações”, ou seja, o conjunto de julgamentos humanos plausíveis sobre a mesma entrada. Ao mesmo tempo, querem separar a ambiguidade significativa do ruído comum de anotação. Na visão deles, é preciso reconstruir cinco estágios do ciclo de vida do sistema: representação, treinamento, avaliação, implantação e governança.

Uma ressalva logo de início: o trabalho é conceitual. O resumo não apresenta um novo modelo, um benchmark nem resultados de experimentos. O valor do texto está na formulação do problema, e é assim que ele deve ser julgado.

Onde a “verdade única” falha

O pipeline padrão funciona assim. Várias pessoas rotulam o mesmo exemplo. As respostas são consolidadas por votação ou média, e a concordância entre os anotadores é verificada com métricas como o kappa de Cohen ou o alfa de Krippendorff. Baixa concordância é vista como sinal de instrução ruim ou de executores pouco cuidadosos. As divergências, nesse caso, são removidas ou tratadas como ruído.

Para tarefas com resposta objetiva, isso funciona. Mas quando o sistema avalia a toxicidade de uma frase, a emoção em um rosto, a adequação da resposta de um chatbot ou o tom de uma carta, pessoas diferentes enxergam coisas diferentes, e cada uma pode ter sua parcela de razão. Esses exemplos servem de ilustração e não são citados diretamente no resumo.

O argumento dos autores é este: ao reduzir tudo a um único alvo, perde-se a informação sobre a diversidade de percepções, julgamentos e experiências de vida. Além disso, os sistemas cada vez mais não apenas interagem com pessoas, mas tomam decisões sobre elas. Um modelo que assimilou a posição da maioria dos anotadores como “verdade” replica essa posição para todos os usuários.

O que os autores propõem

A ideia central é prever e armazenar não um único rótulo, mas uma distribuição de julgamentos plausíveis. O restante do resumo está formulado como um arcabouço para todo o ciclo de vida. A lista abaixo transmite esse arcabouço em linhas gerais; os detalhes dos métodos não são revelados no resumo:

• Representação. Dados e variáveis-alvo são descritos como um conjunto de interpretações aceitáveis, e não como um rótulo único.
• Treinamento. O modelo aprende com a diversidade de julgamentos, e não com o resultado da agregação deles.
• Avaliação. A qualidade é medida pelo quanto o sistema reproduz o espectro de interpretações, e não pela coincidência com um único gabarito.
• Implantação. O sistema deve levar em conta que, para parte das entradas, mais de uma resposta é admissível.
• Governança. A pergunta “de quem é a verdade embutida no modelo” passa a ser tema de governance.

A parte mais difícil do programa é distinguir a ambiguidade significativa do ruído. Se qualquer divergência for declarada ambiguidade, uma rotulagem descuidada pode ser passada por “diversidade de opiniões”. Se qualquer divergência for tratada como ruído, o resultado é a abordagem atual. O resumo não diz como traçar essa fronteira. Pela formulação “convocamos a uma mudança”, trata-se de uma direção para trabalhos futuros.

O que mudar na prática

Mesmo sem métodos novos, o artigo sugere algumas medidas que as equipes podem adotar desde já:

• Guardar as anotações individuais brutas, e não apenas o rótulo agregado. Depois, não há como recuperar a divergência perdida.
• Separar as tarefas entre aquelas em que a resposta é objetiva e aquelas em que ela depende de interpretação. Nas segundas, a baixa concordância entre anotadores pode ser um sinal, e não um defeito.
• Olhar a distribuição das respostas ao avaliar o modelo. A acurácia pelo voto da maioria esconde em quem o modelo erra de forma sistemática.
• Documentar quem rotulou os dados: de quais grupos, com quais instruções, com que nível de concordância. Sem isso, a pergunta “de quem é a verdade” fica sem resposta.
• Começar por uma tarefa, como moderação de conteúdo ou avaliação de respostas de um assistente, e comparar o comportamento do modelo treinado com rótulos agregados e não agregados.

Para empresas cujos produtos tomam decisões sobre pessoas, isso é uma questão não só de qualidade, mas também de responsabilidade: mais cedo ou mais tarde, um auditor ou regulador vai perguntar por que o modelo considera correta justamente aquela resposta.