Framework AICG, da NC State, reduz o MAE em 50,3% na correção de respostas de matemática

Uma equipe do Departamento de Ciência da Computação da Universidade Estadual da Carolina do Norte propôs o AICG, um framework para avaliação automática de respostas curtas de matemática. Os modelos tradicionais de avaliação (ASAG) baseados em transformers aprendem a prever a nota e nada além disso. O AICG acrescenta a isso uma estimativa das habilidades do aluno e uma correção para a provável ajuda de IA generativa. Em 49 402 respostas corrigidas por professores ao longo de 19 semestres, o erro absoluto médio (MAE) caiu 50,3% em relação à regressão com RoBERTa. O kappa quadrático ponderado (QWK, que mede a concordância entre o modelo e o professor levando em conta a gravidade das divergências) subiu de 0,798 para 0,927.

Por que uma nota só não basta

Uma resposta de matemática mistura texto, fórmulas e desenvolvimentos incompletos. A nota parcial premia o raciocínio apresentado, e não apenas o resultado final. Os autores citam um exemplo: o aluno aplica corretamente a independência condicional duas vezes, mas para antes da regra de Bayes e escreve que não sabe como continuar. A nota registra os pontos conquistados, mas não diz qual habilidade falhou. Duas respostas com a mesma nota podem esconder níveis de compreensão diferentes, e um modelo treinado apenas com um rótulo escalar generaliza pior para esquemas de resolução desconhecidos.

Por isso, o AICG tem dois ramos que compartilham um mesmo encoder RoBERTa. O primeiro avalia cada resposta com três cabeças: a de regressão produz uma nota contínua, a ordinal produz uma nota ordenada e a de classificação escolhe uma de cinco categorias. A nota final vem da cabeça ordinal.

O segundo ramo usa uma matriz Q, montada por especialistas, que associa cada questão às habilidades que ela verifica (são dez). Com base nela, o modelo prevê o domínio de cada habilidade antes e depois do curso e o ganho de aprendizado. Os valores-alvo são calculados pelo G-DINA, um modelo de diagnóstico cognitivo que infere o domínio das habilidades a partir de padrões de resposta.

As notas previstas não entram no ramo cognitivo, que serve, assim, como uma fonte de sinal independente para o encoder compartilhado.

Os estudos de ablação mostram que o principal ganho vem justamente do sinal cognitivo baseado na matriz Q.

Como o framework lida com a ajuda de IA

Uma resposta fluente e correta pode, hoje, ser a solução de outra pessoa. Ela receberá nota alta, mas inflará a estimativa de domínio independente. Por isso, os autores treinaram um detector próprio de ajuda de IA, também baseado em RoBERTa: primeiro um pré-treinamento contrastivo, depois um classificador linear e a calibração de temperatura.

Os dados de treinamento foram construídos assim. Uma parte do texto de uma resposta real de aluno (30–50%) era mascarada, e um modelo offline do DeepSeek completava as lacunas, de modo que 50–70% do texto original era preservado. Respostas corretas totalmente geradas também entraram na classe "ajuda de IA". De 26 039 respostas reais, foram selecionadas 14 044, e para cada uma se criou uma versão gerada por IA, o que resultou em 28 088 exemplos balanceados. A validação com outros geradores seguiu o esquema leave-one-generator-out, e nos semestres F14–S17 usou 11 458 exemplos rotulados.

A probabilidade de ajuda é convertida em um peso suave de confiabilidade, com limite inferior, e não há um limiar rígido. A resposta suspeita influencia menos a estimativa de domínio e os valores-alvo do G-DINA, mas não é descartada. Esse peso não afeta a avaliação da resposta em si. Com limiar de 0,5, o detector sinalizou 2 896 de 13 874 respostas dos semestres F22–F24 (20,87%). A ponderação reduziu o MAE geral em mais 4,2% em relação ao modelo cognitivo sem pesos e melhorou de forma consistente o MAE e o QWK nos quatro últimos semestres da era da IA generativa.

O que ainda está em aberto

O AICG foi comparado com cinco baselines fortes em um esquema de janela expansiva: cada semestre era avaliado apenas com base nos anteriores. Isso se aproxima mais de uma implantação real do que uma divisão aleatória. Mesmo assim, o resultado tem limitações.

Todos os dados vêm de uma única universidade e de uma única área. A lista de dez habilidades e a matriz Q foram montadas manualmente por especialistas, e esse trabalho terá de ser repetido em outro curso. O detector foi treinado com ajuda sintética (o DeepSeek completa respostas mascaradas), e não com casos reais de uso do ChatGPT por estudantes.

Por isso, os 20,87% continuam sendo uma estimativa do modelo, e não um fato comprovado de cola. Além disso, o trecho do material apresentado termina antes da descrição das demais baselines e das tabelas completas, então a comparação com cada uma delas precisa ser conferida na versão completa do artigo.

A conclusão prática para quem desenvolve produtos educacionais é a seguinte. Para melhorar a correção automática, é possível incluir um sinal estruturado de habilidades como tarefa auxiliar, em vez de apenas aumentar o modelo. Já a confiabilidade dos dados deve ser reduzida de forma gradual, com pesos, e não excluindo por completo as respostas suspeitas.