EDU-Jev 4B avalia trabalhos de alunos com 67,6% de precisão e supera APIs comerciais em 9,4 p.p.

Um grupo do King's College London (Jiazheng Li e Yulan He) apresentou o EDU-Jev, uma família de modelos compactos para avaliação automática de trabalhos escolares. Os modelos de 0,8B, 2B e 4B parâmetros não escrevem raciocínios: eles recebem o contexto da tarefa e uma pergunta com opções predefinidas e, em uma única passada direta, devolvem a distribuição de probabilidades sobre essas opções. Em doze benchmarks educacionais, a versão 4B alcançou precisão média de 67,6%. Isso é 9,4 pontos percentuais acima da API comercial mais forte entre as cinco testadas para esse tipo de decisão e 18,7 pontos acima do melhor modelo aberto de 4B do mesmo tipo.

Por que a avaliação precisa de um «sistema um»

Na educação, a maioria das decisões segue o mesmo formato: dar a uma resposta de 0 a 3 pontos segundo uma rubrica, verificar se o texto contém um critério de checagem, encontrar o primeiro passo incorreto em uma resolução. As opções são conhecidas de antemão. Modelos generativos costumam fazer isso por meio de um raciocínio seguido de um rótulo final, e os autores apontam três problemas nessa abordagem.

A resposta precisa ser interpretada por um parser e pode sair do conjunto de opções válidas. O custo cresce com o tamanho da saída, e modelos de raciocínio gastam muitos tokens até em casos simples. Além disso, a confiança expressa em palavras não precisa coincidir com a probabilidade real de erro, e é justamente essa probabilidade que se usa para encaminhar casos duvidosos à revisão humana.

A interface de «decisões tipadas» foi introduzida antes pela TypeSafe AI em seu modelo hospedado Jev (testado no artigo via API, na versão 1.14). Para comparação, existe o conjunto público e independente JevBench. Segundo os autores, as alternativas abertas foram treinadas principalmente com dados gerais e têm desempenho fraco na avaliação por rubrica.

Pointer head e rótulos suaves

Em vez de uma cabeça de linguagem, o EDU-Jev usa um pointer head. Cada opção de resposta no prompt é seguida por um token marcador, e o prompt termina com um token de decisão. Um MLP de duas camadas com pesos compartilhados lê o estado oculto de cada marcador e produz um logit, e o softmax é calculado exatamente sobre as opções declaradas. O modelo pode errar na escolha, mas não consegue produzir uma resposta inválida. Em experimentos controlados com o modelo de 0,8B, uma cabeça «de letras», que lê os logits dos rótulos A/B/C, teve resultado significativamente pior e deu a mesma resposta 3,5 pontos menos vezes quando as opções eram embaralhadas.

O treinamento ocorre em uma única etapa, com entropia cruzada suave: o alvo é a distribuição das notas dos anotadores, quando havia vários, ou one-hot, caso contrário. A base foram modelos Qwen3.5 com ajuste fino completo.

O dataset tem cerca de 1,5 bilhão de tokens, ou 4,6 milhões de decisões: avaliação de respostas curtas e redações, verificação passo a passo de resoluções, erros de alunos e diálogos com tutores, em sua maioria em inglês e chinês. O cronograma de learning rate do tipo warmup-stable-decay termina em um trecho final da época ainda não visto pelo modelo, e os pesos finais foram obtidos pela média de três checkpoints (na metade, aos três quartos e no fim do treinamento). Segundo os autores, isso custa algumas décimas de ponto em dados da distribuição de treino e rende cerca de um ponto fora dela.

O aprendizado por reforço sobre a saída do pointer não superou a continuação do treinamento supervisionado convencional.

O que as medições mostraram e onde está o limite

Em 20 conjuntos, divididos em decisões gerais, raciocínio e educação, o modelo 4B obteve 67,6%, contra 45,2–48,9% dos modelos abertos de 4B e 49,2–58,2% das APIs comerciais. As versões 2B e 0,8B alcançaram 63,2% e 62,8%, ou seja, também superaram todos os modelos de base na média de educação. Em quatro conjuntos educacionais de outros domínios, o 4B empatou com a API mais forte. O modelo 2B processa cerca de 150 decisões por segundo em uma única H100.

O modelo não se tornou universal. Em decisões gerais, o 4B fica 3,2–6,7 p.p. atrás das APIs e, em raciocínio, fica atrás de três delas por 2,2–3,7 p.p. Entre os modelos abertos de 4B, ele empatou com o JevK5-4B e ficou 1,3 ponto atrás do OpenJev-4B. O aumento de tamanho trouxe ganho maior em transferência e raciocínio geral do que em precisão no próprio domínio de avaliação.

Há também ressalvas metodológicas. A calibração foi verificada empiricamente, pelo erro de calibração esperado (ECE) em 15 intervalos e sem ajuste de temperatura. Isso não é garantia para dados novos. Os intervalos de confiança consideram apenas a amostra de tarefas, não a variação entre execuções. Parte dos rótulos de treino é sintética: foram gerados por modelos de terceiros. A avaliação sem rubrica, resposta de referência ou pontos-chave não é suportada de propósito. Por fim, o modelo não explica a nota, e cenários que exigem uma justificativa para o aluno ou o professor vão precisar de uma camada adicional.

Para equipes que constroem verificação automática de trabalhos, a conclusão é prática. Se as decisões se resumem a escolher entre um conjunto fixo de opções segundo uma rubrica, um modelo pequeno com saída tipada pode ser mais preciso e mais barato que um juiz generativo. As probabilidades servem para encaminhar casos incertos a um revisor humano.