Novo framework identifica tipos de colunas pelos cabeçalhos: 39 tipos e 120 mil colunas

Um grupo de pesquisadores publicou no arXiv um artigo sobre um framework que determina o tipo semântico de uma coluna de tabela apenas pelo cabeçalho e, ao mesmo tempo, avalia a qualidade da fonte de dados. O sistema associa os cabeçalhos a 39 tipos interpretáveis do FinalFormat e foi testado em cerca de 120 000 colunas de sete conjuntos de dados: UCI, Prague, Kaggle, VizNet/Sato, SOTAB, T2Dv2 e a trilha Metadata-to-KG do desafio SemTab 2024. O resultado principal é ambíguo. Na avaliação estrita oficial do SemTab, os números são modestos, mas os autores sustentam que a explicação não se resume ao modelo.

O problema: entender a tabela sem olhar as células

Antes de entrar em um grafo de conhecimento, os dados tabulares precisam ser anotados: qual coluna contém datas, qual traz nomes de organizações, qual traz identificadores. Essa tarefa se chama Column Type Annotation (CTA) e faz parte da área mais ampla de Semantic Table Interpretation. Normalmente, a anotação se baseia no conteúdo das células. Mas os valores podem estar fechados por razões jurídicas, ruidosos ou simplesmente inadequados para análise. Nesses casos, o cabeçalho passa a ser praticamente a única fonte de significado.

Os autores partem da premissa de que a qualidade de um grafo de conhecimento não se define apenas pela verificação do grafo já construído. Ela também depende dos metadados que entram na integração. Por isso, o framework resolve duas tarefas ao mesmo tempo: anota os tipos e procura problemas de qualidade.

Como o framework funciona

Os cabeçalhos são associados aos 39 tipos FinalFormat por meio de recursos lexicais curados, ou seja, regras e dicionários, e não um modelo opaco. Cada decisão pode ser rastreada: o campo SourceKeywords registra exatamente quais tokens do cabeçalho levaram à escolha do tipo. Em auditoria e em setores regulados, essa transparência importa tanto quanto a precisão.

Depois entra a segunda etapa. Cada tipo atribuído ativa um conjunto de verificações da taxonomia Data Quality Issues (DQI). O sistema procura:

• valores ausentes;
• duplicatas;
• violações de domínio (domain violations);
• tipo de dado incorreto;
• inconsistências temporais.

Os resultados são agregados na métrica HeadersIQ. Trata-se de um indicador leve, sem ponderação, de qualidade no nível da fonte de dados inteira, e não de uma coluna isolada. Em paralelo, há um caminho de mapeamento para grafos de conhecimento, que alinha o resultado com DBpedia e Schema.org.

Os números e um benchmark controverso

Os autores afirmam ter ampla cobertura prática em metadados reais e ruidosos. Na trilha Metadata-to-KG do SemTab 2024, a avaliação oficial pelo princípio GT-strict, isto é, de correspondência estrita com o gabarito, ficou modesta. Os autores não escondem isso.

Para entender as causas, eles fizeram uma auditoria diagnóstica cega das divergências. Segundo as conclusões, muitas discordâncias se explicam pela granularidade da anotação no benchmark, por aliases e pela escolha da ontologia. Ainda assim, as previsões não parecem totalmente implausíveis para uma abordagem baseada apenas em cabeçalhos. Por exemplo, "cidade" versus "localidade" conta formalmente como erro, embora a diferença de sentido seja mínima.

Há uma ressalva importante. Os autores escrevem explicitamente que a auditoria serve como evidência diagnóstica dos padrões de divergência, e não como uma revisão do resultado do benchmark. Eles não tentam recalcular a pontuação a seu favor. Mesmo assim, a auditoria foi feita pelos próprios autores do sistema e não tem confirmação independente.

Onde isso pode ser aplicado

A abordagem parece prática em cenários nos quais os valores das células estão indisponíveis: catálogos de dados abertos, cadastros corporativos, verificação prévia de entregas de dados de parceiros. Uma triagem barata e explicável pelos cabeçalhos permite descartar rapidamente fontes com problemas evidentes, antes de gastar recursos com um pipeline pesado de integração.

Uma equipe que constrói um grafo de conhecimento ou um data mart deve atentar para dois pontos. Primeiro, a rastreabilidade via SourceKeywords facilita a verificação manual e a depuração das regras. Segundo, as observações sobre erros de granularidade e de escolha de ontologia são úteis para interpretar qualquer resultado do SemTab: uma pontuação strict baixa nem sempre indica previsões inúteis. Ainda assim, vale avaliar o sistema com dados próprios, porque os cabeçalhos de tabelas reais costumam ser pouco informativos, e nesse caso o método, por definição, esbarra em um teto.