Habr AI presentó un prototipo de un sistema que verifica la autenticidad de las referencias en trabajos científicos

En Habr AI se publicó un análisis de un proyecto de tesis sobre verificación automática de fuentes científicas. El autor construye un sistema que no solo debe encontrar la lista de referencias en un documento, sino también verificar si cada enlace realmente existe y si se puede confiar en él.

Por qué creció el problema

La idea parece estrecha a primera vista. Con el crecimiento de los modelos generativos, los errores en las bibliografías han dejado de ser meros errores de escritura: en textos científicos y pseudocientíficos, cada vez más se encuentran DOI distorsionados, autores confundidos, URLs rotos y referencias a trabajos que no existen. Para editores y revisores, esto significa horas adicionales de verificación manual, y para el autor, un golpe directo a la credibilidad del texto.

El problema consta de dos partes. La primera es el formato: la misma fuente puede escribirse según GOST, APA, IEEE o en un formato mixto donde faltan la mitad de los campos. La segunda es la autenticidad: incluso una referencia perfectamente formateada puede no llevar a ninguna parte. Por lo tanto, la tarea se reduce no a una corrección cosmética de la bibliografía, sino a una verificación de la fiabilidad del texto como tal. Si la fuente no se confirma, sufren la calidad del trabajo, la reproducibilidad de los resultados y la propia lógica de la cita científica.

Cómo funciona el sistema

El prototipo actual acepta PDF y DOCX, extrae texto, busca un bloque de bibliografía usando un conjunto de heurísticas, lo divide en registros individuales y analiza campos: autores, título, año, revista, volumen, número, páginas, DOI y URL. Después, el sistema intenta confirmar el registro a través de fuentes externas: desde Crossref y OpenAlex hasta Wikidata, ORCID, Google Scholar e búsqueda web ordinaria. El resultado no es una respuesta binaria, sino una escala de confianza.

• acepta un documento a través de una interfaz web
• resalta y estructura la lista de referencias
• verifica DOI, URL y coincidencia de metadatos
• asigna un estado de credibilidad a cada registro
• guarda un informe y JSON final para procesamiento posterior

El momento clave en la arquitectura es un enfoque híbrido. Las reglas y heurísticas son responsables de la extracción de características, validación de DOI y verificación básica de campos, mientras que la capa ML ayuda donde el registro es ruidoso, parcialmente reconocido o no se ajusta a una plantilla rígida. Este enfoque es necesario porque las reglas puras se rompen rápidamente en documentos reales, y un modelo puro se convierte en una caja negra en la que es difícil confiar.

Los estados verified, likely_verified, unverified y unknown permiten al sistema mostrar honestamente el grado de confianza en lugar de pretender que cualquier caso controvertido puede resolverse automáticamente.

Para evaluar la calidad, el autor no observa un único número general. Las métricas se dividen por etapas: qué tan bien se extraen los campos, cuántas referencias se pueden confirmar, qué tan correctamente funciona la clasificación y si la autocorrección causa daño. Este desglose por capas es necesario para entender exactamente dónde se rompe el pipeline: en la extracción, coincidencia, asignación de estado o intento de corregir un registro.

Donde comienzan los fallos

La parte más desagradable de la tarea aparece antes de la verificación del enlace. Un PDF puede contener encabezados, saltos de línea, disposición caótica de blocos de texto o incluso ser un escaneo sin una capa de texto adecuada. En tales casos, primero se necesita OCR, y solo entonces el análisis de la bibliografía.

Incluso después de eso, quedan artículos sin DOI, URLs muertas, fuentes en idioma ruso con débil representación en registros internacionales y registros donde el título o los autores están tan distorsionados que la coincidencia directa no funciona. Un problema separado son los servicios externos. Algunos tienen límites de velocidad, otros tienen respuestas inestables, otros pueden encontrarse con CAPTCHA o metadatos incompletos. Por lo tanto, el autor del proyecto enfatiza por separado la importancia de la explicabilidad y el modo human-in-the-loop.

El sistema no debe solo dar un veredicto, sino también mostrar qué campos coincidieron, dónde hay poca confirmación y qué es mejor verificar manualmente.

Si un registro no puede confirmarse de forma fiable, el sistema no debe pretender ser un oráculo todopoderoso.

Esto es especialmente importante para la autocorrección: corregir un registro bibliográfico puede producir fácilmente un nuevo error si el algoritmo tiene demasiada confianza.

Los planes más cercanos son mejorar la extracción de referencias, expandir el conjunto de datos etiquetado y ejecutar el pipeline en un corpus de ejemplos con métricas separadas para análisis, coincidencia, clasificación y autocorrección.

Qué significa esto

La verificación de enlaces se está transformando gradualmente de una tarea editorial aburrida en una tarea de IA separada en la intersección de NLP, validación de datos e infraestructura académica. A medida que los modelos aprenden a fabricar bibliografías de manera convincente, la demanda de sistemas que puedan distinguir una fuente real de ficción cuidadosamente formateada solo aumentará.