Haiku emitió un PASS y una observación major en la revisión de diez artículos: análisis del informe

Al revisar diez artículos, el modelo Haiku puso en uno de los informes un veredicto PASS y, a la vez, marcó una observación como major, es decir, significativa. Los autores del material en Habr no optaron por fiarse de una señal u otra. Recorrieron el informe con las fuentes en la mano y separaron las observaciones que llevaron a correcciones de las que rechazaron. Además, dejaron constancia de qué contexto le faltó al propio modelo.

Una salvedad importante: el anuncio no incluye el texto completo del análisis. Se conocen la muestra, el tipo de contradicción y la estructura general de las conclusiones. Los errores concretos, la redacción de los prompts y la proporción de correcciones aceptadas no se revelan en la parte pública, por lo que aquí no se especulan.

Dónde se rompe la lógica del informe

PASS y major describen cosas distintas. El primero suele significar la decisión final: «el material puede pasar». El segundo indica la gravedad de un hallazgo concreto. En un esquema normal, un major debería bloquear el PASS; si no ocurre, significa que dos campos de una misma respuesta del revisor no coinciden.

Las causas de este tipo de desajuste en la revisión con LLM se conocen por la práctica general, aunque en este caso siguen siendo hipótesis:

• el veredicto y la lista de observaciones se generan de forma secuencial, y el modelo no siempre los armoniza entre sí;
• la valoración final responde a la pregunta «en conjunto se lee bien y cuadra», mientras que la observación recoge un hecho local;
• un modelo compacto ve el texto del artículo, pero no el repositorio, las configuraciones ni las versiones en las que se apoya el artículo.

El último punto coincide con la conclusión de los propios autores: una parte de los reproches se debe a la falta de contexto del modelo, no a un error del texto.

Qué mostró el contraste con las fuentes

La comprobación con las fuentes primarias arrojó tres categorías de resultado. Primera: observaciones que se confirmaron y artículos que se corrigieron. Segunda: observaciones rechazadas porque el modelo se equivocó o interpretó mal un fragmento. Tercera: casos en los que no se podía evaluar si la observación era correcta sin datos que el revisor no recibió.

La tercera categoría es, en la práctica, la más útil. No muestra la calidad del modelo en general, sino el límite de aplicación de una combinación concreta de «modelo más datos de entrada». Si el revisor falla de forma sistemática en hechos procedentes de fuentes externas, el problema se resuelve ampliando la entrada, no cambiando de modelo.

Parámetros clave del experimento:

• revisor: Haiku, por su nombre un modelo pequeño de la línea Claude;
• muestra: 10 artículos;
• contradicción registrada: veredicto PASS con una observación major;
• método de verificación: contraste manual del informe con las fuentes;
• resultado: correcciones aceptadas en parte y rechazadas en parte, con las lagunas de contexto señaladas por separado.

Diez artículos son una muestra demasiado pequeña para sacar estadísticas. Sirve como observación del comportamiento del pipeline, pero no como benchmark.

Cómo plantear una revisión así en la práctica

La conclusión principal para quienes usan un LLM para revisar textos o código: no confiar en el campo único de veredicto. Si el informe incluye la gravedad de las observaciones, es mejor calcular el resultado final con una regla externa al modelo. Cualquier major o critical envía el material a revisión manual, con independencia de lo que diga el PASS.

Segunda medida: darle al revisor el contexto al que remite el material que se comprueba. Archivos fuente, versiones de bibliotecas, enlaces a la documentación. Si el modelo no ve algo, que devuelva el estado «datos insuficientes» en lugar de un PASS seguro. Conviene escribir ese estado de forma explícita en el prompt.

Tercera medida: registrar discrepancias como PASS más major en forma de métrica independiente. Su proporción indica hasta qué punto se puede confiar en el formato del informe y sugiere cuándo toca complicar el esquema, por ejemplo con una segunda pasada o con un modelo más potente solo para los casos dudosos.

Un modelo barato como revisor sigue siendo una opción viable mientras su veredicto se verifique con reglas y no se acepte por fe.