Cómo verificar LLM a mano y con scripts: 12 lecciones de traducciones y tablas de tallas

Cuando se integra un LLM en un proceso de negocio en marcha, la cuestión ya no es si el modelo sabe traducir o buscar datos. La cuestión es qué pasa cuando se equivoca. Los autores de un análisis en Habr reunieron 12 conclusiones de dos tareas en producción: la traducción automática de productos del inglés al ruso y la búsqueda de tablas de tallas.

Dos tareas, dos estrategias

Primera tarea: decenas de miles de títulos y descripciones al día. Aquí el error es barato, el original y las fotos están a mano, y ese volumen no se puede revisar manualmente. Por eso funciona una combinación de varios modelos, un LLM juez y comprobaciones con scripts, además de una auditoría por muestreo.

Segunda tarea: encontrar una tabla de tallas a partir de la combinación «marca + tipo de producto + talla + género», por ejemplo Nike, zapatillas, 11 US, hombre. El error es caro: una plantilla de 260 mm en lugar de 250 supone una devolución. El volumen es moderado, así que una persona revisa cada registro. Dos modelos con búsqueda web (OpenAI y Gemini) buscan la tabla de forma independiente, Claude actúa como juez y una persona hace la verificación final.

De ahí una matriz sencilla: evalúe el coste del error y el volumen diario, y la estrategia de verificación resulta evidente.

Qué ayuda de verdad

El contexto importa más que los prompts ingeniosos. Al principio solo se traducía el título; la calidad mejoró al añadir la descripción, el sitio, la categoría y el enlace. En Walmart, el atributo de una sola letra «N» (abreviatura de «No») se traducía como «North» hasta que se añadió el nombre del atributo. En DoorDash, muchos «errores del juez» resultaron ser falta de información. Si el modelo se equivocó, primero compruebe si tiene datos suficientes.

Ponga la justificación antes de la respuesta. El modelo da la regla del prompt o un fragmento literal de la página y solo después el valor. Hay menos invenciones y al revisor le resulta más fácil encontrar la fuente.

El juez debe responder «sí» o «no». El equipo descartó la escala de cinco puntos: no encontró diferencia entre las puntuaciones 3 y 5. La autoevaluación de confianza del modelo tampoco sirve: una respuesta con «10 de 10» resultó ser un valor de la tabla de mujer en lugar de la de hombre. La coincidencia de dos modelos tampoco basta, porque a menudo se equivocan igual, así que hacen falta ambas señales: coincidencia y aprobación del juez.

Los scripts superan a los LLM donde la tarea es determinista. El modelo a veces no convierte o calcula mal las medidas en pulgadas, libras y onzas. Las expresiones regulares comparan los números del original y la traducción, y cuando es posible la conversión se hace con coeficientes, sin modelo.

Herramientas y proceso

Para la revisión manual, el equipo creó una extensión de Chrome. Toma un JSON con los resultados, abre la página de origen, resalta el valor encontrado (o lanza una búsqueda en Google si no hay tabla) y la decisión se toma con atajos de teclado. El JSON resultante se envía al panel de administración. La velocidad de revisión aumentó decenas de veces.

Algunas prácticas más: registrar la versión del modelo y del prompt en cada resultado, ejecutar un conjunto de referencia al cambiar la combinación, incorporar pronto a los gestores de categoría (encontraron imprecisiones en la traducción de cosméticos y medicamentos) y revisar manualmente una muestra una vez al mes. Hay que probar precisamente el par «modelo + prompt», porque un mismo prompt se comporta de forma distinta en modelos distintos.

Limitaciones y conclusión

Es la experiencia de dos tareas concretas, el artículo no da cifras de precisión y las conclusiones sobre casos de nicho como las tablas de tallas no se trasladan necesariamente a otros ámbitos. Pero la lógica es universal: se puede confiar a un LLM procesos con coste de error bajo o medio, mientras que los críticos deben revisarse a mano hasta acumular un historial de varios meses sin errores. Los errores y las quejas conviene convertirlos en correcciones del prompt: error, análisis, corrección, menos errores de ese tipo. En esencia, así funciona también Walmart: los lingüistas no corrigen las traducciones a mano, sino que formulan una regla que se aplica a todo el catálogo.