Un editor pasó 30 entrevistas por Claude: las citas son fieles, pero el modelo nunca dicta el veredicto «no la veas»

Andrej Karpathy montó en un fin de semana HackerTube: un escaparate de 6454 vídeos que los usuarios de Hacker News se recomiendan unos a otros desde hace años. El fundador de Pressfeed y editor de la revista «Signal» decidió crear con los mismos datos un producto distinto: no un enlace al vídeo, sino una ficha en ruso que se lee en un minuto y responde si merece la pena abrir el vídeo. Los datos se publican bajo la licencia ODC-By y se aceptan forks.

El problema le resultará familiar a cualquiera que haya construido un pipeline con LLM: el modelo genera un texto vivaz, pero solo una parte puede comprobarse automáticamente. Lo más útil de esta historia es precisamente dónde se traza la frontera de lo verificable.

Cómo funciona el pipeline

De los 6454 vídeos, el autor se quedó con entrevistas y pódcasts: 435. Tras eliminar noticias de un solo día y vídeos que solo mencionaban el tema, quedaron 310, de los cuales eligió 30 a mano. Todo funciona en local con Python, sin colas ni bases de datos. yt-dlp descarga los subtítulos, que se dividen en bloques de aproximadamente un minuto con marcas de tiempo. Los bloques, junto con los comentarios de Hacker News, van a Claude Sonnet, que devuelve un JSON: quién habla, tres ideas principales, una cita, un veredicto. Después el código verifica las afirmaciones del modelo y Python genera páginas estáticas para nginx.

Qué verificó el código y qué no pudo

La regla principal: el modelo no puede limitarse a afirmar que el entrevistado dijo algo. El código busca la cita en inglés en la transcripción. Si coincide carácter por carácter, el estado es «exacta». Si encuentra un fragmento muy parecido (ratio no inferior a 0,85), «casi». Si no encuentra nada, el modelo tiene un segundo intento y después la cita simplemente no se muestra. De 30 citas, 26 coincidieron exactamente y 4 casi; no hubo que descartar ninguna. Los marcadores de tiempo funcionan igual: solo se acepta el número de un bloque que realmente exista en la transcripción.

Pero el resto del texto no se puede comprobar así, y en la revisión manual aparecieron tres tipos de problemas.

Primero: un hecho inventado. El modelo atribuyó a Chris Sacca una bancarrota personal, aunque en la transcripción dice lo contrario: rechazó la bancarrota y pagó la deuda él mismo. Las palabras «deuda», «millones» y «responsabilidad» aparecían juntas, y el modelo remató la historia como suelen acabar esas historias.

Segundo: el tiempo. La conversación de Karpathy con Lex Fridman se describió como publicada «cuando ChatGPT acababa de aparecer», aunque el vídeo se subió el 29 de octubre de 2022, un mes antes de su lanzamiento.

Tercero, y el más frecuente: superlativos vistosos e inverificables como «la única entrevista larga» o «no está documentado en ningún otro lugar». Al menos cinco en 30 fichas. La conclusión del autor merece recordarse: hay que sospechar no de las historias raras, sino de las generalizaciones pulidas. La historia del ordenador de ajedrez confiscado a Ken Thompson sonaba descabellada, pero resultó ser cierta.

El modelo no sabe decir «no la veas»

Cada ficha tiene un veredicto: ver completo, ver un fragmento o basta con la ficha. En la primera pasada el modelo dio 0 «completo», 25 «fragmento» y 5 «basta con la ficha», y los cinco fueron para vídeos de menos de cinco minutos. Tras endurecer el prompt (fragmento de no más de 25 minutos, «basta» para aproximadamente uno de cada tres vídeos, regeneración si se incumple) empeoró: «basta con la ficha» desapareció por completo y los fragmentos de una hora sobrevivieron a la repetición. Los cuatro veredictos «basta» finales los puso una persona: a Gates, Hinton, Hotz y Sacca. El autor reconoce con honestidad que nadie volvió a ver los vídeos completos.

Cuánto cuesta

Con razonamiento, el modelo gasta entre 10 000 y 20 000 tokens de salida y de 2 a 5 minutos por ficha, aunque solo se comprobaron unas pocas fichas. Sin razonamiento, una ficha cuesta unos mil tokens y 20 segundos. Una pasada por los 30 vídeos en tres hilos lleva unos 5 minutos y unos 640 000 tokens de entrada. El autor eligió el segundo modo más revisión manual.

Qué conclusiones sacar

Si construye un pipeline similar, divida la salida del modelo en lo verificable y lo no verificable. Para lo primero, escriba comprobaciones deterministas: búsqueda de citas, validación de índices y rangos. Para lo segundo, incorpore a una persona y busque aparte palabras como «único», «por primera vez» o «en ningún otro lugar». Las decisiones que conllevan riesgo de reproche, como «esto no merece su tiempo», es mejor no delegarlas en el modelo: las esquivará con suavidad por mucho que ajuste el prompt.

Otra conclusión colateral: el sesgo de los datos de origen se hereda. El ranking de Karpathy premia los consejos repetidos durante años, por eso el vídeo más reciente tiene tres años y casi la mitad tienen diez o más. Para los clásicos no es un problema, pero para temas actuales hace falta otra selección.