En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)

Claude superó a los expertos en la revisión por pares: los editores eligieron a la IA en el 87% de las evaluaciones

Antes de publicar una investigación, hace falta alguien que detecte sus puntos débiles y explique qué corregir. Investigadores de Harvard encargaron esta tarea a Claude y compararon el resultado con revisiones remuneradas de expertos: tres antiguos editores de revistas prefirieron a la IA en 26 de 30 evaluaciones. Para los equipos de producto, es un motivo para probar el modelo como primer lector crítico de sus informes, aunque todavía hay que comprobar si el resultado se traslada a los documentos de trabajo.

Procesado por IA desde TG: @startupoftheday (Стартап дня (Александр Горный)); editado por Hamidun News
Claude superó a los expertos en la revisión por pares: los editores eligieron a la IA en el 87% de las evaluaciones
Fuente: TG: @startupoftheday (Стартап дня (Александр Горный)). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTG: @startupoftheday (Стартап дня (Александр Горный)) ↗
Editor jefe
Dato clave #1Los editores evaluaron los mismos diez pares: la muestra era pequeña.
Dato clave #2En el experimento, Claude mantuvo su ventaja incluso sin búsquedas web.
Dato clave #3Los autores no midieron si los artículos mejoraron tras los comentarios de la IA.

Has preparado un informe sobre un experimento, pero antes de enviarlo a la dirección quieres que alguien plantee preguntas incómodas: dónde las conclusiones van más allá de los datos, qué explicación se ha pasado por alto y qué conviene volver a comprobar. Investigadores de Harvard pusieron a prueba una tarea similar con manuscritos científicos. El resultado invita a probar Claude para una primera revisión crítica de los documentos del equipo. Por ejemplo, pedir al modelo que busque otras explicaciones para el aumento de la conversión antes de declarar ganadora a una nueva interfaz.

Qué compararon en Harvard

Gary King y Stephen Worthington utilizaron 124 manuscritos y 134 revisiones de expertos del servicio rapidPeer. Este servicio ofrece una revisión preliminar antes de enviar un artículo a una revista. Los expertos recibieron una remuneración; el 88% de los 74 autores encuestados valoró muy positivamente los comentarios recibidos. Claude Opus 4.8 elaboró revisiones alternativas a partir de los manuscritos y las instrucciones, tanto con búsquedas web como sin herramientas externas.

Tres antiguos editores de revistas evaluaron a ciegas los mismos diez pares de revisiones. Eligieron a Claude en 26 de 30 evaluaciones, aproximadamente el 87%. Los editores no examinaron los manuscritos. Por separado, un evaluador GPT-5.5 prefirió a la IA en los 132 pares con un ganador definido en la variante con búsquedas; sin búsquedas, la ventaja también se mantuvo. Los autores no midieron la mejora de los artículos tras los comentarios. El trabajo se publicó como documento de trabajo en el sitio web de Harvard.

Aquí el denominador resulta especialmente importante: las treinta evaluaciones de los editores corresponden a diez pares examinados por tres personas. Por tanto, convertir el resultado en la promesa de que «la IA es mejor que cualquier experto en el 87% de las tareas» sería ir demasiado lejos. Es el resultado de una comparación concreta de revisiones.

Cómo aplicar la idea a un informe de producto

Imaginemos un ejemplo hipotético. Un equipo cambia la pantalla de registro y escribe: «La conversión aumentó un 12%; lo lanzamos para todos». El responsable de producto envía al modelo la descripción del experimento, la tabla de resultados y los criterios de decisión. Le pide que enumere los puntos débiles de la conclusión, señale los pasajes del documento que sustentan sus observaciones y proponga comprobaciones.

Una respuesta útil debería plantear preguntas concretas. ¿Se asignó a los usuarios de forma aleatoria? ¿Se observaron ambos grupos durante el mismo tiempo? ¿El aumento del 12% es relativo o se refiere a puntos porcentuales? ¿Llegaron a la nueva versión más usuarios procedentes de otro canal publicitario? Es un ejemplo de la revisión deseada, no un episodio del experimento de Harvard.

Después, un analista comprueba los comentarios. Si la asignación fue aleatoria y consta claramente en el anexo, la objeción del modelo resulta ser un error. Si la composición del tráfico realmente era distinta, el equipo tiene un motivo para reconsiderar la conclusión antes del lanzamiento. El valor de un asistente así puede medirse por los problemas detectados y el tiempo dedicado a comprobarlos.

Un desarrollador puede someter una propuesta de arquitectura a una revisión similar: adjuntar los requisitos, las restricciones y el diagrama, y pedir que se identifiquen escenarios de fallo. Un fundador puede revisar un informe sobre la economía del producto en busca de supuestos ocultos. Cada una de estas aplicaciones requiere su propia evaluación: la comparación de Harvard, por sí sola, no dice nada sobre la calidad de la revisión de tu arquitectura o tu modelo financiero.

Qué comprobar antes de adoptarlo

Un buen punto de partida son varios proyectos terminados en los que ya se conocen los problemas que pasaron inadvertidos. Prepara los documentos tal como los vio el equipo antes de tomar la decisión y solicita una revisión al modelo. Pide a tus compañeros que evalúen los comentarios sin conocer su autoría. Contabiliza por separado los hallazgos confirmados, las objeciones infundadas y el tiempo dedicado a comprobarlos. Una revisión bien escrita puede recibir fácilmente una buena valoración; un error detectado ofrece un criterio más concreto.

Para el trabajo diario, resulta útil un formato de respuesta sencillo: problema, ubicación en el documento, posible consecuencia y método de comprobación. Permite pasar rápidamente de la lectura a la acción. Si el modelo escribe «la metodología no es lo bastante convincente», pídele que señale un supuesto concreto y explique qué resultado obligaría a cambiar la conclusión.

El resultado de Harvard merece atención precisamente como motivo para realizar un experimento así en tu propio equipo. Una primera revisión accesible puede ayudar a detectar antes un punto débil. La decisión de adoptarlo debería tomarse después de probarlo con documentos propios: cuántos comentarios útiles recibiste y cuánto tiempo dedicaste a revisar los demás.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué compararon en Harvard?

Gary King y Stephen Worthington utilizaron 124 manuscritos y 134 revisiones de expertos del servicio rapidPeer. Este servicio ofrece una revisión preliminar antes de enviar un artículo a una revista. Los expertos recibieron una remuneración; el 88% de los 74 autores encuestados valoró muy positivamente los comentarios recibidos. Claude Opus 4.8 elaboró revisiones alternativas a partir de los manuscritos y las instrucciones, tanto con búsquedas web como sin herramientas externas.

Cómo aplicar la idea a un informe de producto?

Imaginemos un ejemplo hipotético. Un equipo cambia la pantalla de registro y escribe: «La conversión aumentó un 12%; lo lanzamos para todos». El responsable de producto envía al modelo la descripción del experimento, la tabla de resultados y los criterios de decisión. Le pide que enumere los puntos débiles de la conclusión, señale los pasajes del documento que sustentan sus observaciones y proponga comprobaciones. Una respuesta útil debería plantear preguntas concretas.

¿Qué se sabe sobre Qué comprobar antes de adoptarlo?

Un buen punto de partida son varios proyectos terminados en los que ya se conocen los problemas que pasaron inadvertidos. Prepara los documentos tal como los vio el equipo antes de tomar la decisión y solicita una revisión al modelo. Pide a tus compañeros que evalúen los comentarios sin conocer su autoría. Contabiliza por separado los hallazgos confirmados, las objeciones infundadas y el tiempo dedicado a comprobarlos.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…