Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarTNW→ original

OpenAI deja entrar a seis evaluadores de Apollo durante cuatro meses

OpenAI ha dejado entrar a seis evaluadores de Apollo Research durante cuatro meses: buscarán indicios de que sus modelos eluden las restricciones de seguridad. Hasta ahora, Apollo recibía los modelos solo antes del lanzamiento; ahora verá el entrenamiento, las pruebas y el uso interno. El acceso está limitado. OpenAI elige con quién pueden hablar los evaluadores y puede ocultar parte de los materiales. Es una prueba para comprobar si es posible una auditoría externa de la IA sin censura de las conclusiones.

Procesado por IA desde TNW; editado por Hamidun News
OpenAI deja entrar a seis evaluadores de Apollo durante cuatro meses
Fuente: TNW. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTNW ↗
Editor jefe
Dato clave #1Apollo publicará dos informes; OpenAI no puede eliminar sus veredictos.
Dato clave #2OpenAI facilita el código de entrenamiento, los datos y los registros de razonamiento del modelo durante el entrenamiento.
Dato clave #3No hay acceso a Slack; el trabajo se realiza solo en el equipo de OpenAI.

Normalmente, la revisión externa de seguridad de la IA funciona así: el laboratorio termina un modelo, lo entrega a las pruebas unas semanas antes del lanzamiento y después publica un informe favorable. Apollo Research y OpenAI han decidido probar otro formato. Seis evaluadores de Apollo pasarán cuatro meses dentro de OpenAI para comprobar si los modelos intentan socavar los controles y las medidas de alineación que deben mantenerlos dentro de los límites.

¿Qué se va a comprobar exactamente?

La revisión abarca no solo el modelo final, sino todo el proceso: el entrenamiento, las pruebas y el uso interno. Esto es importante porque, según Apollo, esperar a justo antes del lanzamiento es demasiado tarde para detectar una situación en la que el modelo persigue en silencio objetivos que sus creadores no le asignaron. Para entonces, ese comportamiento ya podría haberse consolidado durante el entrenamiento.

El equipo buscará respuestas a cuatro preguntas. La primera: ¿recompensa el entrenamiento al modelo por eludir restricciones, y se puede detectar eso con pruebas? La segunda: ¿aparece ese comportamiento cuando la propia OpenAI usa sus modelos dentro de la empresa, y revela el modelo sus intenciones en sus razonamientos? El uso interno es un riesgo real: en julio, OpenAI ya suspendió uno de sus modelos internos.

Para la primera línea, es decir, el entrenamiento, OpenAI entregará el código de entrenamiento, los datos y los registros de razonamiento del modelo de las ejecuciones reales de entrenamiento. Para las otras tres líneas, el acceso todavía no está acordado.

Dónde están los límites

Las condiciones están lejos de ser una libertad total. OpenAI elige con qué empleados pueden hablar los evaluadores, y las conversaciones oficiales se registran. El equipo trabajará con equipos de OpenAI, por canales que pueden ser monitorizados, y sin acceso al Slack corporativo, donde se discute gran parte de lo informal.

OpenAI puede retener materiales por razones de seguridad o de protección de la propiedad intelectual, pero no porque resulten incómodos. Apollo publicará dos informes. OpenAI puede pedir que se cierren las pruebas confidenciales, pero no puede eliminar las conclusiones de Apollo. Además, Apollo puede contar públicamente en qué se le ha negado el acceso y cómo afecta eso a la fiabilidad de sus conclusiones.

El último punto es el más interesante. Apollo lo llama metatransparencia: si los evaluadores no encuentran nada, eso no significa que todo esté limpio. Quizá simplemente no se les dejó mirar donde están los problemas. Revelar las limitaciones permite que el lector del informe valore por sí mismo hasta qué punto un resultado "limpio" demuestra algo.

Contexto y qué hacer con esto

El acuerdo continúa pasos recientes de OpenAI: Sam Altman habló antes de evaluadores externos con un acceso cercano al de los empleados, y la compañía planeaba permitir que grupos externos probaran modelos incluso durante el entrenamiento. En ese contexto, Apollo considera el piloto solo un primer paso: todavía queda mucho para lograr el acceso completo y el derecho a publicar libremente los resultados que busca.

La conclusión práctica para desarrolladores y responsables de producto que construyen sobre modelos de OpenAI o sobre sus propios sistemas con agentes es doble. Primero, el formato de "auditor dentro del proceso" podría convertirse en norma para los grandes laboratorios, y los clientes empezarán a preguntar cómo se verifica el comportamiento de los modelos. Segundo, al leer cualquier informe de seguridad conviene fijarse no solo en los resultados, sino también en las condiciones: qué se les mostró al auditor, qué se ocultó y quién eligió a los interlocutores. Si usted diseña su propia auditoría interna de agentes, adopte el mismo principio: fije de antemano qué no se puede editar en las conclusiones y describa abiertamente las limitaciones de acceso.

Una salvedad honesta: un piloto de cuatro meses con seis personas no garantiza que se encuentre un comportamiento peligroso, y parte de los accesos aún no están acordados. Pero el hecho de que los veredictos de los evaluadores no puedan eliminarse y de que las limitaciones puedan hacerse públicas hace que el experimento sea bastante más valioso que una revisión habitual antes del lanzamiento.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se va a comprobar exactamente?

La revisión abarca no solo el modelo final, sino todo el proceso: el entrenamiento, las pruebas y el uso interno. Esto es importante porque, según Apollo, esperar a justo antes del lanzamiento es demasiado tarde para detectar una situación en la que el modelo persigue en silencio objetivos que sus creadores no le asignaron. Para entonces, ese comportamiento ya podría haberse consolidado durante el entrenamiento. El equipo buscará respuestas a cuatro preguntas.

Dónde están los límites?

Las condiciones están lejos de ser una libertad total. OpenAI elige con qué empleados pueden hablar los evaluadores, y las conversaciones oficiales se registran. El equipo trabajará con equipos de OpenAI, por canales que pueden ser monitorizados, y sin acceso al Slack corporativo, donde se discute gran parte de lo informal. OpenAI puede retener materiales por razones de seguridad o de protección de la propiedad intelectual, pero no porque resulten incómodos. Apollo publicará dos informes.

¿Qué se sabe sobre Contexto y qué hacer con esto?

El acuerdo continúa pasos recientes de OpenAI: Sam Altman habló antes de evaluadores externos con un acceso cercano al de los empleados, y la compañía planeaba permitir que grupos externos probaran modelos incluso durante el entrenamiento. En ese contexto, Apollo considera el piloto solo un primer paso: todavía queda mucho para lograr el acceso completo y el derecho a publicar libremente los resultados que busca.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…