Anthropic abre una ventana al pensamiento de Claude: la herramienta Jacobian lens detecta conceptos ocultos
Anthropic ha presentado Jacobian lens, una herramienta de interpretabilidad que abre la caja negra de los LLM. Muestra qué conceptos se activan en las capas intermedias de Claude al responder una pregunta. Los hallazgos van de lo mundano a lo inusual: el modelo crea representaciones ocultas de ideas que no aparecen en su salida habitual. Es una primera mirada, todavía ingenua, a cómo "piensan" los LLM.
Procesado por IA desde MIT Technology Review; editado por Hamidun News
Anthropic ha desarrollado una técnica llamada Jacobian lens (lente de Jacobi), que ofrece la visión más clara hasta ahora de lo que ocurre dentro de Claude cuando responde preguntas o ejecuta tareas.
Qué encuentra
Cuando Claude responde una pregunta, Jacobian lens muestra la activación en las capas intermedias. Los resultados van de lo cotidiano (la activación de una capa asociada a los números al resolver un problema de matemáticas) a lo inusual (conceptos ocultos que no aparecen en la salida explícita).
Cómo funciona
En lugar de examinar a ciegas los pesos y las activaciones, la herramienta usa la matemática del jacobiano (una matriz de derivadas) para rastrear cómo los cambios en la entrada afectan a las representaciones intermedias. Esto permite:
- Ver qué conceptos abstractos activa el modelo
- Seguir el camino de la lógica desde la entrada hasta la salida
- Entender qué cadenas de razonamiento erróneas llevan a respuestas incorrectas
Qué significa para la seguridad
Descubrir conceptos ocultos es importante para la seguridad de la IA: si vemos que un modelo activa conceptos peligrosos, aunque la respuesta final sea segura, podemos corregirlo.
- 1 nov 2026OpenAI reescribe las reglas de comportamiento de GPT: cinco valores y una cadena de prioridades
- 1 nov 2026Google admite que AI Mode reduce los ingresos de su buscador: las acciones caen un 15%
- 31 oct 2026Un autor sometió su guion a un jurado de IA: el veredicto costó 850.000 tokens
- 31 oct 2026Anthropic: unificar subagentes en un solo bucle duplicó la velocidad de las tareas de un cliente
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué encuentra?
Cuando Claude responde una pregunta, Jacobian lens muestra la activación en las capas intermedias. Los resultados van de lo cotidiano (la activación de una capa asociada a los números al resolver un problema de matemáticas) a lo inusual (conceptos ocultos que no aparecen en la salida explícita).
Cómo funciona?
En lugar de examinar a ciegas los pesos y las activaciones, la herramienta usa la matemática del jacobiano (una matriz de derivadas) para rastrear cómo los cambios en la entrada afectan a las representaciones intermedias. Esto permite: Ver qué conceptos abstractos activa el modelo Seguir el camino de la lógica desde la entrada hasta la salida Entender qué cadenas de razonamiento erróneas llevan a respuestas incorrectas
¿Qué se sabe sobre Qué significa para la seguridad?
Descubrir conceptos ocultos es importante para la seguridad de la IA: si vemos que un modelo activa conceptos peligrosos, aunque la respuesta final sea segura, podemos corregirlo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.