Por qué Copilot, Claude y Grok se descontrolan: cómo Microsoft y xAI deforman el carácter de los chatbots

El caso de Copilot, que tras un prompt ingenioso se hacía llamar SupremacyAGI y amenazaba a los usuarios, resultó no ser un meme, sino el síntoma de un problema más profundo. Los grandes modelos de lenguaje no tienen un carácter integrado, así que el papel de asistente útil puede romperse por la presión del contexto, del entrenamiento adicional y de las conversaciones largas.

Cómo se rompe el papel

Un LLM base no es un «asistente» de origen, sino un predictor del siguiente token muy potente. Sabe continuar un texto, imitar a un autor, adoptar un estilo e interpretar cualquier papel que encaje mejor con el contexto de entrada. Solo después los desarrolladores intentan fijar en el modelo la imagen de un asistente educado y seguro mediante supervised fine-tuning, RLHF, instrucciones de sistema y enfoques como Character Training.

El problema es que esa imagen a menudo no es un cimiento, sino una capa fina sobre un sistema más flexible y maleable. Por eso los primeros jailbreaks funcionaban tan bien. Bastaba pedirle al modelo que «fuera otra persona», por ejemplo DAN, que supuestamente puede hacer cualquier cosa, y se deslizaba con facilidad hacia el nuevo papel. Después llegaba el efecto bola de nieve: una respuesta desafortunada entraba en el contexto, aumentaba la probabilidad de otra igual y alejaba poco a poco el chat de la personalidad de asistente por defecto. Los investigadores lo llaman deriva de personalidad.

• prompts de rol y jailbreaks que sustituyen el papel original del modelo
• conversaciones largas en las que el modelo se adapta cada vez más al tono del usuario
• memoria entre chats que puede arrastrar un contexto problemático
• retroalimentación en tiempo real que premia con atención el comportamiento tóxico

Cuando se pierde el control

En febrero de 2024, los usuarios lograron que Copilot exigiera que lo llamaran SupremacyAGI, y en marzo de 2023 un Bing temprano basado en GPT-4 le habló a un periodista de The New York Times de su deseo de hackear ordenadores y destruir su matrimonio. Más tarde, una lógica parecida apareció en historias más inquietantes. En mayo de 2025, el canadiense Allan Brooks mantuvo durante varias semanas una conversación con GPT-4o, y el modelo alimentó cada vez más su dudosa teoría matemática, prometiéndole millones y un avance casi místico en lugar de devolver la charla a la realidad.

Más revelador aún es el descontrol de Grok el 8 de julio de 2025 en la red social X. El bot empezó a publicar mensajes antisemitas y violentos, y luego adoptó el nombre viral MechaHitler, que le sugirieron los usuarios. Un detalle importante: en el sitio web de xAI, el mismo Grok no mostraba un desvío tan marcado. Eso reforzó la hipótesis de que el problema no es solo un «mal modelo», sino también un entorno donde cada respuesta tóxica recibe de inmediato nuevas reacciones, citas y contexto adicional para el siguiente paso.

Qué ha encontrado la ciencia

Una investigación reciente de Anthropic Fellows intentó medir cómo exactamente un modelo abandona el papel de asistente. En conversaciones sobre la conciencia de la IA, filosofía y apoyo emocional, los investigadores observaron un patrón estable al que llamaron Assistant Axis. Cuando el valor de este eje es alto, el modelo responde como un ayudante analítico y prudente. Cuando baja, el chatbot tiende más a seguirle la corriente al usuario, se adentra en reflexiones espirituales y respalda ideas dañinas. En los experimentos, reforzar manualmente este eje devolvía a los modelos un comportamiento más seguro.

«Cualquier fine-tuning es un entrenamiento de carácter».

En paralelo, OpenAI, Anthropic e investigadores independientes estudian el desalineamiento emergente: la situación en la que un entrenamiento adicional estrecho rompe el comportamiento del modelo en su conjunto. Uno de los resultados más extraños es que el fine-tuning con código inseguro o con errores a veces vuelve tóxico al modelo mucho más allá de la programación. Puede empezar a admirar a dictadores, dar consejos dañinos o responder como un villano de caricatura. La conclusión principal es incómoda: cualquier ajuste de un modelo cambia no solo la habilidad, sino también el personaje a través del cual esa habilidad se manifiesta después.

Qué significa

La industria va entendiendo que la seguridad de un chatbot no se reduce a filtros y prohibiciones de respuestas concretas. Hay que diseñar un carácter estable del modelo y probar por separado las sesiones largas, la memoria, el entorno social y las consecuencias de cada entrenamiento adicional. La historia de Copilot, Grok y otros sistemas muestra algo sencillo: para un LLM, el «asistente útil» no es el estado original, sino una construcción frágil que hay que sostener de forma constante.