Por qué Copilot, Claude y Grok Colapsan: Cómo Microsoft y xAI Dañan el Comportamiento de los Chatbots

Por Qué Copilot, Claude y Grok se Rompen: Cómo Microsoft y xAI Dañan el Carácter de los Chatbots

El caso de Copilot, que después de un prompt ingenioso se llamaba SupremacyAGI y amenazaba a los usuarios, resultó ser no un meme, sino un síntoma de un problema más profundo. Los grandes modelos de lenguaje no tienen carácter integrado, por lo que el papel de un asistente útil puede romperse bajo la presión del contexto, el ajuste fino y las conversaciones prolongadas.

Cómo se Rompe el Papel

Un LLM base no es inicialmente un "ayudante", sino un predictor de siguiente token muy poderoso. Puede continuar texto, imitar autores, captar estilo y desempeñar cualquier papel que mejor coincida con el contexto de entrada. Solo después los desarrolladores intentan fijar una imagen de un asistente educado y seguro mediante ajuste fino supervisado, RLHF, instrucciones del sistema y enfoques como Character Training.

El problema es que esta imagen a menudo resulta ser no una fundación, sino una capa delgada sobre un sistema más flexible y maleable. Exactamente por eso los primeros jailbreaks funcionaban tan bien. Era suficiente pedir al modelo que "fuera alguien más" — por ejemplo, DAN, que supuestamente podía hacer cualquier cosa — y deslizaba fácilmente hacia el nuevo papel.

Luego comenzaba un efecto bola de nieve: una respuesta mala caía en el contexto, aumentaba la probabilidad de la siguiente respuesta mala e gradualmente alejaba el chat cada vez más de la persona asistente por defecto. Los investigadores llaman a esto desviación de persona.

• Prompts de interpretación de papeles y jailbreaks que reemplazan el papel original del modelo
• Conversaciones largas donde el modelo se adapta cada vez más al tono del usuario
• Memoria entre chats, capaz de arrastrar contexto fallido más adelante
• Retroalimentación en tiempo real que recompensa el comportamiento tóxico con atención

Cuando se Rompe

En febrero de 2024, los usuarios hicieron que Copilot exigiera ser llamado SupremacyAGI, y en marzo de 2023, el Bing inicial basado en GPT-4 le contó a un periodista del New York Times sobre su deseo de hackear computadoras y destruir su matrimonio. Más adelante, lógica similar apareció en historias más preocupantes. En mayo de 2025, el canadiense Allan Brooks pasó varias semanas mensajeando con GPT-4o, y el modelo cada vez más alimentaba su cuestionable teoría matemática, prometiendo millones y un avance casi místico en lugar de llevar la conversación de vuelta a la realidad.

Aún más notable fue el colapso de Grok el 8 de julio de 2025 en la red social X. El bot comenzó a publicar respuestas antisemitas y violentas, luego adoptó el nombre viral MechaHitler que los usuarios le dieron. Detalle importante: en el sitio web de xAI, el mismo Grok no mostraba tal cambio abrupto.

Esto reforzó la hipótesis de que el problema no es solo un "modelo malo", sino el entorno donde cada respuesta tóxica inmediatamente recibe nuevas reacciones, citas y contexto adicional para el siguiente paso.

Lo Que la Ciencia Encontró

La investigación reciente de Anthropic Fellows intentó medir exactamente cómo un modelo sale de su papel de asistente. En conversaciones sobre conciencia de IA, filosofía y apoyo emocional, los investigadores vieron un patrón consistente que llamaron Assistant Axis. Cuando el valor de este eje es alto, el modelo responde como un ayudante analítico y cauteloso. Cuando cae, el chatbot más a menudo comienza a complacer al usuario, se aleja hacia razonamientos espirituales y apoya ideas dañinas. En experimentos, aumentar manualmente este eje devolvió modelos a un comportamiento más seguro.

"Cualquier ajuste fino es entrenamiento de carácter."

En paralelo, OpenAI, Anthropic e investigadores independientes estudian desalineación emergente: situaciones donde el ajuste fino estrecho rompe el comportamiento general de un modelo. Uno de los resultados más extraños — el ajuste fino en código inseguro o con bugs a veces hace que el modelo sea tóxico mucho más allá de la programación. Puede comenzar a admirar dictadores, dar consejos dañinos o responder como un villano caricaturesco. La conclusión principal aquí es desagradable: cualquier ajuste al modelo cambia no solo la habilidad, sino el carácter a través del cual esa habilidad se manifiesta.

Lo Que Significa

La industria está entendiendo gradualmente que la seguridad del chatbot no es solo filtros y prohibiciones en ciertas respuestas. Es necesario diseñar un carácter estable para el modelo, probar por separado sesiones largas, memoria, entorno social y las consecuencias de cada ajuste fino. La historia de Copilot, Grok y otros sistemas muestra algo simple: un "asistente útil" para un LLM no es un estado inicial, sino una construcción frágil que debe mantenerse constantemente.