Varios LLM en un mismo chat de Telegram: cómo combinar Groq y Google AI

Un desarrollador de Habr creó un divertido bot de Telegram en el que varios LLM trabajan a la vez en un solo chat y cada uno finge ser empleado de una corporación. La idea nació como una broma para una reunión con amigos, pero enseguida se convirtió en un caso técnico interesante sobre cómo integrar varios modelos usando únicamente APIs gratuitas.

Cómo meter modelos distintos en un solo chat

El planteamiento original era sencillo y divertido: crear un chat donde varias redes neuronales «trabajan» al mismo tiempo, convencidas de que son empleados reales de una corporación. Cada modelo recibe su propio rol y su propia historia, y el usuario puede alternar entre ellos en cualquier momento, haciendo la misma pregunta a distintos LLM. No es solo una prueba en paralelo: es un intento de que las redes aprendan y mantengan sus personajes dentro de un único diálogo.

Dónde conseguir una API sin pagar

La primera tarea práctica era corriente, pero crítica: encontrar un conjunto de herramientas con límites gratuitos decentes. El desarrollador investigó y se quedó con tres opciones principales:

• Groq — para Llama, con una velocidad de inferencia récord
• Google AI Studio — para Gemma y Gemini, con niveles gratuitos aceptables
• Simples solicitudes HTTP para conectar los componentes

En la fase inicial el código resultó relativamente sencillo: elegir el modelo según el comando del usuario, redirigir la solicitud a la API correspondiente e insertar la respuesta en el contexto común del chat. La lógica era mínima; la dificultad estaba en gestionar a la vez el estado y el contexto de cada modelo.

Cuando el modelo olvida quién es

Pronto apareció un problema curioso pero persistente: al cambiar de modelo, uno de ellos no quería ceder el turno y fingía ser otro, perdiendo por completo su identidad. El desarrollador resolvió buena parte del problema con un prompt de sistema cuidado que «recuerda» explícitamente a cada modelo quién debe ser en ese diálogo.

Sin embargo, no logró eliminar el fallo por completo. Los modelos todavía se confunden a veces con sus roles, sobre todo en diálogos largos de varios turnos. Según el desarrollador, es una limitación fundamental de los propios LLM: generan texto bien y copian el estilo, pero a menudo pierden el contexto de su identidad cuando cambia el foco de atención.

Qué significa

El caso demuestra que se puede montar una interfaz multimodelo incluso con APIs gratuitas, si se trabaja bien la arquitectura y el prompting. La fiabilidad total en la gestión del contexto y la identidad aún no es alcanzable, pero para experimentar, hacer prototipos y aprender es más que suficiente.