Vários LLMs em um mesmo chat do Telegram: como combinar Groq e Google AI

Um desenvolvedor do Habr criou um bot de Telegram divertido em que vários LLMs trabalham simultaneamente em um único chat e cada um finge ser funcionário de uma corporação. A ideia surgiu como piada para um encontro com amigos, mas logo virou um caso técnico interessante sobre integração de vários modelos usando apenas APIs gratuitas.

Como enfiar modelos diferentes em um só chat

A ideia original era simples e divertida: criar um chat em que várias redes neurais "trabalham" ao mesmo tempo, achando que são funcionários reais de uma corporação. Cada modelo recebe seu próprio papel e sua própria história, e o usuário pode alternar entre eles a qualquer momento, fazendo a mesma pergunta a LLMs diferentes. Não é apenas um teste em paralelo: é uma tentativa de fazer as redes aprenderem e manterem suas personas dentro de um único diálogo.

Onde conseguir API sem gastar

A primeira tarefa prática era banal, mas crítica: encontrar um conjunto de ferramentas com limites gratuitos razoáveis. O desenvolvedor pesquisou e ficou com três opções principais:

• Groq — para Llama, com velocidade de inferência recorde
• Google AI Studio — para Gemma e Gemini, com planos gratuitos decentes
• Requisições HTTP simples para conectar os componentes

Na etapa inicial, o código ficou relativamente simples: escolher o modelo pelo comando do usuário, redirecionar a requisição para a API certa e inserir a resposta no contexto comum do chat. A lógica era mínima; a dificuldade estava em gerenciar ao mesmo tempo o estado e o contexto de cada modelo.

Quando o modelo esquece quem é

Logo apareceu um problema curioso, mas teimoso: ao alternar entre modelos, um deles não queria passar a vez e simplesmente fingia ser outro, perdendo totalmente a própria identidade. O desenvolvedor resolveu a maior parte do problema com um prompt de sistema bem elaborado, que "lembra" explicitamente a cada modelo quem ele deve ser naquele diálogo.

Mesmo assim, não foi possível eliminar o bug por completo. Os modelos ainda se confundem às vezes com seus papéis, principalmente em diálogos longos com muitas interações. Segundo o desenvolvedor, trata-se de uma limitação fundamental dos próprios LLMs: eles geram texto bem e copiam estilo, mas frequentemente perdem o contexto de identidade quando o foco de atenção muda.

O que isso significa

O caso mostra que é possível montar uma interface multimodelo até com APIs gratuitas, desde que se trabalhe bem a arquitetura e o prompting. Confiabilidade total no gerenciamento de contexto e identidade ainda não é alcançável, mas para experimentos, prototipagem e aprendizado é mais do que suficiente.