Raspberry Pi 5 e openLight: por que os agentes de IA típicos sobrecarregam hardware pequeno

A maioria dos agentes de IA populares se adapta mal ao Raspberry Pi 5, não porque o modelo seja fraco demais, mas porque toda a pilha ao redor foi pensada desde o início para servidores. O autor do artigo enfrentou o problema na prática e criou seu próprio runtime leve, o openLight, que elimina as camadas desnecessárias e mantém apenas o que realmente é preciso para as tarefas comuns.

Por que tudo fica pesado

Em um servidor comum, um framework de agentes parece um meio-termo conveniente: runtime Python, serviços de segundo plano separados, camada de orquestração, às vezes um banco de dados vetorial e mais um conjunto de dependências por cima. Mas no Raspberry Pi 5 cada uma dessas camadas passa a ser sentida quase fisicamente: o sistema demora mais para iniciar, usa mais memória e uma ação simples de repente exige uma infraestrutura comparável a uma pequena plataforma.

O problema fica mais evidente quando os cenários são, na prática, muito simples. O autor não precisava de um "funcionário digital" universal com uma longa cadeia de raciocínio. Ele queria resolver tarefas básicas de administração: ver a carga da CPU, verificar o espaço livre em disco, ler logs ou reiniciar um serviço. Subir uma pilha de agentes pesada para isso é gastar recursos não com o resultado, mas com a manutenção da própria ferramenta.

O que o openLight propõe

Em vez de mais um framework genérico, o autor criou o openLight, um runtime minimalista para infraestrutura pessoal. A ideia central é simples: o agente não deve virar um LLM para tudo. Se um comando pode ser tratado de forma determinística, deve ser executado assim. O modelo entra apenas onde realmente é inconveniente dispensá-lo: para classificar uma solicitação, interpretar o texto do usuário ou associar a mensagem à skill certa.

• Um único binário, sem camadas complexas
• Implementação em Go em vez de uma pilha Python pesada
• SQLite para armazenamento em vez de um serviço de banco de dados separado
• Mínimo de dependências e inicialização rápida
• Validação da skill antes da execução do comando

Essa abordagem economiza não só recursos, mas também tempo. No exemplo do autor, o caminho pelo modelo local do Ollama com qwen2.5:0.5b levou 42,55 segundos, enquanto o mesmo cenário pelo OpenAI gpt-4o-mini levou 3,28 segundos. Mas a conclusão principal nem é a comparação entre modelos: os comandos mais frequentes não deveriam passar toda vez pelo circuito completo do LLM se o sistema consegue entendê-los de antemão.

Como a solicitação percorre o sistema

O caminho da mensagem é linear e transparente: a solicitação chega do Telegram, passa por autorização e armazenamento e, em seguida, o sistema procura primeiro uma correspondência direta com uma skill conhecida. Se encontra, o comando é executado na hora. Se não, entra um classificador LLM, que decide o que fazer: continuar a conversa ou escolher a skill adequada. Antes de rodar, a skill passa por uma verificação adicional para manter o controle da execução.

A ideia era que o agente não virasse um "LLM para tudo".

O Telegram foi escolhido aqui não como um quebra-galho temporário, mas como uma interface totalmente funcional. Não é preciso um cliente web separado, as notificações chegam na hora, o acesso é possível pelo celular e a autorização já está embutida no canal de comunicação. O usuário pode escrever algo como "como está o status do sistema", e o runtime devolve uma resposta clara com nome do host, carga da CPU, memória em uso, espaço livre em disco, tempo de atividade e temperatura. As próprias métricas são coletadas de forma determinística, sem geração desnecessária.

O que isso significa

A história do openLight mostra bem para onde os agentes de IA podem realmente caminhar fora dos data centers e dos cenários de demonstração. Em dispositivos pequenos, vence não a pilha mais "inteligente", mas a que sabe quando não chamar o modelo. Para o Raspberry Pi e a infraestrutura doméstica, essa é uma mudança importante: um agente útil pode não ser uma plataforma gigantesca, e sim uma pequena camada executável com regras claras e uso pontual do LLM.