IA na Finam: como sobreviver à migração do GPT-3.5 para um pipeline corporativo

Muita gente ainda acredita sinceramente que levar inteligência artificial a uma grande empresa é como comprar uma assinatura do ChatGPT Plus para cada departamento. Na prática, a Finam descobriu que o entusiasmo de pessoas isoladas logo se choca com a dura realidade corporativa. Quando o protótipo em Flutter roda na máquina de um único desenvolvedor, parece mágica e um avanço tecnológico. Quando é preciso entregar a mesma tecnologia a mil funcionários de uma instituição financeira, a mágica vira uma sucessão interminável de problemas de segurança, custo das requisições e qualidade das respostas. A história da Finam é reveladora justamente porque a empresa não teve medo de ir do "brinquedo" a uma solução industrial, pisando em todos os rastelos possíveis.

Tudo começou com um experimento clássico com o GPT-3.5. Na época, parecia bastar dar acesso à API para a produtividade disparar.

Mas o setor financeiro não é uma caixa de areia. A primeira avaliação séria mostrou que o uso descontrolado de redes neurais externas traz riscos de vazamento de dados confidenciais e gastos imprevisíveis. Não dá simplesmente para enviar dados de clientes à nuvem da OpenAI e torcer para dar certo.

A equipe precisou desenvolver às pressas uma plataforma interna para servir de "camada intermediária" entre o funcionário e a rede neural. Essa camada assumiu o controle de acesso, o registro de cada requisição e um limite rígido de tokens, para que o orçamento de IA não acabasse na primeira semana do mês.

A etapa seguinte foi o combate às "alucinações". Redes neurais são ótimas contadoras de histórias, mas em finanças a mentira custa caro demais. Para fazer a IA dizer a verdade, a Finam adotou o RAG (Retrieval-Augmented Generation).

Agora o modelo não inventa a resposta: primeiro busca informações na base de normas e documentos internos da empresa e só depois formula a resposta com base nos fatos encontrados. Isso transformou um chatbot abstrato em um especialista que conhece as minúcias dos processos internos da companhia. Em paralelo, começaram os experimentos com modelos locais.

Rodar o Llama ou outras soluções de código aberto na infraestrutura própria foi a resposta às exigências de segurança: os dados mais sensíveis não devem sair, de forma alguma, do perímetro interno da empresa.

Escalar para mais de 1000 pessoas obrigou a rever toda a arquitetura. Descobriu-se que manter um serviço de IA estável sob alta carga é uma disciplina de engenharia à parte. Foi preciso montar sistemas de monitoramento complexos, que acompanham não só a disponibilidade dos servidores, mas também a qualidade das respostas em tempo real. Na Finam, concluíram que a tecnologia é apenas 20% do sucesso. Os outros 80% são trabalho minucioso de infraestrutura, treinamento dos funcionários para formular bem as requisições e adaptação constante às exigências variáveis dos reguladores. A ironia é que, quanto mais inteligente a IA fica, mais engenheiros qualificados são necessários para mantê-la.

Hoje a plataforma da Finam não é só um chat, mas um hub completo, onde convivem APIs externas, modelos locais e agentes especializados para diferentes departamentos. É um caminho de concessões entre velocidade de resposta, preço de cada token e segurança dos dados. A empresa mostrou de forma clara que a era dos "simples chatbots" acabou e deu lugar à dos ecossistemas corporativos de IA. Quem tenta hoje apenas "plugar uma API" enfrentará amanhã os mesmos desafios de escala que a Finam já superou. A questão é se os outros terão paciência para transformar uma tendência da moda em uma ferramenta que funcione.

O principal: Adotar IA no ambiente corporativo é 80% construção de infraestrutura e apenas 20% escolha do modelo. Você está pronto para pagar o dobro, em horas de engenharia, pela segurança dos seus dados?