IA no "Finam": como sobreviver na migração de GPT-3.5 para o pipeline corporativo

IA na Finam: como sobreviver ao migrar de GPT-3.5 para um pipeline corporativo

Muitos ainda acreditam sinceramente que implementar inteligência artificial em uma grande empresa parece simplesmente comprar uma assinatura ChatGPT Plus para cada departamento. Na realidade, a Finam enfrentou o fato de que o entusiasmo de indivíduos se quebra rapidamente contra a dura realidade corporativa. Quando seu protótipo Flutter funciona para um desenvolvedor — isso é mágica e um avanço tecnológico. Quando você precisa distribuir a mesma tecnologia para mil funcionários de uma organização financeira, a mágica se transforma em uma série infinita de problemas de segurança, custos de solicitações e qualidade de respostas. A história da Finam é particularmente instrutiva precisamente porque não tiveram medo de seguir o caminho de "brinquedo" para solução industrial, pisando em todos os rastelos possíveis.

Tudo começou com um experimento clássico com GPT-3.5. Naquele momento, parecia que era suficiente dar às pessoas acesso à API e a produtividade dispararia.

No entanto, o setor financeiro não é uma caixa de areia. A primeira verificação séria mostrou que o uso descontrolado de redes neurais externas carrega riscos de vazamento de dados confidenciais e despesas imprevistas. Você não pode simplesmente enviar dados do cliente para a nuvem OpenAI e esperar pelo melhor.

O time precisou desenvolver urgentemente uma plataforma interna que se tornaria uma "camada" entre o funcionário e a rede neural. Esta camada assumiu as funções de controle de acesso, registro de cada solicitação e limitação rigorosa de tokens, para que o orçamento de IA não terminasse na primeira semana do mês.

O próximo estágio foi a luta contra as "alucinações". Redes neurais são excelentes contadores de histórias, mas em finanças, mentiras custam muito caro. Para fazer a IA falar a verdade, a Finam implementou a tecnologia RAG (Retrieval-Augmented Generation).

Agora o modelo não apenas inventa uma resposta do zero, mas primeiro procura informações na base de regulamentos internos e documentos da empresa, e só depois forma uma resposta com base nos fatos encontrados. Isso transformou um chatbot abstrato em um especialista que conhece as nuances dos processos internos da empresa. Em paralelo com isso, começaram os experimentos com modelos locais.

Usar seu próprio poder computacional para executar Llama ou outras soluções de código aberto se tornou a resposta aos requisitos de segurança: os dados mais sensíveis não devem sair da rede interna.

Escalar para 1000+ pessoas forçou uma revisão completa da arquitetura. Descobriu-se que manter o funcionamento estável de um serviço de IA sob alta carga é uma disciplina de engenharia separada. Sistemas complexos de monitoramento tiveram que ser construídos que rastreiam não apenas a disponibilidade do servidor, mas também a qualidade das respostas em tempo real. A Finam entendeu: tecnologia é apenas 20% do sucesso. Os outros 80% são trabalho árduo na infraestrutura, treinamento de funcionários para formular solicitações corretamente e adaptação constante aos requisitos regulatórios em mudança. A ironia é que quanto mais inteligente a IA se torna, mais engenheiros qualificados ela requer para suporte.

Atualmente, a plataforma da Finam não é apenas um chat, mas um hub completo onde vivem tanto APIs externas quanto modelos locais, junto com agentes especializados para diferentes departamentos. Este é um caminho de compromissos entre velocidade de resposta, custo de um token e segurança de dados. A empresa demonstrou claramente que a era dos "simplesmente chatbots" terminou, cedendo lugar à era dos ecossistemas corporativos de IA. Aqueles que hoje tentam simplesmente "conectar uma API" enfrentarão amanhã os mesmos desafios de escala que a Finam já superou. A questão é apenas se outros terão paciência para transformar uma tendência moderna em uma ferramenta funcionável.

Ponto-chave: Implementar IA em empresa é 80% construção de infraestrutura e apenas 20% escolha do modelo em si. Você está pronto para pagar pela segurança de seus dados ao dobro do preço na forma de horas de engenharia?