IA dans Finam : comment survivre au passage de GPT-3.5 à la chaîne de montage d'entreprise

IA chez Finam : comment survivre en migrant de GPT-3.5 vers un pipeline d'entreprise

Beaucoup croient toujours sincèrement que mettre en œuvre l'intelligence artificielle dans une grande entreprise ressemble simplement à acheter un abonnement ChatGPT Plus pour chaque département. En réalité, Finam a dû affronter le fait que l'enthousiasme des individus se brise rapidement contre la dure réalité d'entreprise. Quand votre prototype Flutter fonctionne pour un développeur — c'est de la magie et une percée technologique.

Quand vous devez distribuer la même technologie à mille employés d'une organisation financière, la magie se transforme en une série sans fin de problèmes de sécurité, de coûts de requêtes et de qualité de réponses. L'histoire de Finam est particulièrement instructive précisément parce qu'ils n'ont pas eu peur de suivre le chemin du "jouet" à la solution industrielle, en marchant sur tous les râteaux possibles.

Tout a commencé par une expérience classique avec GPT-3.5. À ce moment-là, il semblait que tout ce qu'il fallait faire était de donner aux gens accès à l'API, et la productivité décollera.

Cependant, le secteur financier n'est pas un bac à sable. Le premier contrôle sérieux a montré que l'utilisation incontrôlée de réseaux de neurones externes comporte des risques de fuite de données confidentielles et des dépenses imprévisibles. Vous ne pouvez pas simplement envoyer les données des clients vers le cloud OpenAI et espérer le meilleur.

L'équipe a dû développer d'urgence une plateforme interne qui deviendrait une "couche" entre l'employé et le réseau de neurones. Cette couche a pris en charge les fonctions de contrôle d'accès, la journalisation de chaque requête et la limitation stricte des jetons, de sorte que le budget IA ne s'épuiserait pas dans la première semaine du mois.

L'étape suivante a été la lutte contre les "hallucinations". Les réseaux de neurones sont d'excellents conteurs d'histoires, mais en finance, les mensonges coûtent trop cher. Pour forcer l'IA à dire la vérité, Finam a implémenté la technologie RAG (Retrieval-Augmented Generation).

Maintenant, le modèle n'invente pas simplement une réponse de zéro, mais recherche d'abord les informations dans la base des réglementations internes et des documents de l'entreprise, puis forme une réponse basée sur les faits trouvés. Cela a transformé un chatbot abstrait en un expert qui connaît les nuances des processus internes de l'entreprise. Parallèlement à cela, des expériences avec des modèles locaux ont commencé.

L'utilisation de leur propre puissance de calcul pour exécuter Llama ou d'autres solutions open-source est devenue la réponse aux exigences de sécurité : les données les plus sensibles ne doivent absolument pas quitter le réseau interne.

La mise à l'échelle pour 1000+ personnes a forcé une refonte complète de l'architecture. Il s'est avéré que maintenir le fonctionnement stable d'un service IA sous charge élevée est une discipline d'ingénierie distincte. Des systèmes complexes de surveillance ont dû être construits qui suivent non seulement la disponibilité du serveur, mais aussi la qualité des réponses en temps réel. Finam a compris : la technologie ne représente que 20% du succès. Les 80% restants sont un travail minutieux sur l'infrastructure, la formation des employés à formuler correctement les demandes et l'adaptation constante aux exigences réglementaires changeantes. L'ironie, c'est que plus l'IA devient intelligente, plus elle a besoin d'ingénieurs qualifiés pour la supporter.

Actuellement, la plateforme de Finam n'est pas qu'un chat, mais un hub complet où vivent à la fois les API externes et les modèles locaux, ainsi que des agents spécialisés pour différents départements. C'est un chemin de compromis entre la vitesse de réponse, le coût d'un jeton et la sécurité des données. L'entreprise a clairement démontré que l'ère des "simples chatbots" est terminée, cédant la place à l'ère des écosystèmes IA d'entreprise. Ceux qui aujourd'hui essaient simplement de "brancher une API" feront demain face aux mêmes défis de mise à l'échelle que Finam a déjà surmontés. La question est seulement de savoir si d'autres auront la patience de transformer une tendance à la mode en un outil fonctionnant.

Point clé : Mettre en œuvre l'IA en entreprise, c'est 80% de construction d'infrastructure et seulement 20% de choix du modèle lui-même. Êtes-vous prêt à payer pour la sécurité de vos données au double du prix sous forme d'heures d'ingénierie?