L'IA chez Finam : survivre au passage de GPT-3.5 à un pipeline d'entreprise

Beaucoup croient encore sincèrement que déployer l'intelligence artificielle dans une grande entreprise revient à acheter un abonnement ChatGPT Plus pour chaque service. En réalité, Finam a constaté que l'enthousiasme de quelques individus se brise vite sur la dure réalité de l'entreprise. Quand votre prototype Flutter tourne chez un seul développeur, c'est de la magie et une percée technologique.

Quand il faut donner la même technologie à mille salariés d'un établissement financier, la magie se change en une série sans fin de problèmes de sécurité, de coût des requêtes et de qualité des réponses. L'histoire de Finam est instructive justement parce que l'entreprise n'a pas eu peur de passer du « jouet » à une solution industrielle, en marchant sur tous les râteaux possibles.

Tout a commencé par une expérience classique avec GPT-3.5. À l'époque, il semblait suffisant de donner accès à l'API pour que la productivité s'envole.

Mais le secteur financier n'est pas un bac à sable. Le premier examen sérieux a montré que l'usage non contrôlé de réseaux de neurones externes comporte des risques de fuite de données confidentielles et des dépenses imprévisibles. On ne peut pas simplement envoyer les données d'un client dans le cloud d'OpenAI en espérant que tout se passe bien.

L'équipe a dû développer en urgence une plateforme interne faisant office de « couche intermédiaire » entre le salarié et le réseau de neurones. Cette couche a pris en charge le contrôle des accès, la journalisation de chaque requête et une limitation stricte des tokens, afin que le budget IA ne soit pas épuisé dès la première semaine du mois.

L'étape suivante a été la lutte contre les « hallucinations ». Les réseaux de neurones sont d'excellents conteurs, mais en finance, le mensonge coûte trop cher. Pour que l'IA dise la vérité, Finam a adopté le RAG (Retrieval-Augmented Generation).

Désormais, le modèle n'invente plus une réponse de tête : il cherche d'abord l'information dans la base des règlements et documents internes de l'entreprise, puis élabore sa réponse à partir des faits trouvés. Le chatbot abstrait est devenu un expert qui connaît les subtilités des processus internes. En parallèle, des expériences avec des modèles locaux ont commencé.

Faire tourner Llama ou d'autres solutions open source sur ses propres machines répondait aux exigences de sécurité : les données les plus sensibles ne doivent en aucun cas quitter le périmètre interne de l'entreprise.

Le passage à plus de 1000 personnes a obligé à repenser entièrement l'architecture. Il s'est avéré que maintenir un service d'IA stable sous forte charge est une discipline d'ingénierie à part entière. Il a fallu bâtir des systèmes de supervision complexes, qui suivent non seulement la disponibilité des serveurs, mais aussi la qualité des réponses en temps réel. Chez Finam, on a compris que la technologie ne représente que 20 % du succès. Les 80 % restants, c'est un travail minutieux sur l'infrastructure, la formation des salariés à bien formuler leurs requêtes et l'adaptation permanente aux exigences changeantes des régulateurs. L'ironie, c'est que plus l'IA devient intelligente, plus il faut d'ingénieurs qualifiés pour la maintenir.

Aujourd'hui, la plateforme de Finam n'est plus un simple chat, mais un véritable hub où cohabitent API externes, modèles locaux et agents spécialisés pour différents départements. C'est un chemin de compromis entre vitesse de réponse, prix d'un token et sécurité des données. L'entreprise a montré clairement que l'ère des « simples chatbots » est révolue, remplacée par celle des écosystèmes d'IA d'entreprise. Ceux qui cherchent aujourd'hui à « brancher une API » se heurteront demain aux mêmes défis de passage à l'échelle que Finam a déjà surmontés. Reste à savoir si les autres auront la patience de transformer une tendance à la mode en outil qui fonctionne.

L'essentiel : Adopter l'IA en entreprise, c'est à 80 % construire une infrastructure et seulement à 20 % choisir le modèle. Êtes-vous prêt à payer le double, en heures d'ingénierie, pour la sécurité de vos données ?