IA en Finam: cómo sobrevivir al salto de GPT-3.5 a un pipeline corporativo

Mucha gente sigue creyendo sinceramente que incorporar inteligencia artificial en una gran empresa consiste en comprar una suscripción a ChatGPT Plus para cada departamento. En realidad, Finam comprobó que el entusiasmo de unos pocos choca enseguida con la dura realidad corporativa. Cuando tu prototipo en Flutter funciona en el equipo de un solo desarrollador, parece magia y un avance tecnológico.

Cuando hay que dar esa misma tecnología a mil empleados de una entidad financiera, la magia se convierte en una cadena interminable de problemas de seguridad, coste de las consultas y calidad de las respuestas. La historia de Finam es ilustrativa precisamente porque no tuvo miedo de pasar del "juguete" a una solución industrial, tropezando con todas las piedras posibles.

Todo empezó con un experimento clásico con GPT-3.5. En aquel momento parecía que bastaba con dar acceso a la API a la gente para que la productividad se disparase.

Pero el sector financiero no es un campo de pruebas. La primera revisión seria mostró que el uso descontrolado de redes neuronales externas conlleva riesgos de fuga de datos confidenciales y gastos impredecibles. No se pueden enviar datos de clientes a la nube de OpenAI y esperar lo mejor.

El equipo tuvo que desarrollar con urgencia una plataforma interna que hiciera de "capa intermedia" entre el empleado y la red neuronal. Esa capa asumió el control de acceso, el registro de cada consulta y un límite estricto de tokens, para que el presupuesto de IA no se agotara en la primera semana del mes.

La siguiente etapa fue la lucha contra las "alucinaciones". Las redes neuronales son excelentes narradoras, pero en finanzas la mentira sale demasiado cara. Para que la IA dijera la verdad, Finam implantó RAG (Retrieval-Augmented Generation).

Ahora el modelo no se inventa la respuesta: primero busca información en la base de reglamentos y documentos internos de la empresa y solo después elabora la respuesta a partir de los hechos encontrados. Así, un chatbot abstracto se convirtió en un experto que conoce los entresijos de los procesos internos de la compañía. En paralelo comenzaron los experimentos con modelos locales.

Ejecutar Llama u otras soluciones de código abierto con recursos propios respondió a los requisitos de seguridad: los datos más sensibles no deben salir en absoluto del perímetro interno de la empresa.

Escalar a más de 1000 personas obligó a replantear por completo la arquitectura. Resultó que mantener estable un servicio de IA con mucha carga es una disciplina de ingeniería aparte. Hubo que construir sistemas de monitorización complejos que vigilan no solo la disponibilidad de los servidores, sino también la calidad de las respuestas en tiempo real. En Finam entendieron que la tecnología es solo el 20 % del éxito. El otro 80 % es un trabajo minucioso de infraestructura, formar a los empleados para que formulen bien sus consultas y adaptarse constantemente a los requisitos cambiantes de los reguladores. La ironía es que cuanto más inteligente es la IA, más ingenieros cualificados hacen falta para mantenerla.

Hoy la plataforma de Finam no es solo un chat, sino un centro completo donde conviven API externas, modelos locales y agentes especializados para distintos departamentos. Es un camino de compromisos entre velocidad de respuesta, precio de cada token y seguridad de los datos. La compañía ha demostrado con claridad que la era de los "simples chatbots" terminó y dio paso a la de los ecosistemas corporativos de IA. Quienes hoy intentan simplemente "acoplar una API" afrontarán mañana los mismos retos de escalado que Finam ya superó. La cuestión es si los demás tendrán la paciencia de convertir una tendencia de moda en una herramienta que funcione.

Lo esencial: Adoptar IA en la empresa es un 80 % construir infraestructura y solo un 20 % elegir el modelo. ¿Está usted dispuesto a pagar el doble, en horas de ingeniería, por la seguridad de sus datos?