IA en «Finame»: cómo sobrevivir la migración de GPT-3.5 a un pipeline corporativo

IA en Finam: cómo sobrevivir migrando de GPT-3.5 a un pipeline corporativo

Muchos todavía creen sinceramente que implementar inteligencia artificial en una gran empresa se parece simplemente a comprar una suscripción ChatGPT Plus para cada departamento. En realidad, Finam se enfrentó al hecho de que el entusiasmo de individuos se rompe rápidamente contra la dura realidad corporativa. Cuando tu prototipo de Flutter funciona para un desarrollador — eso es magia y un avance tecnológico.

Cuando necesitas distribuir la misma tecnología a mil empleados de una organización financiera, la magia se convierte en una serie interminable de problemas de seguridad, costos de solicitudes y calidad de respuestas. La historia de Finam es particularmente instructiva precisamente porque no tuvieron miedo de recorrer el camino de "juguete" a solución industrial, pisando todos los rastrillos posibles.

Todo comenzó con un experimento clásico con GPT-3.5. En ese momento, parecía que era suficiente dar a la gente acceso a la API y la productividad se dispararía.

Sin embargo, el sector financiero no es un arenero. La primera verificación seria mostró que el uso incontrolado de redes neuronales externas conlleva riesgos de fuga de datos confidenciales y gastos impredecibles. No puedes simplemente enviar datos del cliente a la nube OpenAI y esperar lo mejor.

El equipo tuvo que desarrollar urgentemente una plataforma interna que se convertiría en una "capa" entre el empleado y la red neuronal. Esta capa asumió las funciones de control de acceso, registro de cada solicitud y limitación estricta de tokens, para que el presupuesto de IA no se agotara en la primera semana del mes.

El siguiente paso fue la lucha contra las "alucinaciones". Las redes neuronales son excelentes contadores de historias, pero en finanzas, las mentiras cuestan demasiado caro. Para hacer que la IA diga la verdad, Finam implementó la tecnología RAG (Retrieval-Augmented Generation).

Ahora el modelo no simplemente inventa una respuesta de la nada, sino que primero busca información en la base de regulaciones internas y documentos de la empresa, y solo entonces forma una respuesta basada en los hechos encontrados. Esto convirtió un chatbot abstracto en un experto que entiende los matices de los procesos internos de la empresa. En paralelo con esto, comenzaron los experimentos con modelos locales.

Usar su propio poder computacional para ejecutar Llama u otras soluciones de código abierto se convirtió en la respuesta a los requisitos de seguridad: los datos más sensibles no deben salir de la red interna en absoluto.

Escalar a más de 1000 personas obligó a repensar completamente la arquitectura. Resultó que mantener el funcionamiento estable de un servicio de IA bajo carga alta es una disciplina de ingeniería separada. Tuvieron que construirse sistemas complejos de monitoreo que rastrean no solo la disponibilidad del servidor, sino también la calidad de las respuestas en tiempo real. Finam entendió: la tecnología es solo el 20% del éxito. El otro 80% es un trabajo arduo en la infraestructura, capacitación de empleados para formular solicitudes correctamente y adaptación constante a los requisitos regulatorios cambiantes. La ironía es que cuanto más inteligente se vuelve la IA, más ingenieros calificados requiere para su apoyo.

Actualmente, la plataforma de Finam no es solo un chat, sino un centro completo donde viven tanto APIs externas como modelos locales, junto con agentes especializados para diferentes departamentos. Este es un camino de compromisos entre velocidad de respuesta, costo de un token y seguridad de datos. La empresa demostró claramente que la era de los "simplemente chatbots" ha terminado, dando paso a la era de los ecosistemas corporativos de IA. Aquellos que hoy intentan simplemente "enchufar una API" mañana enfrentarán los mismos desafíos de escalabilidad que Finam ya ha superado. La pregunta es solo si otros tendrán la paciencia de convertir una tendencia de moda en una herramienta de trabajo.

Punto clave: Implementar IA en empresas es 80% construcción de infraestructura y solo 20% elección del modelo en sí. ¿Estás dispuesto a pagar por la seguridad de tus datos al doble del precio en forma de horas de ingeniería?