Una sola RTX 3090 basta para el helpdesk de IA de una oficina de 40 personas y se amortiza en 5 meses

Los modelos en la nube son más inteligentes que los locales, y nadie lo discutirá. Pero «más inteligente» no es la única métrica. Las suscripciones se encarecen, los límites del modelo top se agotan en media hora y los datos viajan al proveedor. Para contabilidad, abogados y todo lo que implique datos personales, esto es una restricción operativa, no un riesgo abstracto. En una charla abierta el 6 de noviembre, Sasha Andréyev, director técnico del estudio «Flag» (Flag), mostró cómo es un cálculo sensato: cuándo basta una tarjeta gráfica en el ordenador y cuándo no.

Un agente con herramientas en lugar de un «modelo que lo sabe todo»

El primer caso es una oficina normal, no informática, de 40 personas: 1C, contabilidad, ventas, dirección. El gerente agobia al contable, el contable se ahoga en extractos, el director quiere la lista de morosos «ahora mismo». Cada tarea es sencilla, pero juntas generan un ruido constante.

Andréyev propone no enseñarle todo al modelo, sino darle herramientas: acceso a 1C, Bitrix24, gestión documental electrónica (EDO) y reglamentos internos. El modelo no reinventa el pago de una factura, sino que llama a un script de automatización corriente. Esos scripts se prueban, escalan y no «razonan» por milésima vez con riesgo de equivocarse. El esquema es simple: la solicitud entra en una cola (Bitrix, Planfix, Trello, da igual), el agente la toma y la ejecuta, y el resultado vuelve a la persona.

La misma lógica funciona en su desarrollo. Un bug o una solicitud de un cliente entra en la cola, una Qwen 27B local en modo agente entra en git, hace commit, merge y despliegue. Un modelo en la nube más potente (con más frecuencia Codex) revisa el resultado como revisor. El objetivo es el trabajo terminado, no que la red local gane a la nube.

El límite también está claro. Un modelo local puede invocar un manejador de 1C ya escrito. Lo que no puede es desarrollar una configuración de 1C: el contexto de las sesiones de agente allí es enorme y la nube lo resuelve notablemente mejor.

Las cuentas: tarjeta, tokens y cuantización

En una RTX 3090, Andréyev obtiene unos 150 tokens por segundo. En una oficina de 40 personas suelen ejecutarse a la vez 2–3 consultas; el resto está en cola o almorzando. Un diálogo medio ocupa unos 20 000 tokens y, con acceso a 1C, unos 60 000. El contexto de su configuración llega a 262 000 tokens. Para un helpdesk es suficiente.

La economía es así. Una carga de unas 2000 llamadas por semana en la nube cuesta aproximadamente 296 000 rublos al año en Yandex AI Studio y 267 000 en Cloud.ru (GigaChat). Andréyev compró su 3090 por 75 000. Ahora en Avito estas tarjetas cuestan unos 120 000, y a ese precio la amortización sale en torno a cinco meses. Una salvedad importante: es solo la tarjeta, sin el resto del hardware ni la electricidad, no el coste total de propiedad.

Para que un modelo de 27 000 millones de parámetros quepa en 24 GB de memoria de vídeo, se cuantiza. En 16 bits pesa unos 54 GB; en formato Q4, solo unos 13,5 GB. En los benchmarks la pérdida de calidad es de aproximadamente un punto y medio. Una analogía con el número π: para cálculos cotidianos basta 3,14, pero no se puede redondear a tres, o la calidad se desmorona. También se cuantiza la caché KV, es decir, el «resumen» del contexto. La velocidad depende mucho del motor (llama.cpp, Ollama y kernels especializados), y los benchmarks suelen medirse con contexto vacío. En uso real, con la ventana llena, la velocidad es menor.

Qué hacer en la práctica

El orden que aconseja Andréyev: primero elegir modelo, cuantización y tareas, después ejecutar el mismo modelo en la nube de un proveedor y solo entonces comprar hardware. La vara de medir no es el precio del token ni el de la tarjeta, sino el coste del trabajo completado con éxito. Si la carga es repetible y el modelo la resuelve, el hardware propio se amortiza. Si no, hace falta un híbrido o la nube. Los tokens baratos con un resultado torcido acaban siendo los más caros.

Algunas conclusiones más de la charla:

• Empiece por el análisis: puntos de dolor, 3–4 casos prioritarios, piloto y medición del efecto.
• El híbrido es la opción más habitual. El modelo local ejecuta, y un modelo en la nube o un script estricto verifica. El control humano no escala a 40 empleados; la verificación hay que automatizarla.
• Sin una base digital (CRM, gestor de tareas, wiki, mensajería) los agentes no tienen a qué agarrarse.
• Los pesos del modelo no se pueden «leer», así que trátelos como software ajeno y mantenga un perímetro de control a su alrededor.

También conviene mencionar las limitaciones con honestidad. Todas las cifras corresponden a una configuración y una carga concretas, y además son la experiencia personal del ponente, no un benchmark independiente. Los precios de las tarjetas de segunda mano suben: en el verano de 2025 una 3090 costaba unos 55 000. El propio Andréyev dice que solo lamenta haber comprado una tarjeta, y que el precio de este camino es tener que lidiar constantemente con cuantizaciones, modelos y motores. Aun así, para la rutina repetible de una oficina, una tarjeta gráfica de consumo ya no es algo exótico, sino una herramienta de trabajo.