Un mensaje de voz de 35 segundos se convierte en texto en 9 segundos en un CRM, sin tarjeta gráfica
Los clientes envían audios como «¿y todavía queda ese set y cuánto cuesta el envío a Samara?», pero el gestor, en un taller ruidoso, no puede escucharlos. Por eso el CRM de ventas integrado en la mensajería muestra el texto debajo del reproductor: lo genera Whisper small en un servidor en la nube de Rusia, con 2 núcleos y sin tarjeta gráfica. Un audio de 35 segundos se convierte en texto en unos 9 segundos, y el sonido no sale hacia nubes extranjeras. Para un volumen pequeño de mensajes, esto permite prescindir de APIs de pago.
Procesado por IA desde Хабр: Машинное обучение; editado por Hamidun News
Los clientes de las tiendas online aman los mensajes de voz: «Hola, ¿todavía queda este set y cuánto cuesta el envío a Samara?» El gestor necesita escuchar ese mensaje, pero en un taller ruidoso o durante una videollamada resulta incómodo. El equipo del CRM de ventas integrado en la mensajería decidió mostrar debajo del reproductor el texto ya listo.
Toda la transcripción se realiza en un servidor en la nube común de Rusia, con dos núcleos de procesador y sin tarjeta gráfica: un audio de 35 segundos se convierte en texto en unos 9 segundos, es decir, casi 4 veces más rápido que la duración de la grabación. Además, no hace falta pagar a servicios en la nube de reconocimiento por minuto de audio, y el sonido del cliente nunca sale de los servidores de la empresa.
Por qué no se usó una solución lista
La primera idea fue usar la transcripción de la propia mensajería. VKontakte la tiene: la respuesta de la API para un adjunto incluye un campo con el texto. Pero en los mensajes de la comunidad ese campo seguía vacío incluso después de varios días. En MAX, Telegram y WhatsApp, conectados a través de un servicio intermediario, no hay transcripción en absoluto.
Los servicios de reconocimiento en la nube se descartaron por otro motivo. El audio del cliente son datos personales, y el equipo no quería enviarlos a servidores ajenos en el extranjero. Por eso todo debía funcionar en servidores propios en Rusia, y los archivos no se guardan en ningún sitio.
Qué hay bajo el capó
Para el reconocimiento se eligió faster-whisper, una implementación del modelo Whisper sobre CTranslate2, que es notablemente más rápida que el original en un procesador convencional. Se tomó la versión small del modelo. En habla coloquial en ruso comete errores en algunas palabras, pero transmite bien el sentido, y el gestor no necesita más que eso.
El reconocimiento se trasladó a una máquina aparte para que no le quitara procesador al propio CRM. La velocidad se logró con cuatro ajustes:
- cuantización de pesos (int8, es decir, almacenar los números del modelo en forma comprimida), que es la mayor mejora de velocidad en procesador;
- decodificación voraz en lugar de búsqueda por haz: en frases cortas, la calidad casi no cambia;
- un detector de voz elimina el silencio y las pausas, que abundan en los mensajes de voz;
- el idioma se indica explícitamente, sin autodetección: así es más rápido y hay menos errores en grabaciones cortas.
Los problemas con la decodificación del audio
faster-whisper puede abrir los archivos por sí mismo con la biblioteca PyAV, pero con los mensajes de voz de las mensajerías eso fallaba. En algunos archivos PyAV se caía con un error al leer los metadatos, y los formatos que llegan son variados: ogg, m4a, mp3.
La solución fue sencilla: delegar la decodificación en el programa ffmpeg y pasar al modelo un array de audio ya preparado: mono, 16 kHz, números float32 de −1 a 1. Así, el formato del archivo original deja de importar.
El script se construye según el principio «stdin → stdout»: el audio entra, el texto sale. No sabe nada del CRM ni de las mensajerías, y el archivo nunca llega al disco. El servidor principal lo invoca con un único comando mediante curl y ssh.
Cómo está integrado en el CRM
En el servidor principal, una tarea de cron se ejecuta cada minuto. Está envuelta en flock: si la ejecución anterior sigue en marcha, la nueva no arranca y la cola no se acumula. El comando timeout de 600 segundos protege frente a un ssh o un ffmpeg colgados. En cada pasada se procesan como máximo cinco mensajes de voz, para que un pico de mensajes no sature el servidor de reconocimiento.
La tarea busca los mensajes de voz entrantes de los últimos 2 días que aún no tienen texto, descarga uno a uno el audio desde el enlace de la mensajería, lo envía a reconocimiento y guarda el resultado en el adjunto del mensaje. La interfaz del CRM muestra el texto debajo del reproductor, y en la lista de diálogos, en lugar de «Mensaje de voz», aparece «🎤 Hola, ¿todavía queda este set…».
Para cada mensaje se lleva un contador de intentos: si el archivo está dañado o el enlace caducó, tras tres fallos el mensaje deja de procesarse. La ventana de 2 días evita que la tarea recorra todo el historial de conversaciones en cada ejecución. El texto aparece unos sesenta segundos después de llegar el mensaje de voz: hasta la siguiente ejecución más unos segundos de reconocimiento.
Limitaciones y conclusión
El inconveniente honesto del esquema: el modelo se carga en cada llamada. Para un volumen pequeño de mensajes de voz es aceptable, pero con una carga grande conviene convertir el script en un servicio permanente con cola. La calidad de small en habla coloquial tampoco es perfecta: algunas palabras se distorsionan.
La receta para quien quiera replicarla: use faster-whisper con int8 en procesador, decodifique el audio con ffmpeg en lugar de PyAV y no guarde los archivos, porque para la transcripción no hacen falta. Para pequeñas y medianas empresas, es un ejemplo de cómo resolver una tarea con datos personales sin tarjeta gráfica y sin pagar por minuto de audio.
- 8 nov 2026Tres LLM omiten «hoy» en entre el 10% y el 95% de las respuestas al analizar notas
- 30 abr 2026Amazon presenta búsqueda en lenguaje natural sobre grandes archivos de vídeo con Nova
- 21 nov 2026Wavo en Rust transcribe una hora de audio en 18 segundos: 200 veces más rápido que el tiempo real
- 18 nov 2026LLM en un VPS sin GPU: modelos de 4B clasifican solicitudes con un 90% de precisión en 3–5 s
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué no se usó una solución lista?
La primera idea fue usar la transcripción de la propia mensajería. VKontakte la tiene: la respuesta de la API para un adjunto incluye un campo con el texto. Pero en los mensajes de la comunidad ese campo seguía vacío incluso después de varios días. En MAX, Telegram y WhatsApp, conectados a través de un servicio intermediario, no hay transcripción en absoluto. Los servicios de reconocimiento en la nube se descartaron por otro motivo.
¿Qué se sabe sobre Qué hay bajo el capó?
Para el reconocimiento se eligió faster-whisper, una implementación del modelo Whisper sobre CTranslate2, que es notablemente más rápida que el original en un procesador convencional. Se tomó la versión small del modelo. En habla coloquial en ruso comete errores en algunas palabras, pero transmite bien el sentido, y el gestor no necesita más que eso. El reconocimiento se trasladó a una máquina aparte para que no le quitara procesador al propio CRM.
¿Qué se sabe sobre Los problemas con la decodificación del audio?
faster-whisper puede abrir los archivos por sí mismo con la biblioteca PyAV, pero con los mensajes de voz de las mensajerías eso fallaba. En algunos archivos PyAV se caía con un error al leer los metadatos, y los formatos que llegan son variados: ogg, m4a, mp3. La solución fue sencilla: delegar la decodificación en el programa ffmpeg y pasar al modelo un array de audio ya preparado: mono, 16 kHz, números float32 de −1 a 1. Así, el formato del archivo original deja de importar.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.