5 modelos abiertos pequeños con tool calling: agentes que no necesitan la nube

Los pequeños modelos de lenguaje han tenido dificultades para competir con los servicios en la nube en una capacidad clave: gestionar herramientas a través del tool calling. Ahora esto está cambiando. Ha surgido una nueva generación de modelos compactos y abiertos que no solo admiten llamadas de funciones estructuradas, sino que también permanecen lo suficientemente ligeros para la implementación local.

Qué es Tool Calling y Por Qué Funciona

Tool calling es la capacidad del modelo de invocar funciones externas, scripts o APIs directamente, en lugar de simplemente escribir código como respuesta. El modelo ve una lista de funciones disponibles con descripciones, sus parámetros y tipos de datos, y decide de forma independiente cuál función llamar y con qué argumentos.

Esto es crítico para los agentes de IA: pueden gestionar bases de datos, descargar archivos, enviar correos electrónicos, programar reuniones—todo sin intervención humana directa.

La salida estructurada (respuestas en formato JSON) es una garantía de que el modelo devolverá resultados en el formato correcto y predecible que un programa puede analizar y utilizar.

Hasta hace poco, solo los modelos grandes (GPT-4, Claude 3) podían hacerlo de manera confiable. Ahora los modelos pequeños también han aprendido a generar JSON estructurado sin errores.

Por Qué Los Pequeños Modelos Ahora Son Competitivos

Los modelos pequeños (parámetros 7B-13B) tienen varias ventajas sobre los grandes. Son más baratos de desarrollar y ejecutar inferencia, más privados por defecto (no envían datos a la nube) y más rápidos para responder.

No requieren servicios en la nube ni hardware corporativo potente—una GPU de rango medio o incluso un CPU decente es suficiente. Agregue soporte para tool calling a tal modelo pequeño y obtiene un agente de IA completamente funcional que puede ejecutarse en su propio servidor, laptop o incluso un smartphone sin internet.

Esto abre el camino para agentes privados corporativos con garantías de confidencialidad de datos. Una empresa puede ejecutar un agente dentro de su propia red segura sin enviar una sola solicitud a la nube.

Además, hay flexibilidad de licencia: todos estos modelos son de código abierto y se pueden usar para fines comerciales sin solicitar permiso.

5 Modelos Listos para Usar

Aquí hay cinco pequeños modelos que ya admiten tool calling completo hoy:

• Llama 3.1 (Meta) — versión base 8B con buena documentación y ejemplos de tool calling; la más probada y estable de la lista
• Mistral 7B — compacta, muy rápida, buen equilibrio calidad-tamaño; popular en entornos empresariales
• PhiLM 3 (Microsoft) — optimizada específicamente para salida estructurada y tareas de ingeniería; requisitos mínimos de memoria
• OpenChat 3.5 — enfocada en funciones y gestión de herramientas; benchmarks sólidos en pruebas de tool-calling
• Neural Hermes 2.5 (finetuned Mistral) — maneja mejor las cadenas complejas de múltiples pasos y recuperación de errores

Los cinco se pueden descargar de Hugging Face en minutos y ejecutar localmente sin internet. El tiempo de inferencia (respuesta a una consulta) varía de 50 a 200 milisegundos en GPU modernas o CPU rápidas.

Lo Que Esto Significa para la Industria

La era del monopolio de la nube sobre agentes de IA ha terminado. Ahora incluso las pequeñas startups y corporaciones pueden construir agentes de IA privados y completamente funcionales que funcionan no más lentamente y no menos inteligentemente que alternativas en la nube como OpenAI API o Claude via nube.

Esto significa que toda la infraestructura de IA se está moviendo gradualmente de la nube a on-premise. En los próximos meses, esperamos un aumento en herramientas y marcos para la implementación local de agentes (como LM Studio, Ollama, pero con soporte adecuado para tool calling).

Para los desarrolladores, esto abre un mercado completamente nuevo: agentes de IA privados para grandes corporaciones, agencias gubernamentales, atención médica y fintech. En cualquier lugar donde el uso de la nube esté prohibido por razones políticas o legales, los modelos locales son el único camino.