Phi-4-mini de Microsoft: cuantización, RAG y LoRA en un solo cuaderno de Jupyter

Microsoft lanzó Phi-4-mini como parte de su línea de modelos de lenguaje compactos, y un nuevo tutorial muestra de qué es capaz en condiciones reales de trabajo. En un único cuaderno de Jupyter, los investigadores implementaron todo el stack de escenarios modernos con LLM, desde la cuantización de 4 bits hasta el ajuste fino de los pesos mediante LoRA.

Phi-4-mini-instruct es un modelo pequeño pero potente de Microsoft, diseñado con énfasis en el razonamiento y el seguimiento de instrucciones. A diferencia de los gigantescos sistemas de clase GPT, cabe en una memoria de vídeo limitada y aun así admite pipelines completos que hace un año requerían modelos decenas de veces más grandes. Con unos 3,8 miles de millones de parámetros, es compacto para los estándares de 2025, cuando los mejores modelos abiertos ya habían superado hacía tiempo los 70 000 millones.

El tutorial empieza con la configuración del entorno y la carga del modelo con cuantización de 4 bits mediante la biblioteca BitsAndBytes. La cuantización comprime los pesos sin una pérdida significativa de calidad y reduce los requisitos de memoria de vídeo hasta el punto de que el modelo se ejecuta incluso en una GPU gratuita de Google Colab. Esto es fundamental para los desarrolladores sin acceso a clústeres corporativos.

Después, el tutorial pasa a la generación en streaming: un modo en el que el texto aparece a medida que se calcula, en lugar de llegar en un solo bloque al final. Es crítico para aplicaciones de chat interactivas y servicios API con interfaz en vivo.

Sigue la sección de razonamiento. Phi-4-mini recibe tareas que exigen inferencia paso a paso (chain-of-thought reasoning) y las resuelve notablemente mejor de lo que cabría esperar de un modelo de su tamaño.

El siguiente bloque trata de la llamada a herramientas (tool use). El modelo está entrenado para identificar cuándo una petición requiere acudir a una API externa, una calculadora o una base de datos, y para generar una llamada estructurada en el formato adecuado. Es una de las habilidades clave para construir agentes de IA autónomos capaces de actuar en el mundo exterior, y no solo de generar texto.

El bloque de RAG demuestra cómo conectar un almacén vectorial y hacer que el modelo responda preguntas sobre documentos que no están en sus datos de entrenamiento. Los escenarios típicos son la documentación interna de una empresa, las bases de conocimiento y los informes analíticos recientes. RAG enriquece el contexto sin reentrenar de forma costosa todo el modelo.

La sección final está dedicada al ajuste fino con LoRA, un método en el que se actualiza solo una pequeña parte de los pesos (adaptadores de bajo rango) en lugar de todos los parámetros. Esto hace que adaptar el modelo a una tarea concreta sea viable incluso con una sola tarjeta gráfica de consumo. El tutorial muestra el ciclo completo: preparación del dataset, entrenamiento del adaptador, y guardado y aplicación del resultado.

Un tutorial así no es solo una demostración de las capacidades de un modelo. Es un argumento de que la frontera entre modelos grandes y pequeños se difumina rápidamente. Phi-4-mini demuestra que una arquitectura compacta, bien ajustada, cubre la mayoría de los escenarios de producción. Para los equipos que construyen productos de IA sin acceso a recursos de cómputo caros, es prácticamente una guía paso a paso.