Ollama y LiteLLM: una guía en Habr muestra cómo montar un chat con LLM local en Python sin la nube

Habr ha publicado una guía introductoria detallada sobre desarrollo con LLM locales en Python. El autor propone empezar con la combinación de Ollama y LiteLLM en lugar de con las API en la nube: instalar el modelo en el propio ordenador, preparar el entorno y obtener la primera respuesta directamente desde main.py.

Por qué en local

La mayoría de los materiales de iniciación sobre LLM llevan al principiante a la nube desde el primer paso: regístrate, consigue una clave de API, vincula una tarjeta, vigila los límites. Para un desarrollador que solo quiere entender la mecánica básica, todo esto es ruido superfluo y del todo innecesario. La nueva guía plantea otra ruta: montarlo todo primero en local para ver la lógica de funcionamiento del modelo sin facturación, sin servicios externos y sin miedo a gastar dinero por accidente en pruebas.

El enfoque tiene otra ventaja: hace transparente todo el recorrido de la petición. El artículo desglosa literalmente la cadena eslabón a eslabón: el código Python envía un mensaje a LiteLLM, este lo pasa a Ollama y Ollama se comunica con el modelo local y devuelve la respuesta al programa. Este desglose no solo resulta útil para principiantes.

También ayuda a saber rápidamente dónde buscar el problema si el modelo no responde, si el servicio no está en marcha o si el código apunta a una dirección equivocada.

«Esto no es “magia de la IA”, sino un flujo de programa normal».

Qué incluye el stack

El autor separa desde el principio el papel de cada herramienta, porque es fácil confundirlas. Ollama se encarga de ejecutar el modelo local y de dar acceso a él a través de un servidor local. LiteLLM es una biblioteca de Python con una interfaz unificada para llamar a modelos.

Gracias a ello, el código que hoy funciona con un modelo local puede trasladarse más adelante a un proveedor en la nube con relativa facilidad, sin reescribir la aplicación desde cero. Para un primer contacto, es un compromiso práctico entre sencillez y previsión de futuro. La primera parte de la serie está planteada como un recorrido sin teoría superflua.

No se pide al lector que diseñe agentes de entrada, que conecte memoria o que construya una interfaz compleja. El objetivo es más sencillo y más útil: comprobar que el modelo local funciona, que Python puede llegar hasta él y que la respuesta vuelve al código sin infraestructura externa. Por eso el material se lee como una lista de comprobación práctica para una primera tarde, y no como un repaso abstracto de tecnologías.

instalar Ollama en Windows, macOS o Linux; descargar el modelo qwen2.5:3b y comprobar la respuesta directamente en la terminal; * con hardware modesto, cambiar a qwen2.5:1.

5b; crear un entorno virtual de Python e instalar LiteLLM; escribir un main.py mínimo que envíe una petición a http://localhost:11434. Un punto a favor aparte es la elección del modelo para empezar.

qwen2.5:3b se presenta como una opción compacta y bastante cómoda para un portátil normal, sobre todo si se necesita el ruso. Si los recursos son escasos, el autor ofrece de inmediato un plan alternativo con una versión más ligera.

Esto aterriza el material: el artículo no promete milagros, sino que ayuda a llegar de verdad a la primera respuesta funcional sin pelearse largo rato con configuraciones desde el inicio.

Primera llamada desde Python El momento clave del texto es un ejemplo mínimo en Python.

En él se importa la función completion de LiteLLM, se define el modelo con el formato ollama_chat/qwen2.5:3b, se indica el api_base local y la pregunta del usuario se pasa en la lista messages. Es un detalle importante: incluso una única petición se estructura igual que un futuro diálogo.

En la práctica, además de mostrar una llamada puntual, el autor sienta desde el principio las bases de un chat de consola con historial de mensajes y contexto. También es útil que el artículo no se quede en el camino feliz. Al final repasa los fallos habituales: Connection refused, si Ollama no está en marcha; Model not found, si el nombre del modelo en el código no coincide con el instalado; una primera respuesta demasiado lenta porque el modelo se está cargando en memoria; el error ModuleNotFoundError, si el paquete se instaló en el entorno equivocado; y problemas de codificación en PowerShell.

Para un desarrollador novato, este bloque suele valer más que la teoría, porque es justo en estos detalles donde se rompen la mayoría de los primeros experimentos. El autor ya ha anunciado la continuación de la serie: en la segunda parte convertirá la petición aislada en un pequeño chat de consola y después añadirá historial de mensajes y contexto. Es decir, no se trata de un fragmento de código suelto, sino de una entrada cuidada a un recorrido más largo, desde la ejecución local del modelo hasta una aplicación completa.

Este formato resulta especialmente útil para quien quiere ir más allá de lanzar una demo e integrar el LLM paso a paso en un proyecto Python normal.

Qué significa

El interés por los modelos locales vuelve a crecer, y materiales como este rebajan la barrera de entrada mejor que cualquier panorámica general. La combinación de Ollama y LiteLLM demuestra que se puede montar un primer prototipo funcional sin nube ni claves de API y, si se quiere, escalar después esa misma arquitectura. Para los desarrolladores rusohablantes es un buen puente entre la curiosidad por los LLM y el código real. Son precisamente instrucciones así las que con más frecuencia convierten el interés en práctica.