Ollama y LiteLLM: cómo convertir un script de Python en un chat LLM de consola completo
En la segunda parte de la guía sobre Ollama y LiteLLM, un sencillo script de Python se convierte en un chat LLM de consola. Se añaden un bucle de conversación, un system prompt y gestión básica de errores: el esqueleto mínimo sin el cual un asistente local no se siente como una aplicación. Ya no es una consulta puntual al modelo, sino una base para una interfaz viva y para seguir experimentando con IA local.
Procesado por IA desde Habr AI; editado por Hamidun News
En la segunda parte de la guía sobre Python, Ollama y LiteLLM, el autor pasa de una llamada puntual al modelo a un chat de consola completo. El script sencillo se convierte en la base de una aplicación de IA local, con diálogo continuo, rol de sistema y protección frente a fallos habituales.
Del script al chat
El primer paso no es cambiar de modelo, sino cambiar el escenario de uso. Una consulta única sirve para comprobar que la combinación de Python, Ollama y LiteLLM responde. Pero en cuanto quieres hacer una aclaración, reformular o continuar una idea, un script así topa pronto con su límite.
Un chat de consola lo resuelve de la forma más directa: el programa no termina tras una respuesta, sino que permanece en el diálogo y permite hablar con el modelo como con un interlocutor normal en el terminal.
Para el desarrollador, es un punto de inflexión importante. En lugar de "llamo a la API y obtengo texto", aparece una interfaz mínima de aplicación: entrada del usuario, historial de mensajes, respuesta del modelo y la lógica de control a su alrededor. LiteLLM resulta cómodo como capa única de acceso a los modelos, y Ollama se encarga de la ejecución local. Así, incluso un pequeño proyecto didáctico empieza a parecerse a un producto real que ya se puede ejecutar, probar y complicar poco a poco sin rehacer la base.
Qué aparece en el código
La siguiente capa son los detalles que convierten el chat en algo más que un bucle de entrada/salida: en un programa controlado. En estos ejemplos lo valioso no son las funciones "mágicas", sino los elementos básicos de ingeniería: quién define el rol del modelo, dónde se guarda el contexto y qué ocurre si falla una petición. Con ellos se logra que no parezca una demo de cinco minutos, sino una base de trabajo para un asistente local.
- Un bucle de conversación que acepta mensajes nuevos hasta que se introduce el comando de salida
- Un system prompt que define el rol, el tono y los límites de comportamiento del modelo
- Una lista de mensajes, para que el modelo vea las intervenciones anteriores y mantenga el contexto
- Validación básica de la entrada, para no enviar peticiones vacías
- Gestión de excepciones, para que el programa no se caiga tras el primer fallo
Cada punto parece simple, pero juntos cambian la calidad de la interacción. El system prompt no sirve solo para dar "carácter" al bot: permite fijar reglas de respuesta, formato, idioma y restricciones. El historial de mensajes permite mantener una conversación coherente en lugar de explicar la tarea de nuevo en cada turno. La gestión de errores ahorra tiempo de depuración: si el modelo local se cuelga, Ollama no está en marcha o LiteLLM devuelve una excepción, la sesión no se pierde por completo.
Primeros pasos hacia una aplicación
Aparte, importa la idea de los primeros pasos hacia una aplicación de IA "viva". La interfaz de consola parece modesta, pero es el lugar más sencillo para comprobar cómo se comporta el bot en un diálogo real, donde el usuario formula mal sus ideas, pide aclaraciones y cambia constantemente de contexto.
Aquí enseguida se ven los puntos débiles: un prompt de sistema demasiado genérico, un formato de salida incómodo, la falta de comandos para salir o reiniciar y errores poco claros al cargar el modelo.
Esta base se amplía fácilmente sin arquitectura superflua. Encima se pueden añadir streaming de tokens, comandos como /clear para reiniciar el historial, cambio de modelos, registro de diálogos o conexión de herramientas. Pero el valor de este paso está en otra cosa: el autor muestra que una interfaz útil no empieza con una GUI ni con una aplicación web, sino con un bucle de conversación fiable en el terminal. Si esta capa está bien hecha, es más fácil crecer después tanto hacia un producto como hacia nuevos experimentos.
Qué significa
Para quienes crean herramientas de IA locales en Python, esta etapa es obligatoria. La combinación de Ollama y LiteLLM se vuelve interesante no en el momento de la primera respuesta correcta, sino cuando alrededor del modelo aparece un circuito de comunicación en condiciones. El chat de consola es la forma mínima de ese circuito: lo bastante simple para empezar y lo bastante útil para construir encima la siguiente capa de funcionalidad.
- 18 nov 2026Willison lanza tres sandboxes externas: el código de los agentes no tocará tu portátil
- 18 nov 2026Graph-RAG: la base de datos manda sobre la wiki y los PDF, con de media un 44% menos de alucinaciones
- 18 nov 2026sd.cpp en lugar de Forge Neo: nueve modelos en una GPU de 16 GB generan imágenes en 5–68 segundos
- 18 nov 2026JetBrains lanza Mellum en local dentro del IDE: en un MacBook M3 Pro saca un 5 sobre 10
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Del script al chat?
El primer paso no es cambiar de modelo, sino cambiar el escenario de uso. Una consulta única sirve para comprobar que la combinación de Python, Ollama y LiteLLM responde. Pero en cuanto quieres hacer una aclaración, reformular o continuar una idea, un script así topa pronto con su límite. Un chat de consola lo resuelve de la forma más directa: el programa no termina tras una respuesta, sino que permanece en el diálogo y permite hablar con el modelo como con un interlocutor normal en el terminal.
¿Qué se sabe sobre Qué aparece en el código?
La siguiente capa son los detalles que convierten el chat en algo más que un bucle de entrada/salida: en un programa controlado. En estos ejemplos lo valioso no son las funciones "mágicas", sino los elementos básicos de ingeniería: quién define el rol del modelo, dónde se guarda el contexto y qué ocurre si falla una petición. Con ellos se logra que no parezca una demo de cinco minutos, sino una base de trabajo para un asistente local.
¿Qué se sabe sobre Primeros pasos hacia una aplicación?
Aparte, importa la idea de los primeros pasos hacia una aplicación de IA "viva". La interfaz de consola parece modesta, pero es el lugar más sencillo para comprobar cómo se comporta el bot en un diálogo real, donde el usuario formula mal sus ideas, pide aclaraciones y cambia constantemente de contexto. Aquí enseguida se ven los puntos débiles: un prompt de sistema demasiado genérico, un formato de salida incómodo, la falta de comandos para salir o reiniciar y errores poco claros al cargar el modelo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.