Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работуSimon Willison→ оригинал

Datasette-агент заработал на локальной Qwen 27B без облака через LM Studio и Ollama

Datasette — инструмент для работы с базами данных; его чат-агент, который сам пишет SQL, теперь работает на локальной Qwen с 27 млрд параметров без облака. Плагин datasette-llm 0.1a11 подключается к LM Studio, Ollama и llama.cpp — программам, которые запускают нейросеть на вашем компьютере и понимают формат запросов OpenAI. В демо агент сам посчитал в базе 200 репозиториев и 1889 релизов. Закрытые данные можно разбирать SQL-агентом целиком у себя.

AI-обработка оригинала Simon Willison; редакция Hamidun News
Datasette-агент заработал на локальной Qwen 27B без облака через LM Studio и Ollama
Источник: Simon Willison. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникSimon Willison ↗
Главный редактор
Настройка — одна JSON-строкаmodel, model_name и api_base
Ключевой факт #2Запуск одной командой через uvx вместе с плагином datasette-agent
Ключевой факт #3llama.cpp, на котором можно гонять модель, недавно вышел в версии 1.0.0

Представьте, что у вас есть база с клиентами, логами или выгрузкой из CRM, и вы хотите спрашивать её обычным языком: «сколько у нас заказов за месяц?» Нейросеть сама напишет SQL-запрос и вернёт ответ. Но отправлять такие данные в облачный сервис многие не готовы.

Свежий релиз плагина datasette-llm 0.1a11 от Саймона Уиллисона решает именно эту проблему. Datasette — это open-source инструмент для просмотра и исследования баз данных, а у него есть чат-агент datasette-agent, который сам смотрит список таблиц и пишет SQL.

Теперь этого агента можно запустить на модели Qwen с 27 миллиардами параметров, которая работает на вашем собственном компьютере. Подключение идёт через LM Studio, Ollama или llama.cpp.

Это программы, которые запускают нейросеть локально и принимают запросы в формате OpenAI, поэтому их называют OpenAI-совместимыми.

Что изменилось в datasette-llm

datasette-llm играет роль промежуточного слоя. Он хранит настройки языковых моделей (LLM), а другие плагины Datasette берут их оттуда. Раньше выбор моделей был ограничен тем, что поддерживал плагин. В версии 0.1a11 появилась поддержка OpenAI-совместимых эндпоинтов. Так называют серверы, которые понимают запросы в том же формате, что и API OpenAI. Этот формат давно стал негласным стандартом, поэтому его принимают самые разные программы. Среди них LM Studio, Ollama и llama.cpp. Последний, как отмечает автор, только что вышел в версии 1.0.0.

Раз протокол общий, Datasette больше не привязан к конкретному провайдеру. Подойдёт любая модель, которая отвечает по нужному адресу, будь то компьютер на вашем столе или сервер в другой стране.

Как это выглядит на практике

В примере из релиза всё запускается одной командой через менеджер uv. Сначала скачивается тестовая база content.db с сайта datasette.io. Затем uvx поднимает Datasette вместе с плагином datasette-agent. В настройках default_model задаются три поля:

  • model — внутреннее имя, под которым модель видна в интерфейсе (в примере lmstudio-qwen);
  • model_name — название модели на стороне сервера (qwen/qwen3.8-27b);
  • api_base — адрес локального сервера, здесь http://localhost:1234/v1.

После запуска открывается чат. На скриншоте пользователь спрашивает, сколько в базе репозиториев и релизов. Агент сначала вызывает инструмент list_databases_and_tables, чтобы узнать структуру. Потом отправляет SQL-запрос с двумя подзапросами COUNT и получает ответ: 200 репозиториев и 1889 релизов. Вся цепочка идёт через локальную Qwen. Ни один запрос не уходит во внешний сервис.

Зачем это разработчику и где пределы

Для практика польза в двух вещах. Первая — приватность. Агента, который отвечает на вопросы по базе, можно проверить на реальных данных, не обсуждая с безопасниками передачу этих данных третьей стороне. Вторая — свобода выбора. Если завтра выйдет модель лучше, достаточно поменять две строки в конфиге, а код менять не придётся. Разные модели можно сравнивать между собой на одной и той же базе.

Есть и ограничения. Номер версии 0.1a11 означает, что это альфа, поэтому формат настроек может измениться. Пример в релизе простой: подсчёт строк в двух таблицах. Как локальная модель справится с запутанными схемами, соединениями нескольких таблиц и неоднозначными вопросами, из заметки не видно. Для модели на 27 миллиардов параметров на домашнем железе это нужно проверять самому. Скорость ответа и требования к памяти тоже зависят от вашего компьютера и выбранного сервера.

Разумный путь такой: взять небольшую копию своей базы, поднять Datasette с локальной моделью и задать десяток типичных вопросов. Если SQL получается правильным, дальше можно думать о более серьёзном внедрении. Если нет, можно попробовать другую модель или подключить облачную. Теперь это делается заменой нескольких строк в конфигурации.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что изменилось в datasette-llm?

datasette-llm играет роль промежуточного слоя. Он хранит настройки языковых моделей (LLM), а другие плагины Datasette берут их оттуда. Раньше выбор моделей был ограничен тем, что поддерживал плагин. В версии 0.1a11 появилась поддержка OpenAI-совместимых эндпоинтов. Так называют серверы, которые понимают запросы в том же формате, что и API OpenAI. Этот формат давно стал негласным стандартом, поэтому его принимают самые разные программы. Среди них LM Studio, Ollama и llama.cpp.

Что известно по теме: как это выглядит на практике?

В примере из релиза всё запускается одной командой через менеджер uv. Сначала скачивается тестовая база content.db с сайта datasette.io. Затем uvx поднимает Datasette вместе с плагином datasette-agent. В настройках default_model задаются три поля: model — внутреннее имя, под которым модель видна в интерфейсе (в примере lmstudio-qwen); model_name — название модели на стороне сервера (qwen/qwen3.8-27b); api_base — адрес локального сервера, здесь http://localhost:1234/v1. После запуска открывается чат.

Что известно по теме: зачем это разработчику и где пределы?

Для практика польза в двух вещах. Первая — приватность. Агента, который отвечает на вопросы по базе, можно проверить на реальных данных, не обсуждая с безопасниками передачу этих данных третьей стороне. Вторая — свобода выбора. Если завтра выйдет модель лучше, достаточно поменять две строки в конфиге, а код менять не придётся. Разные модели можно сравнивать между собой на одной и той же базе. Есть и ограничения. Номер версии 0.1a11 означает, что это альфа, поэтому формат настроек может измениться.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…