Локальные LLM
Локальные LLM — это языковые модели, которые работают прямо на вашем железе: ноутбуке, ПК с видеокартой или домашнем сервере — без облака, подписок и передачи данных наружу. Ollama, llama.cpp и LM Studio плюс квантованные GGUF-версии Llama, Qwen и Gemma делают это доступным даже на видеокарте десятилетней давности. Здесь — все наши материалы о локальном запуске ИИ: гайды, тесты железа, квантизация и приватность.
RunPod разобрал 4 метода квантизации: от FP16 до INT4 память падает в 4 раза
RunPod сопоставил post-training квантизацию, QAT, смешанную точность и динамическую квантизацию. Переход с FP16 на INT4 сокращает память весов вчетверо, но…
Агентный поиск на open-source моделях: кого нашёл, сколько потратил и где всё сломалось
Автор Habr потратил $20 на экспериментальную систему агентного поиска: протестировал шесть open-source моделей, обнаружил, что лучше всего работает gemma4 с простым…
Как собрать RAG-бота на T4 для учебников обществознания: Qwen вместо веб-поиска
RAG-бот для учебников обществознания 9-10 классов работает на бесплатном T4 в Colab. Qwen2.5-3B-Instruct ищет ответы в конкретных параграфах через FAISS, а не в…
Дефицит GPU: CEO лично делят мощности, стартапы подписывают многолетние контракты
Когда маленькие LLM лучше роя: как деление на разделы дало слабой модели ×4
Программист Сингатуллин подал в реестр ПО память для ИИ-агентов без интернета
«ФлексСофт» обещает нулевой Time-to-Market в финтехе за счёт AI-Native платформ
Unsloth и Llama 3: как научить модель стабильно вызывать API через JSON
Machine Learning Mastery разбирает дообучение Llama 3 под строгий JSON для tool calling через Unsloth: универсальная модель ломает схему API, а LoRA помогает это…
10 бесплатных ИИ-инструментов вместо платного софта для data science
DataRobot стоит $50 тысяч в год, Tableau — $900 за пользователя. Но есть Ollama, AutoGluon, PandasAI и ещё семь открытых инструментов, которые полностью заменяют…
CARing учит LLM предсказывать диагнозы: R@30 достиг 46,52% на MIMIC-IV
Phase-HDC обучает модель без истории оптимизатора и хранит в 16–23 раза меньше Adam
LLM пишут планы дорожных работ для WisDOT: 14B почти не лучше 7B
Apple сокращает аппаратную инженерию, чтобы ускорить разработку при Тернусе
Cognition выпустила SWE-2: 50% на FrontierCode при цене ниже на 64%
Cognition представила кодинговую модель SWE-2 на базе Kimi K3 на 2,8 трлн параметров. Она набирает 50,0% на FrontierCode 1.1 Main и стоит на 64% меньше Fable 5.1.
Как стать AI-архитектором в 2026: дорожная карта от инженера к проектировщику систем
KDnuggets опубликовал пошаговый план для инженеров, которые хотят вырасти до AI-архитектора: что учить, как принимать системные решения и развить лидерские навыки.