Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
РелизAPI / Продукт · В работуThe Decoder→ оригинал

Hugging Face гонит запросы к LLM через OpenRouter: ошибок нехватки мощности меньше на 46%

Раньше запрос к модели в Hugging Face падал, если у провайдера кончалась свободная мощность. Теперь Inference Providers отправляет вызовы через OpenRouter, и тот сам выбирает провайдера по цене, скорости и надёжности, а при сбое переключает на другого. По замерам OpenRouter, ошибок нехватки мощности стало меньше на 46%, первый токен приходит на 16,9% быстрее. Код менять не надо, но свои API-ключи для LLM больше не работают.

AI-обработка оригинала The Decoder; редакция Hamidun News
Hugging Face гонит запросы к LLM через OpenRouter: ошибок нехватки мощности меньше на 46%
Источник: The Decoder. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникThe Decoder ↗
Главный редактор
Ключевой факт #1«:fastest» выбирает самого быстрого провайдера, «:cheapest» — самого дешёвого
Ключевой факт #2Открытые модели дают 71,7% токенов топ-50 OpenRouter и дешевле примерно вчетверо
Ключевой факт #3Свои ключи остаются только для провайдеров изображений и видео

Представьте, что ваше приложение вызывает открытую модель через Hugging Face, а у выбранного провайдера в этот момент закончились свободные GPU. Раньше вы получали ошибку «нехватка мощности» и сами искали запасной вариант: переписывали конфиг, меняли ключ, выкатывали фикс. Теперь сервис Hugging Face Inference Providers отправляет запросы к языковым моделям через OpenRouter, а тот для каждого вызова сам выбирает провайдера по цене, скорости и надёжности. По собственным замерам OpenRouter, такие ошибки нехватки мощности с новой схемой стали реже на 46%. Для разработчика это значит меньше ночных дежурств, но есть и цена: свои API-ключи для языковых моделей больше не работают.

Как работает маршрутизация

По умолчанию роутер ищет баланс цены, скорости и надёжности. Это похоже на такси-агрегатор: вы называете адрес, а он подбирает машину поближе и подешевле. Если водитель отменил заказ, приедет другой. Так и здесь: при сбое у одного провайдера запрос автоматически уходит к другому. Существующий код менять не нужно.

Выбором можно управлять простыми приписками к названию модели. Суффикс «:fastest» отправляет запрос провайдеру с максимальной пропускной способностью, то есть с наибольшим числом токенов в секунду. Суффикс «:cheapest» выбирает самого дешёвого. Конкретного провайдера можно указать по имени. Заголовок «X-HF-Session-Id» помогает роутеру учитывать кэши провайдеров. Это полезно в длинных диалогах: вы не платите каждый раз за повторную обработку одного и того же контекста.

Модели доступны через Chat Completions и Responses API от OpenAI, а также через Messages API от Anthropic. Для Claude Code, Codex, OpenCode, Pi и Hermes Agent Hugging Face выпустил инструкции по настройке. Значит, популярных кодинг-агентов можно направить на открытые модели без самодельных прокладок.

Что показали замеры и что изменилось в оплате

По данным OpenRouter, с новым роутингом ошибки нехватки мощности сократились на 46%. Время до первого токена, то есть задержка перед началом ответа, улучшилось на 16,9%. Пропускная способность выросла на 16,3%. Замеры сделал сам партнёр, независимой проверки в материале нет. OpenRouter при этом заявляет о 800 триллионах токенов в месяц, более чем 10 миллионах пользователей и каталоге из 600+ моделей от 80+ провайдеров.

Платить стало проще: Hugging Face пробрасывает цены провайдеров без наценки и сам выставляет счёт. Подписчики Pro получают небольшой ежемесячный кредит, а командные и корпоративные организации — кредит на каждое рабочее место. На страницах моделей появились вкладки с провайдерами и их метриками, а ненужных провайдеров можно отключить в настройках.

Есть и неудобная сторона. Если вы заключили прямой контракт с провайдером ради скидок или особых условий, через Hugging Face им больше не воспользоваться: ключи для языковых моделей не работают. Они остаются только для провайдеров изображений и видео, а генерация картинок, видео и аудио по-прежнему идёт напрямую через Inference Providers. В планах — привязка аккаунта OpenRouter к Hugging Face и перевод через OpenRouter других типов задач.

Открытые модели стали основным трафиком

Hugging Face приводит данные о сдвиге рынка. Доля открытых моделей в недельных токенах 50 самых популярных моделей OpenRouter выросла с 26,8% в октябре 2025 года до 71,7% в конце сентября 2026-го. В июле показатель на время достиг 77,5%. Причина в цене: в среднем открытые модели на OpenRouter стоят примерно в четыре раза дешевле закрытых. С весны 2026 года они обрабатывают больше половины токенов среди самых востребованных моделей.

Разрыв в качестве при этом остаётся. Лучшая открытая модель, Kimi K3.1 Pro, набирает 46 баллов в обновлённом индексе интеллекта Artificial Analysis. Claude Fable 5.2 получает 65 баллов, но стоит примерно в семь раз дороже в пересчёте на задачу. Для массовых сценариев вроде классификации, извлечения данных и черновых ответов открытые модели выгоднее, для сложных рассуждений закрытые пока впереди.

Что стоит за сделкой

Оба участника оказались на пороге смены владельцев. В конце августа сообщили, что Nvidia покупает Hugging Face за 12,9 млрд долларов. Министерство юстиции США проверяет сделку: есть опасения, что Nvidia получит контроль над ключевой площадкой распространения моделей и ограничит конкурентов. Закрытие ожидается в первой половине 2027 года. Stripe в августе согласилась купить OpenRouter больше чем за 7 млрд долларов, рассчитывая зарабатывать на биллинге токенов.

Практический вывод простой. Если вы строите продукт на открытых моделях, новая схема снижает риск простоя и упрощает счета. Но вы привязываетесь к цепочке из двух компаний, которые скоро сменят владельцев. Разумно оставить запасной маршрут напрямую к провайдеру и сравнить стоимость задач на «:cheapest» и «:fastest» на своих данных.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как работает маршрутизация?

По умолчанию роутер ищет баланс цены, скорости и надёжности. Это похоже на такси-агрегатор: вы называете адрес, а он подбирает машину поближе и подешевле. Если водитель отменил заказ, приедет другой. Так и здесь: при сбое у одного провайдера запрос автоматически уходит к другому. Существующий код менять не нужно. Выбором можно управлять простыми приписками к названию модели. Суффикс «:fastest» отправляет запрос провайдеру с максимальной пропускной способностью, то есть с наибольшим числом токенов в секунду.

Что известно по теме: что показали замеры и что изменилось в оплате?

По данным OpenRouter, с новым роутингом ошибки нехватки мощности сократились на 46%. Время до первого токена, то есть задержка перед началом ответа, улучшилось на 16,9%. Пропускная способность выросла на 16,3%. Замеры сделал сам партнёр, независимой проверки в материале нет. OpenRouter при этом заявляет о 800 триллионах токенов в месяц, более чем 10 миллионах пользователей и каталоге из 600+ моделей от 80+ провайдеров.

Что известно по теме: открытые модели стали основным трафиком?

Hugging Face приводит данные о сдвиге рынка. Доля открытых моделей в недельных токенах 50 самых популярных моделей OpenRouter выросла с 26,8% в октябре 2025 года до 71,7% в конце сентября 2026-го. В июле показатель на время достиг 77,5%. Причина в цене: в среднем открытые модели на OpenRouter стоят примерно в четыре раза дешевле закрытых. С весны 2026 года они обрабатывают больше половины токенов среди самых востребованных моделей. Разрыв в качестве при этом остаётся.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…