Firecrawl Local: скрейпер для агентов стал в 37 раз быстрее и в 230 раз легче по памяти
Firecrawl, сервис превращения сайтов в чистый текст для ИИ-агентов, выпустил Firecrawl Local — версию для запуска у себя. Базовую операцию скрейпа, то есть скачать страницу и очистить её, переписали на Rust: она в 37 раз быстрее прежней self-hosted версии, а в простое занимает 11 МБ, в 230 раз меньше. Такой парсер можно запускать в CI-контейнере рядом с каждым агентом.
AI-обработка оригинала X: @firecrawl; редакция Hamidun News
Firecrawl — сервис, который превращает веб-страницы в чистый текст, понятный языковым моделям, — выпустил Firecrawl Local. Проблема, которую он решает, знакома каждому, кто делает агентов: чтобы модель прочитала документацию или сайт, страницу нужно скачать и очистить от рекламы, меню и скриптов. Раньше локальная self-hosted версия, то есть та, которую команда ставила на собственный сервер, была тяжёлой и неторопливой. Теперь репозиторий пересобран: базовая операция скрейпа, которую авторы называют scrape primitive, написана на Rust, работает в 37 раз быстрее прежней self-hosted версии и в простое занимает всего 11 МБ памяти — в 230 раз меньше. Для разработчика это значит, что парсер можно держать рядом с агентом, а не выносить на отдельную машину.
Что означают цифры
В анонсе три числа. Первое — 37 раз: во столько быстрее выполняется базовая операция «получить страницу и превратить её в чистый текст» по сравнению с прежней self-hosted версией Firecrawl. Второе — 11 МБ в простое: столько памяти занимает процесс, когда никаких запросов нет. Это в 230 раз меньше, чем у прежней версии. Простая арифметика даёт примерно 2,5 ГБ у старого варианта, но это расчёт по заявленным цифрам, а не отдельный замер. Третье — 100% открытый исходный код.
Представьте, что вы тестируете агента в CI. Каждому прогону нужен парсер страниц. Раньше под него приходилось поднимать увесистый сервис с заметным потреблением памяти. Теперь это маленький процесс, который стартует рядом с тестами и почти ничего не ест, пока не нужен.
Совместимость сохранена. По словам Firecrawl, всё работает из коробки с их MCP-серверами и SDK. Если агент уже подключён к Firecrawl через MCP, переезд на локальный вариант не потребует переписывать интеграцию: достаточно сменить адрес, по которому агент ходит за страницами.
Зачем это разработчикам агентов
Первый выигрыш — приватность и стоимость. Если скрейп работает на вашей машине или внутри вашего контура, внутренние адреса, страницы за корпоративным VPN и чувствительные данные не уходят во внешнее облако. Для интрасети, закрытой документации и тестовых стендов это часто единственный приемлемый вариант.
Второй выигрыш — плотность. 11 МБ в простое позволяют запускать сервис в контейнере, на ноутбуке, на небольшом сервере или внутри CI-пайплайна. Можно держать несколько экземпляров параллельно и не следить за счётом за память.
Третий выигрыш — скорость цикла. Агент, который ищет информацию в несколько шагов, ждёт ответа на каждом из них. Когда базовая операция выполняется быстрее, суммарное время ответа падает. В ассистенте, читающем документацию по ходу диалога, это ощущается как «агент стал думать быстрее».
Что стоит проверить
Цифры взяты из анонса самого Firecrawl, независимых замеров в посте нет. Сравнение идёт с прежней self-hosted версией, а не с другими скрейперами, поэтому говорить «быстрее всех на рынке» рано. Ускорение в 37 раз относится именно к базовой операции скрейпа. Полный обход большого сайта, рендеринг страниц с тяжёлым JavaScript и обход антибот-защиты зависят от многих других факторов, и такого ускорения для всего пайплайна ждать не стоит.
Практический план простой. Возьмите репозиторий, прогоните на нём свои реальные страницы и сравните три параметра: время ответа, расход памяти и качество получаемого текста. Особенно проверьте сложные случаи — динамические страницы и длинные таблицы. Если качество не просело, локальный запуск может заменить облачные вызовы в части задач и заодно упростить архитектуру: меньше внешних зависимостей, меньше лимитов, меньше счетов.
Для индустрии это ещё один сигнал: инструменты для агентов уходят от тяжёлых серверных стеков к лёгким открытым компонентам на быстрых языках вроде Rust. Скрейп — базовый кирпич почти любого агента, и чем он легче, тем проще встроить его везде.
- 20 нояб. 2026 г.Standard Bank ускорил проверку ИИ-приложений с двух недель до двух часов
- 20 нояб. 2026 г.Шмидхубер и Пентленд объяснили, почему температура не делает агента любопытным
- 20 нояб. 2026 г.ИИ-агент звонит пациентам перед приёмом: завершённых скринингов на 10% больше, чем с IVR
- 20 нояб. 2026 г.Claude за шесть недель вывел точную границу c/9,1266 в физике чёрных дыр
Вопросы и ответы по материалу
Что известно по теме: что означают цифры?
В анонсе три числа. Первое — 37 раз: во столько быстрее выполняется базовая операция «получить страницу и превратить её в чистый текст» по сравнению с прежней self-hosted версией Firecrawl. Второе — 11 МБ в простое: столько памяти занимает процесс, когда никаких запросов нет. Это в 230 раз меньше, чем у прежней версии. Простая арифметика даёт примерно 2,5 ГБ у старого варианта, но это расчёт по заявленным цифрам, а не отдельный замер. Третье — 100% открытый исходный код. Представьте, что вы тестируете агента в CI.
Что известно по теме: зачем это разработчикам агентов?
Первый выигрыш — приватность и стоимость. Если скрейп работает на вашей машине или внутри вашего контура, внутренние адреса, страницы за корпоративным VPN и чувствительные данные не уходят во внешнее облако. Для интрасети, закрытой документации и тестовых стендов это часто единственный приемлемый вариант. Второй выигрыш — плотность. 11 МБ в простое позволяют запускать сервис в контейнере, на ноутбуке, на небольшом сервере или внутри CI-пайплайна.
Что известно по теме: что стоит проверить?
Цифры взяты из анонса самого Firecrawl, независимых замеров в посте нет. Сравнение идёт с прежней self-hosted версией, а не с другими скрейперами, поэтому говорить «быстрее всех на рынке» рано. Ускорение в 37 раз относится именно к базовой операции скрейпа. Полный обход большого сайта, рендеринг страниц с тяжёлым JavaScript и обход антибот-защиты зависят от многих других факторов, и такого ускорения для всего пайплайна ждать не стоит. Практический план простой.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.