AWS добавила в SageMaker AI авторазметку и синтетические данные для обучения моделей
Подготовка данных для дообучения съедает недели: разметка дорогая, в наборах прячутся дубликаты и утечки ответов. Amazon добавила в SageMaker AI инструменты, где жюри из нескольких моделей размечает строки, а сомнительные уходят экспертам на проверку. Там же есть генерация синтетики и проверка качества до старта обучения. Командам с узкой задачей это помогает быстрее собрать чистый датасет.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Любая команда, которая дообучала модель под свою задачу, знает: самое долгое начинается ещё до запуска обучения. Нужно найти или разметить примеры, вычистить дубликаты, привести всё к формату конкретного метода, а потом ещё и убедиться, что в обучающую выборку не просочились ответы из тестовой. Amazon решила закрыть эту боль и расширила SageMaker AI набором возможностей для подготовки данных. Они доступны через Python SDK и через AI-ML skill для кодовых агентов.
Пять кирпичиков вместо самодельного конвейера
Идея AWS в том, чтобы не склеивать вручную инструменты разметки, скрипты генерации и задачи валидации. Каждая возможность работает отдельно, и их можно соединять в цепочку.
Авторазметка работает с неразмеченным набором, с небольшой размеченной затравкой или вовсе без меток. Из коробки доступны классификация, извлечение именованных сущностей, извлечение ответов из текста, порядковые оценки и саммаризация, а свои типы задач можно описать самим. Разметку вы описываете в короткой спецификации, и она сначала проверяется на ваших примерах, а уже потом применяется ко всему набору. Для задач с фиксированным набором ответов каждую строку размечает жюри из нескольких моделей, а степень их согласия превращается в оценку уверенности.
Строки с низкой уверенностью попадают в очередь на ручную проверку в SageMaker Studio. Там используется открытый Label Studio Community Edition, а внешние эксперты заходят по ссылке. Их правки возвращаются в авторазметку и улучшают следующий проход.
Синтетические данные генерируются по спецификации и могут опираться на ваши документы и затравочные примеры. Сервис выдаёт код конвейера генерации, который можно прочитать, изменить и запускать повторно.
Оценка качества проверяет набор по вашим бизнес-правилам, встроенным метрикам и метрикам с LLM в роли судьи. Она ищет дубликаты и почти-дубликаты, а также проблемы, о которых вы не подумали: шум в метках и утечки ответов. Преобразование данных чистит и перестраивает набор: можно описать изменение обычными словами и получить код, взять готовые операции вроде дедупликации, слияния, разбиения и фильтрации или запустить свой Python.
Как это выглядит на практике
AWS приводит пример команды, которая проверяет ИИ-ассистента поддержки. В руководстве написано, что сброс к заводским настройкам стирает сохранённые параметры, и важно, чтобы ассистент не забывал об этом предупредить. Команда загружает руководство как контекст и описывает нужные вопросы и эталонные ответы. Затем с помощью агента просматривает составленную спецификацию, генерирует небольшую пробную партию и сверяет записи с руководством. После этого запускает оценку качества, отдаёт спорные ответы эксперту, правит спецификацию или чистит дубликаты, догенерирует примеры и проверяет набор ещё раз.
Для сквозного сценария предлагается такая цепочка: сгенерировать данные по документам, преобразовать их в формат для SFT, DPO или обучения с подкреплением, проверить на дубликаты, утечки и нарушения правил и только потом запускать обучение через SageMaker AI model customization. Проверка перед обучением важна: вычислительные ресурсы дорогие, и жалеть их стоит именно на этом шаге.
Отдельно AWS приводит отзыв Splunk (компания Cisco). Для продукта Agent Observability им нужны модели-оценщики, а данных под такие узкие задачи не хватает. В Splunk говорят, что с помощью синтетической генерации быстро получают представительные наборы, сохраняющие закономерности исходных данных. Это слова клиента из пресс-материала, независимых цифр здесь нет.
Контроль и ограничения
Сервис работает с ролью IAM, которой вы управляете. Исходные данные, сгенерированные наборы и метки лежат в ваших бакетах S3 в выбранном регионе. Возможности общедоступны только в US East (N. Virginia) и US West (Oregon), так что европейским командам с требованиями к размещению данных придётся подождать.
AWS сама рекомендует не писать спецификации вручную, а создавать их с помощью агента, а потом читать результат. Это честная подсказка: качество синтетики и авторазметки зависит от того, насколько точно описана задача. Жюри из моделей снижает риск ошибок, но не заменяет эксперта, и порог уверенности придётся подбирать под свою предметную область. Публичных замеров точности и экономии времени в анонсе нет.
Практический вывод простой. Если вы дообучаете небольшую модель под узкую задачу или собираете набор для оценки агентов, стоит попробовать начать с одной задачи: описать её агенту, посмотреть спецификацию и пробную выборку и только потом масштабировать. Главная ценность здесь не в генерации как таковой, а в том, что проверка качества и участие человека встроены в тот же процесс.
- 20 нояб. 2026 г.Amazon SageMaker запустила полное дообучение LLM: 90% верных решений по коду
- 20 нояб. 2026 г.Anthropic выручила на IPO $81,3 млрд и обошла рекорд SpaceX в $75 млрд
- 20 нояб. 2026 г.AWS разбила внедрение ответственного ИИ для агентов на 3 фазы за 12 недель
- 20 нояб. 2026 г.Anthropic собрала на IPO $104,8 млрд, но обязательства на инфраструктуру — $1 трлн
Вопросы и ответы по материалу
Что известно по теме: пять кирпичиков вместо самодельного конвейера?
Идея AWS в том, чтобы не склеивать вручную инструменты разметки, скрипты генерации и задачи валидации. Каждая возможность работает отдельно, и их можно соединять в цепочку. Авторазметка работает с неразмеченным набором, с небольшой размеченной затравкой или вовсе без меток. Из коробки доступны классификация, извлечение именованных сущностей, извлечение ответов из текста, порядковые оценки и саммаризация, а свои типы задач можно описать самим.
Что известно по теме: как это выглядит на практике?
AWS приводит пример команды, которая проверяет ИИ-ассистента поддержки. В руководстве написано, что сброс к заводским настройкам стирает сохранённые параметры, и важно, чтобы ассистент не забывал об этом предупредить. Команда загружает руководство как контекст и описывает нужные вопросы и эталонные ответы. Затем с помощью агента просматривает составленную спецификацию, генерирует небольшую пробную партию и сверяет записи с руководством.
Что известно по теме: контроль и ограничения?
Сервис работает с ролью IAM, которой вы управляете. Исходные данные, сгенерированные наборы и метки лежат в ваших бакетах S3 в выбранном регионе. Возможности общедоступны только в US East (N. Virginia) и US West (Oregon), так что европейским командам с требованиями к размещению данных придётся подождать. AWS сама рекомендует не писать спецификации вручную, а создавать их с помощью агента, а потом читать результат.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.