Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизНаучная статья · В песочницуAWS Machine Learning Blog→ оригинал

AWS добавила в SageMaker AI авторазметку и синтетические данные для обучения моделей

Подготовка данных для дообучения съедает недели: разметка дорогая, в наборах прячутся дубликаты и утечки ответов. Amazon добавила в SageMaker AI инструменты, где жюри из нескольких моделей размечает строки, а сомнительные уходят экспертам на проверку. Там же есть генерация синтетики и проверка качества до старта обучения. Командам с узкой задачей это помогает быстрее собрать чистый датасет.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS добавила в SageMaker AI авторазметку и синтетические данные для обучения моделей
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Согласие моделей-жюри становится оценкой уверенности для каждой строки
Ключевой факт #2Данные и метки остаются в вашем S3, работает в регионах US East и US West
Ключевой факт #3Формат под SFT, DPO или RL задаётся описанием на обычном языке

Любая команда, которая дообучала модель под свою задачу, знает: самое долгое начинается ещё до запуска обучения. Нужно найти или разметить примеры, вычистить дубликаты, привести всё к формату конкретного метода, а потом ещё и убедиться, что в обучающую выборку не просочились ответы из тестовой. Amazon решила закрыть эту боль и расширила SageMaker AI набором возможностей для подготовки данных. Они доступны через Python SDK и через AI-ML skill для кодовых агентов.

Пять кирпичиков вместо самодельного конвейера

Идея AWS в том, чтобы не склеивать вручную инструменты разметки, скрипты генерации и задачи валидации. Каждая возможность работает отдельно, и их можно соединять в цепочку.

Авторазметка работает с неразмеченным набором, с небольшой размеченной затравкой или вовсе без меток. Из коробки доступны классификация, извлечение именованных сущностей, извлечение ответов из текста, порядковые оценки и саммаризация, а свои типы задач можно описать самим. Разметку вы описываете в короткой спецификации, и она сначала проверяется на ваших примерах, а уже потом применяется ко всему набору. Для задач с фиксированным набором ответов каждую строку размечает жюри из нескольких моделей, а степень их согласия превращается в оценку уверенности.

Строки с низкой уверенностью попадают в очередь на ручную проверку в SageMaker Studio. Там используется открытый Label Studio Community Edition, а внешние эксперты заходят по ссылке. Их правки возвращаются в авторазметку и улучшают следующий проход.

Синтетические данные генерируются по спецификации и могут опираться на ваши документы и затравочные примеры. Сервис выдаёт код конвейера генерации, который можно прочитать, изменить и запускать повторно.

Оценка качества проверяет набор по вашим бизнес-правилам, встроенным метрикам и метрикам с LLM в роли судьи. Она ищет дубликаты и почти-дубликаты, а также проблемы, о которых вы не подумали: шум в метках и утечки ответов. Преобразование данных чистит и перестраивает набор: можно описать изменение обычными словами и получить код, взять готовые операции вроде дедупликации, слияния, разбиения и фильтрации или запустить свой Python.

Как это выглядит на практике

AWS приводит пример команды, которая проверяет ИИ-ассистента поддержки. В руководстве написано, что сброс к заводским настройкам стирает сохранённые параметры, и важно, чтобы ассистент не забывал об этом предупредить. Команда загружает руководство как контекст и описывает нужные вопросы и эталонные ответы. Затем с помощью агента просматривает составленную спецификацию, генерирует небольшую пробную партию и сверяет записи с руководством. После этого запускает оценку качества, отдаёт спорные ответы эксперту, правит спецификацию или чистит дубликаты, догенерирует примеры и проверяет набор ещё раз.

Для сквозного сценария предлагается такая цепочка: сгенерировать данные по документам, преобразовать их в формат для SFT, DPO или обучения с подкреплением, проверить на дубликаты, утечки и нарушения правил и только потом запускать обучение через SageMaker AI model customization. Проверка перед обучением важна: вычислительные ресурсы дорогие, и жалеть их стоит именно на этом шаге.

Отдельно AWS приводит отзыв Splunk (компания Cisco). Для продукта Agent Observability им нужны модели-оценщики, а данных под такие узкие задачи не хватает. В Splunk говорят, что с помощью синтетической генерации быстро получают представительные наборы, сохраняющие закономерности исходных данных. Это слова клиента из пресс-материала, независимых цифр здесь нет.

Контроль и ограничения

Сервис работает с ролью IAM, которой вы управляете. Исходные данные, сгенерированные наборы и метки лежат в ваших бакетах S3 в выбранном регионе. Возможности общедоступны только в US East (N. Virginia) и US West (Oregon), так что европейским командам с требованиями к размещению данных придётся подождать.

AWS сама рекомендует не писать спецификации вручную, а создавать их с помощью агента, а потом читать результат. Это честная подсказка: качество синтетики и авторазметки зависит от того, насколько точно описана задача. Жюри из моделей снижает риск ошибок, но не заменяет эксперта, и порог уверенности придётся подбирать под свою предметную область. Публичных замеров точности и экономии времени в анонсе нет.

Практический вывод простой. Если вы дообучаете небольшую модель под узкую задачу или собираете набор для оценки агентов, стоит попробовать начать с одной задачи: описать её агенту, посмотреть спецификацию и пробную выборку и только потом масштабировать. Главная ценность здесь не в генерации как таковой, а в том, что проверка качества и участие человека встроены в тот же процесс.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: пять кирпичиков вместо самодельного конвейера?

Идея AWS в том, чтобы не склеивать вручную инструменты разметки, скрипты генерации и задачи валидации. Каждая возможность работает отдельно, и их можно соединять в цепочку. Авторазметка работает с неразмеченным набором, с небольшой размеченной затравкой или вовсе без меток. Из коробки доступны классификация, извлечение именованных сущностей, извлечение ответов из текста, порядковые оценки и саммаризация, а свои типы задач можно описать самим.

Что известно по теме: как это выглядит на практике?

AWS приводит пример команды, которая проверяет ИИ-ассистента поддержки. В руководстве написано, что сброс к заводским настройкам стирает сохранённые параметры, и важно, чтобы ассистент не забывал об этом предупредить. Команда загружает руководство как контекст и описывает нужные вопросы и эталонные ответы. Затем с помощью агента просматривает составленную спецификацию, генерирует небольшую пробную партию и сверяет записи с руководством.

Что известно по теме: контроль и ограничения?

Сервис работает с ролью IAM, которой вы управляете. Исходные данные, сгенерированные наборы и метки лежат в ваших бакетах S3 в выбранном регионе. Возможности общедоступны только в US East (N. Virginia) и US West (Oregon), так что европейским командам с требованиями к размещению данных придётся подождать. AWS сама рекомендует не писать спецификации вручную, а создавать их с помощью агента, а потом читать результат.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…