Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарThe Verge→ оригинал

Suno добавила Visuals: из песни — клип до 15 секунд с липсинком, за отдельные кредиты

Suno, сервис для генерации песен по описанию, добавила Visuals: к готовому треку теперь можно сделать видеоклип. Например, выбираете куплет до 15 секунд, загружаете своё фото, и персонаж поёт текст с липсинком — движением губ в такт вокалу. Картинки для обложки тоже делаются по описанию. Платить нужно отдельными Visuals-кредитами, не песенными, так что клип стоит закладывать в бюджет.

AI-обработка оригинала The Verge; редакция Hamidun News
Suno добавила Visuals: из песни — клип до 15 секунд с липсинком, за отдельные кредиты
Источник: The Verge. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникThe Verge ↗
Главный редактор
Ключевой факт #1Модель H3 Move построена на H3 от компании MiniMax
Ключевой факт #2Фильтры блокируют образы артистов, публичных людей и защищённые IP
Ключевой факт #3Под YouTube-анонсом просят сначала починить звук песен

Suno — сервис, в котором песню можно сгенерировать по текстовому описанию, — теперь умеет делать к ней видео. Новая функция называется Visuals: она берёт кусок трека длиной до 15 секунд и превращает его в клип, где персонаж на экране поёт слова песни с липсинком (то есть губы двигаются в такт вокалу). Ещё она рисует картинки для обложек и превью. Представьте музыканта, который написал трек в Suno и хочет выложить его на YouTube: раньше клип приходилось делать в других программах, теперь первую версию можно собрать там же, а платить за неё придётся отдельно. Ниже — как это устроено и стоит ли пробовать.

Как работает Visuals

Функция доступна в вебе, на iOS и на Android. Вкладка Visuals находится в режиме Create, а в веб-версии её можно открыть и через меню с тремя точками рядом с песней в библиотеке.

Дальше всё делается по шагам. Пользователь выбирает фрагмент трека (максимум 15 секунд) и задаёт опорное изображение, с которого начнётся видео. Вариантов три: один из готовых персонажей Suno, собственное фото или рисунок, либо картинка, сгенерированная прямо в сервисе по описанию. Для картинок можно сразу выбрать соотношение сторон под горизонтальное или вертикальное видео и нужную онлайн-площадку.

Опорный кадр можно сделать первым или последним в клипе. Это удобно, если несколько 15-секундных кусков нужно склеить так, чтобы они продолжали друг друга. Автоматический липсинк включается переключателем, а длину клипа и формат кадра можно менять.

Есть и отдельная монтажная линейка: на ней короткие клипы собирают в длинное видео и добавляют текст песни с настраиваемым оформлением. Для простого клипа сторонний видеоредактор уже не обязателен.

Модель, защита и деньги

По данным The Verge, Visuals работает на модели H3 Move, которая основана на H3 от MiniMax. Suno говорит, что модель «оптимизировали для сообщества» и добавили защитные механизмы. Среди них набор новых текстовых и визуальных фильтров: они должны не давать создавать образы конкретных артистов, публичных людей, а также защищённые авторским правом произведения и IP (интеллектуальную собственность). Насколько хорошо фильтры работают на практике, в источнике не сказано.

Для генерации видео и картинок введены отдельные Visuals-кредиты. Они не совпадают с кредитами, на которые делают песни. Значит, у пользователей появляются дополнительные расходы: музыка и клип оплачиваются раздельно.

Зачем это Suno и что думают пользователи

Visuals идёт после функции Speech, которую Suno представила в октябре для генерации речи и озвучки. Видео — ещё одна попытка расширить платформу за пределы музыки, причём после того, как музыкальный генератор Suno привлёк несколько громких судебных исков.

Не всем это нравится. Под YouTube-роликом о запуске Visuals один из пользователей написал: «ИСПРАВЬТЕ ЗВУК, ПРЕЖДЕ ЧЕМ ДОБАВЛЯТЬ ХЛАМ, КОТОРЫЙ НИКТО НЕ ПРОСИЛ». Другие комментаторы повторяют эту мысль: часть аудитории хочет, чтобы компания улучшала сами песни, а не добавляла новые функции.

Что делать на практике

Если вы делаете музыку в Suno, имеет смысл проверить Visuals на одном-двух своих треках: выбрать припев, загрузить свою картинку и посмотреть, насколько липсинк убедителен. Лимит в 15 секунд на клип означает, что полноценный ролик придётся собирать из нескольких кусков и платить за каждый, а сколько именно стоит один клип, в исходной новости не указано. Поэтому сначала стоит протестировать функцию на коротком отрывке, а уже потом закладывать видео в бюджет проекта.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как работает Visuals?

Функция доступна в вебе, на iOS и на Android. Вкладка Visuals находится в режиме Create, а в веб-версии её можно открыть и через меню с тремя точками рядом с песней в библиотеке. Дальше всё делается по шагам. Пользователь выбирает фрагмент трека (максимум 15 секунд) и задаёт опорное изображение, с которого начнётся видео. Вариантов три: один из готовых персонажей Suno, собственное фото или рисунок, либо картинка, сгенерированная прямо в сервисе по описанию.

Что известно по теме: модель, защита и деньги?

По данным The Verge, Visuals работает на модели H3 Move, которая основана на H3 от MiniMax. Suno говорит, что модель «оптимизировали для сообщества» и добавили защитные механизмы. Среди них набор новых текстовых и визуальных фильтров: они должны не давать создавать образы конкретных артистов, публичных людей, а также защищённые авторским правом произведения и IP (интеллектуальную собственность). Насколько хорошо фильтры работают на практике, в источнике не сказано.

Что известно по теме: зачем это Suno и что думают пользователи?

Visuals идёт после функции Speech, которую Suno представила в октябре для генерации речи и озвучки. Видео — ещё одна попытка расширить платформу за пределы музыки, причём после того, как музыкальный генератор Suno привлёк несколько громких судебных исков. Не всем это нравится. Под YouTube-роликом о запуске Visuals один из пользователей написал: «ИСПРАВЬТЕ ЗВУК, ПРЕЖДЕ ЧЕМ ДОБАВЛЯТЬ ХЛАМ, КОТОРЫЙ НИКТО НЕ ПРОСИЛ».

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…