Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)

Meshy UltraTex делает из картинки PBR-текстуры 4K без запечённых бликов

Если перенести фото предмета на 3D-модель как есть, блик от лампы «прилипает» к цвету и не двигается при смене света в игре. UltraTex от Meshy AI делает PBR-текстуры 4K: цвет без освещения, рельеф, металличность и шероховатость лежат в отдельных картах. Сначала модель предсказывает цвет и нормали, затем металличность и шероховатость, а шесть ракурсов собираются в одну текстуру. Кода пока нет, только демо.

AI-обработка оригинала TG: @cgevent (Метаверсище и ИИще); редакция Hamidun News
Meshy UltraTex делает из картинки PBR-текстуры 4K без запечённых бликов
Источник: TG: @cgevent (Метаверсище и ИИще). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @cgevent (Метаверсище и ИИще) ↗
Главный редактор
Ключевой факт #1Нормали — карта микрорельефа поверхности для расчёта света
Ключевой факт #2Подсказки визуально-языковой модели помогают определить материал
Ключевой факт #3Код не выложен, лицензия модели на Hugging Face не указана

Представьте, что вы сгенерировали нейросетью металлический сундук для игры по одной фотографии. На превью он выглядит отлично, но стоит повернуть лампу в сцене, и блик остаётся на прежнем месте, а тень от складки не двигается: они «запеклись» прямо в цвет текстуры. 18 ноября на arXiv появилась работа UltraTex от Meshy AI, которая пытается это исправить. Система создаёт PBR-текстуры (физически корректные материалы, где цвет и реакция на свет хранятся в отдельных картах) в разрешении 4K по одному изображению-референсу и старается отделить настоящий цвет материала от теней и бликов исходного освещения.

В чём проблема обычных текстур

Если взять фотографию и перенести её на 3D-модель как есть, вместе с цветом переедет и свет, при котором снимали. Светлое пятно от лампы превращается в «краску» на поверхности. В игровом движке или рендере, где освещение меняется, такая модель выглядит как наклейка.

В PBR-подходе всё устроено иначе. Цвет материала хранится отдельно, а то, как поверхность реагирует на свет, описывают другие карты: нормали (микрорельеф), металличность и шероховатость. Тогда блик возникает при рендере и движется вместе с источником света. Трудность в том, что по одной картинке нужно угадать, где настоящий цвет, а где просто тень или отражение.

Как устроен UltraTex

По описанию авторов, система работает в два этапа. Сначала модель совместно предсказывает для нескольких ракурсов цвет без освещения и нормали поверхности. Затем отдельный этап оценивает металличность и шероховатость.

Чтобы понять, из чего сделан предмет, используются подсказки визуально-языковой модели. Она помогает распознать материал: дерево, металл, пластик, ткань. Например, если модель увидела полированный металл, ей проще решить, что яркое пятно на картинке — отражение, а не светлая краска.

Ещё один приём касается обучения. Модель учат на рендерах с контролируемым освещением, где свет известен заранее. Так предсказания связываются с физическим поведением поверхности, а не только с тем, как картинка выглядит. В описанном процессе карты шести видов собираются в UV-текстуры 4K — то есть в готовый набор разверток, который можно натянуть на 3D-модель.

Практический смысл такой декомпозиции проявляется при смене света в сцене: блик должен перемещаться вместе с источником, а не оставаться нарисованным в цветовой текстуре. Для художников по окружению, студий мобильных игр и тех, кто делает ассеты для AR и интернет-магазинов, это разница между картинкой для превью и ассетом, который можно сразу класть в сцену.

Что пока непонятно и что с этим делать

Работа свежая, и ограничения очевидны. На Hugging Face есть демо, существуют видео и страница проекта, но кода нет, а лицензия модели не указана. Значит, встроить UltraTex в свой пайплайн или дообучить на своих данных сейчас нельзя, а коммерческое использование того, что лежит в репозитории, юридически под вопросом. Сравнений с конкурентами в исходных материалах нет, поэтому качество стоит проверять руками на демо.

Практический вывод для тех, кто работает с 3D и ИИ:

  • Оценивайте сгенерированные ассеты не только при одном освещении. Поверните источник света и посмотрите, остаются ли блики и тени «приклеенными» к текстуре.
  • При выборе инструмента смотрите, отдаёт ли он раздельные карты (цвет без света, нормали, металличность, шероховатость), а не одну картинку.
  • Если вы строите продукт вокруг генерации 3D, следите, выйдет ли код и какую лицензию выберет Meshy. От этого зависит, станет ли UltraTex рабочим инструментом или останется красивым демо.

Meshy AI делает коммерческие сервисы генерации 3D, поэтому подобные идеи могут появиться и в её продуктах, но подтверждённых планов в источнике нет. Пока UltraTex — аккуратная демонстрация направления: от красивых картинок к материалам, которые ведут себя как настоящие при любом свете.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: в чём проблема обычных текстур?

Если взять фотографию и перенести её на 3D-модель как есть, вместе с цветом переедет и свет, при котором снимали. Светлое пятно от лампы превращается в «краску» на поверхности. В игровом движке или рендере, где освещение меняется, такая модель выглядит как наклейка. В PBR-подходе всё устроено иначе. Цвет материала хранится отдельно, а то, как поверхность реагирует на свет, описывают другие карты: нормали (микрорельеф), металличность и шероховатость.

Что известно по теме: как устроен UltraTex?

По описанию авторов, система работает в два этапа. Сначала модель совместно предсказывает для нескольких ракурсов цвет без освещения и нормали поверхности. Затем отдельный этап оценивает металличность и шероховатость. Чтобы понять, из чего сделан предмет, используются подсказки визуально-языковой модели. Она помогает распознать материал: дерево, металл, пластик, ткань. Например, если модель увидела полированный металл, ей проще решить, что яркое пятно на картинке — отражение, а не светлая краска.

Что известно по теме: что пока непонятно и что с этим делать?

Работа свежая, и ограничения очевидны. На Hugging Face есть демо, существуют видео и страница проекта, но кода нет, а лицензия модели не указана. Значит, встроить UltraTex в свой пайплайн или дообучить на своих данных сейчас нельзя, а коммерческое использование того, что лежит в репозитории, юридически под вопросом. Сравнений с конкурентами в исходных материалах нет, поэтому качество стоит проверять руками на демо.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…