{"id":1027,"title":"\u0422\u0435\u0441\u0442 \u0441 \u0448\u0438\u0444\u0440\u0430\u043c\u0438 \u0438\u0437 \u0435\u0434\u044b: \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u0435 \u043d\u0430 \u0433\u043e\u043b\u043e\u0434\u043d\u044b\u0439 \u0436\u0435\u043b\u0443\u0434\u043e\u043a","url":"\/redirect?component=advertising&id=1027&url=https:\/\/tjournal.ru\/special\/kaleidofood&placeBit=1&hash=e78441adfa5541f8325ce7e485d8d6fd14069d5bcc61d540f7081db4446694b7","isPaidAndBannersEnabled":false}

Nvidia научила нейросеть анимировать 3D-модель лица только на основе голоса Статьи редакции

Бета-версия Audio2Face с поддержкой русского языка доступна для скачивания.

Программа Audio2Face работает на основе открытой платформы Nvidia Omniverse, позволяющей создавать модели в режиме реального времени. На основе аудиозаписей технология искусственного интеллекта Nvidia делает 3D-анимацию лица, сообщает журнал PC Gamer.

Компания начала выкладывать демонстрационные видео и обучающие ролики весной 2021 года, а теперь на сайте компании можно скачать открытую бета-версию программы. Технология может создавать анимацию как на основе готового файла, так и в реальном времени. Для этого нужно загрузить в приложение уже имеющуюся звуковую дорожку или говорить в микрофон.

Пример анимации Audio2Face  Видео Nvidia 

Демонстрационная версия использует модель персонажа Digital Mark, но для работы можно взять лицо с любыми чертами. Также анимацию, предназначенную для одного персонажа, можно перенести на другого — например, с человека на носорога.

Демонстрация переноса анимации мимики с Digital Mark на 3D-модель носорога 

Программа поддерживает четыре языка: английский, французский, итальянский и русский. В компании обещают, что в будущем Audio2Face сможет обрабатывать любые языки.

Похожие технологии создавали и раньше. Например, нейросеть Wav2Lip может адаптировать готовое видео с говорящим лицом под аудиозапись речи.

Видео из телеграм-канала @denissexy 
0
48 комментариев
Популярные
По порядку
Написать комментарий...
Государственный инструмент
Ответить
85
Развернуть ветку
Государственный инструмент

Также анимацию, предназначенную для одного персонажа, можно перенести на другого — например, с человека-человека на животное-животное

Ответить
20
Развернуть ветку
Государственный инструмент

ржомба

Ответить
9
Развернуть ветку
Государственный инструмент

Ржомба-ржомба

Ответить
9
Развернуть ветку
Государственный инструмент

Комментарий удален по просьбе пользователя

Ответить
8
Развернуть ветку
Государственный инструмент

Комментарий удален по просьбе пользователя

Ответить
5
Развернуть ветку
Государственный инструмент

Комментарий удален по просьбе пользователя

Ответить
3
Развернуть ветку
1 2

Крипота) зловещая долина на максималках

Ответить
2
Развернуть ветку
Государственный инструмент

нет тут даже и близко этого

Ответить
8
Развернуть ветку
jibob87715

Как отчасти всегда с нейросетями. Вроде нормально, но очень странное неожиданное искривление губ.

Ответить
0
Развернуть ветку
цорiк

Half life 2 передает привет

Ответить
4
Развернуть ветку
Ivan Egornov

Fallout 1 передает привет. Жаль Interplay и BIS не опубликовали исходники движка и инструментария.

Ответить
1
Развернуть ветку
int3lligent

Разбудите, когда появится нейросеть, способная демонстрировать внешность человека только на основе записи его голоса

Ответить
2
Развернуть ветку
Ranae Est

задроты 10lvl: смотрят погоду на сайте перед выходом на улицу вместо того, чтобы выглянуть в окно.
задроты 99lvl: генерируют свою внешность нейросетью вместо того, чтобы протереть от пыли зеркало.

Ответить
2
Развернуть ветку
Богдан Метельский

Уже есть такая. Нейросеть создаёт лицо по голосу. И работает очень хорошо. Обучали её на видео из ютуба. Сейчас не вспомню название. но поищи в интернете. Пол года назад общего доступа не было.

Ответить
1
Развернуть ветку
испанский смех

rest in cringe

Ответить
2
Развернуть ветку
Владислав Микк

о, говорящий носорог

Ответить
1
Развернуть ветку
Государственный инструмент

Наконец-то путин сможет править вечно, находясь на самоизоляции

Ответить
1
Развернуть ветку
Arthur Sergeev

Такая прога была у меня на диске еще лет 10 -15 назад. Забыл как называется. Туда фотку заливаешь и она генерирует голову, и ты точки передвигаешь на губы и глаза. И любой mp3 файл она воспроизводила. А нвидия только изобрела.

Ответить
1
Развернуть ветку
Fuck Privacy

https://www.youtube.com/watch?v=HRfkXu5SzNg
9 лет назад уже умели

Ответить
1
Развернуть ветку
Marhal_New _Arleana

Пойду сделаю понимаю разговаривающего #. Я чё зря это учился моделить?

Ответить
0
Развернуть ветку
Ёршик Золотой

Было сложно, но я вроде тебя понял. Ты хочешь себе создать собеседники из себя самого же.

Ответить
1
Развернуть ветку
Дизайнер Павленко

кому сложно, а кому раз плюнуть 😁

Ответить
0
Развернуть ветку
Государственный инструмент

Комментарий удален по просьбе пользователя

Ответить
0
Развернуть ветку
Сознательный франт

годных инди поделий
Чем более продвинутые инструменты получают игроделы, тем более однообразный кал они производят.
УЕ4 вышел почти десять лет назад. И сколько на нём вышло хуинди, которые имеют что-то кроме глянцевой картинки и спизженных ассетов?

Ответить
–2
Развернуть ветку
Государственный инструмент

Комментарий удален по просьбе пользователя

Ответить
1
Развернуть ветку
Сознательный франт

Ух, блядь, аж на год позже релиза сделали бесплатным. Ну тогда вопросов нет. 6 лет - это слишком мало, что бы высрать что-то осознанное.

Ответить
0
Развернуть ветку
Матвей Коновалов

И сколько на нём вышло хуинди, которые имеют что-то кроме глянцевой картинки и спизженных ассетов?
A Hat In Time, мне достаточно.

Ответить
0
Развернуть ветку
Сознательный франт

Вышла на уе3.

Ответить
0
Развернуть ветку
Матвей Коновалов

Не суть вообще, UE3/UDK точно так же распространялся по "инди-совместимой" лицензии (пробуй-разрабатывай бесплатно, при выпуске коммерческого продукта заплати $99 и 25% от прибыли сверх $50к)

Игру пилили с 2012 (5 лет), UE4 в свободном доступе не было до 2014.

Deep Rock Galactic довольно веселый кооп, именно на UE4.

Ответить
0
Развернуть ветку
Сознательный франт

Дип рок имеет свой всратый, но оригинальный стиль (хотя может и они тоже спиздили ассеты из очередного лоуполи-пака, кто знает). Моя претензия не к самому движку, а разрабам, включая и инди-разрабов, которые получая лёгкий доступ к созданию красивой картинки не знают что с этим делать дальше. Люди сейчас идут в геймдев не свои идеи реализовывать, не превозмогать ограничения, рождая новые механики - они приходят на ровно накатанную дорожку получать свою зарплату.
Взгляни на обласканную Кену, например. Изумительная картинка, созданная на уе4 малой командой, но за которой скрывается один из самых примитивных геймплеев и безыдейных историй что я когда-либо видел.
Комфорт рождает лень.

Ответить
0
Развернуть ветку
Aram Mirzoyants

еще сыровато, но круто

Ответить
0
Развернуть ветку
mt

В первом видео на 17 секунде видно что анимация идёт невпопад. Во втором в принципе тоже ощущение что основывается не на артикуляции, а просто на амплитуде звука.

Ответить
0
Развернуть ветку
Ivan Egornov

Кто уже успел пощупать? В каких форматах умеет экспортировать липсинк и возможно ли задать свое количество фонем?

Ответить
0
Развернуть ветку
Alexander K

Это что же, получается Моргенштерн виртуальный чтоль?

Ответить
0
Развернуть ветку
Стас Фарбер
Ответить
0
Развернуть ветку
Государственный инструмент

теперь открывающийся просто так рот у всех NPC в elden ring выглядит позором

Ответить
0
Развернуть ветку
aliftin

Кто-то уже пробовал скормить туда голосовухи асем?

Ответить
0
Развернуть ветку
Государственный инструмент

В будущем женщины будут сидеть дома или ходить в бурках, потому что будут общаться в VRe и там будут нереалистичные стандарты красоты, и женщины не захотят чтобы их знакомые увидели как они выглядят на самом деле (плюс все деньги уйдут на внешку аватаров, еще и на косметику и одежду будет уже тяжело). Мужчины будут с поролоновыми мускулами ходить и носки в трусы засовывать.

Ответить
0
Развернуть ветку
Государственный инструмент

Привет тем кто не включает камеру

Ответить
0
Развернуть ветку
van der Pusch

звучит збс

Ответить
0
Развернуть ветку
solawind

Это было ещё лет 10 назад (а может и раньше) в виде анимации фоток под речь. Задача очевидная для нейросети

Ответить
0
Развернуть ветку
Mikhail Gusev

почему это так плохо?

Ответить
0
Развернуть ветку
fullmetalboy48151623 .

Там ещё где-то нейронка аудио генерила на основе голоса. Кажется, так какую-то модификацию ведьмака делали и "озвучили" голосом актёра.
Если спарить эти две нейронки, получится хорошее решение для инди-проектов.

Ответить
0
Развернуть ветку
Like.no.other

Как всегда круто смотреть на положительную сторону развития подобных технологий, и как же пиздец жутко от того как такие штуки могут использоваться для всякого рода пропаганды и дезинформации.

Ответить
0
Развернуть ветку
Иван Карчевский

Ооо, Шрек

Ответить
0
Развернуть ветку
пепси
Ответить
0
Развернуть ветку
Читать все 48 комментариев
null