Технологии
Яна Ломакина

Nvidia научила нейросеть анимировать 3D-модель лица только на основе голоса

Бета-версия Audio2Face с поддержкой русского языка доступна для скачивания.

Программа Audio2Face работает на основе открытой платформы Nvidia Omniverse, позволяющей создавать модели в режиме реального времени. На основе аудиозаписей технология искусственного интеллекта Nvidia делает 3D-анимацию лица, сообщает журнал PC Gamer.

Компания начала выкладывать демонстрационные видео и обучающие ролики весной 2021 года, а теперь на сайте компании можно скачать открытую бета-версию программы. Технология может создавать анимацию как на основе готового файла, так и в реальном времени. Для этого нужно загрузить в приложение уже имеющуюся звуковую дорожку или говорить в микрофон.

Пример анимации Audio2Face  Видео Nvidia 

Демонстрационная версия использует модель персонажа Digital Mark, но для работы можно взять лицо с любыми чертами. Также анимацию, предназначенную для одного персонажа, можно перенести на другого — например, с человека на носорога.

Демонстрация переноса анимации мимики с Digital Mark на 3D-модель носорога 

Программа поддерживает четыре языка: английский, французский, итальянский и русский. В компании обещают, что в будущем Audio2Face сможет обрабатывать любые языки.

* * *

Похожие технологии создавали и раньше. Например, нейросеть Wav2Lip может адаптировать готовое видео с говорящим лицом под аудиозапись речи.

Видео из телеграм-канала @denissexy 

#новости #нейросети #nvidia #анимация