Технологии
Никита Логинов

С помощью дипфейков дублирование фильмов сделали «полноценным» — будто актёры изначально говорят на нужных языках

Нейросеть подстраивает мимику актёра под дублированную речь.

Изображение компании Flawless

Британская компания Flawless выпустила программный пакет TrueSync, который с помощью нейросетей синтезирует движения губ и лицевых мышц актёров так, как если бы они говорили на другом языке. Это позволяет добиться иллюзии того, что актёры в фильме произносят реплики из дубляжа, а не из оригинальной звуковой дорожки.

По словам представителей компании, их программный пакет, использующий глубокое машинное обучение, сохраняет все нюансы и эмоции исходного материала. TrueSync замещает лицо актёра дипфейком с учётом оригинальной мимики, чтобы не потерять тонкости игры актёра.

Дипфейки уже использовали в искусстве для «воскрешения» умерших музыкантов, и вот теперь их применение добралось до кинематографа. Технология неидеальна — в некоторых моментах видны недочёты работы дипфейка, которые могут создавать эффект «зловещей долины». Также возникает вопрос, насколько фильм с таким «визуальным дубляжом» близок к тому, что хотел выразить режиссёр с актёрами.

#дипфейки #нейросети #кино #новости