С помощью дипфейков дублирование фильмов сделали «полноценным» — будто актёры изначально говорят на нужных языках Статьи редакции

Нейросеть подстраивает мимику актёра под дублированную речь.

Изображение компании Flawless

Британская компания Flawless выпустила программный пакет TrueSync, который с помощью нейросетей синтезирует движения губ и лицевых мышц актёров так, как если бы они говорили на другом языке. Это позволяет добиться иллюзии того, что актёры в фильме произносят реплики из дубляжа, а не из оригинальной звуковой дорожки.

По словам представителей компании, их программный пакет, использующий глубокое машинное обучение, сохраняет все нюансы и эмоции исходного материала. TrueSync замещает лицо актёра дипфейком с учётом оригинальной мимики, чтобы не потерять тонкости игры актёра.

Дипфейки уже использовали в искусстве для «воскрешения» умерших музыкантов, и вот теперь их применение добралось до кинематографа. Технология неидеальна — в некоторых моментах видны недочёты работы дипфейка, которые могут создавать эффект «зловещей долины». Также возникает вопрос, насколько фильм с таким «визуальным дубляжом» близок к тому, что хотел выразить режиссёр с актёрами.

{ "author_name": "Никита Логинов", "author_type": "editor", "tags": ["\u043d\u043e\u0432\u043e\u0441\u0442\u0438","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u043a\u0438\u043d\u043e","\u0434\u0438\u043f\u0444\u0435\u0439\u043a\u0438"], "comments": 72, "likes": 89, "favorites": 35, "is_advertisement": false, "subsite_label": "tech", "id": 378441, "is_wide": true, "is_ugc": false, "date": "Fri, 07 May 2021 12:11:28 +0300", "is_special": false }
0
72 комментария
Популярные
По порядку
Написать комментарий...

Бессмысленный волк

96

Комментарий удален по просьбе пользователя

Ответить
41

Надо было какой-нибудь монолог из Red Alert 2, я бы слег

Ответить
5

я уже от твоего коммента погиб, не надо еще видосом добивать))

Ответить
0

Энд ХанРед Энд ФоРти чего-то там… До сих пор в голове сидит этот акцент…

Ответить
2

Откуда? Или сами сделали?

Ответить

Бессмысленный волк

Ilya.A—Petya.A's
1

Комментарий удален по просьбе пользователя

Ответить

Принятый танк88

34

Вот вам тест дата, дублируйте с мимикой

Ответить
3

Блин как же реалистично

Ответить
1

Шикардос!

Ответить
1

круто

Ответить
0

какой-то странный Юэн Макгрегор\

Ответить
0

ВСЕХ..БЛЯТ..НАХ.../должно сработать

Ответить
27

Выглядит нереалистично от слова совсем

Ответить
4

Это еще раз подтверждает что том круз в тиктоке реальный. А то что дипфейк просто легенда

Ответить
21

С помощью дикпиков

Ответить
7

с ними работают только переводы гоблина

Ответить
1

Что об этом думают сами актеры - вот это важно

Ответить
45

На протяжении всей истории Голливуда и студийного кинематографа мнение актеров не имело значения.

Ответить
5

Раньше да, а теперь попробуй заткнуть этих недовольных

Ответить
4

Помнишь бучу насчет искусственного омоложения актеров("Ирландец")? Все же успокоились уже. Технологии нельзя остановить, потому что они увеличивают прибыль студий, которые и являются двигателем. А так как в США кино делается на частные деньги, там и через государство не добьешься особо регуляций и ограничений. 

Ответить
2

Короч, с Ирландцем актеры дали согласие, не понимая как всрато выйдет - подписи стоят. Тут будет аналогичная ситуация, кто то согласится, кто то нет, шушеру спрашивать не станут. А вот какой получится результат - уже вопрос. Я все сказал

Ответить
0

Вот бы нейросеть перерисовала ту сцену "избиения".... Или хотя бы удалила её из моей головы

Ответить
0

Все идет к еще большему разделению на условный "высокий театр" и "попкорн блокбастеры". Не хочешь чтоб студия делала с твоим лицом и жопой все для максимизации прибыли ? Пиздуй в театр!
.
Это история аналогичная лягушке в кипятке. Они ведь промолчали когда вокруг повесили хромокей а теперь хули рыпаться.

Ответить
2

Мнение актёров выражают профсоюзы, и они вполне влиятельны

Ответить
9

А ЧТО ДУМАЕТ ВЕРНИК?

Ответить
1

Я думал Крутой

Ответить
5

Верник тоже крутой

Ответить

Принятый танк88

Никита
1
Ответить
1

ах ты ж содомит))) где ты откопал эту реликвию?)

Ответить
13

Стоп, разве создатели этого дерьма не видят сами, что это не смотрибельно от слова совсем? Нижняя часть лица просто съебала от верхней в Воронеж и живёт отдельной жизнью с детьми и ипотекой

Ответить
5

Любая технология вначале говно, а потом развивается и достигает лучших результатов

Ответить
1

Сука, как же бесит эта фраза тупая «от слова совсем»! Чтоб автору этой херни пусто было

Ответить
0

Ты чего такой злой? Доброе нужно к людям быть!

Ответить

Смутный дым

4

дубляж убивает кино

Ответить

Принудительный Филипп

Смутный
15

кино убивает дубляж

Ответить

Свободный звук

Принудительный
2

убийство дублирует кино

Ответить

Вольный корабль

11

Комментарий удален по просьбе пользователя

Ответить
2

Ну нормально, но когда прислать начал, то нижняя часть лица прямо отдельно от остального лица как будто. 

Ответить
8

В коментах перепись душнил ноющих что дубляж для быдла

Ответить
0

Пока не так и много душнил

Ответить
6

Просто напомню что существует bad lip reading и эти ваши нейросети не могут быть круче профессионалов дубляжа.

Ответить
–6

Столько трудов ради людей, неспособных прочитать субтитры. 

Ответить
1

То есть ради большинства.

Ответить
1

Смотря где. В России да. В США зарубежное кино большинство смотрит как раз с субтитрами.

Ответить
0

А много зарубежного кино им вообще приходится смотреть? Дублируют то у нас чаще всего как раз с английского.

Ответить
1

Очевидно, что меньше, чем у нас. Однако это не меняет сути, американцы почему-то спокойно читают субтитры и не парятся, но в некоторых других странах людям прям очень тяжело.
Те же "Паразиты" в 2019м были одним из самых популярных фильмов и у них не было никакого дубляжа.

Ответить
0

Комментарий удален по просьбе пользователя

Ответить
3

лесной болван

Ответить

Свободный звук

Alexey
1

беги лес, которым управляют, беги!

Ответить

Свободный звук

Свободный
0

Получи велосипеды! Давайте получим его? Давай! Выглядит эффективно! Мы собираемся получить его!

Ответить

Актуальный Филипп

2

вау додумались до приема из видеоигр когда движок анимации подстраивается под звук
теперь как это работало на практике в ведьмаке 3

Ответить
3

это работает только для процедурно генерируемой мимики. Если снимать ее с помощью motion capture, то не выйдет. Вот как раз похожая технология может быть применима и для игр. И делать она это может даже качественнее, чем в фильмах.

Ответить
3

Ещё на Source такое было

Ответить

Свободный звук

1

мимики, чтобы не потерять тонкости игры актёра.

Ну а врать так зачем? Как это реализуется? На мимике конкретного актера нейросеть училась? 

Ответить
4

 Ну а врать так зачем?

Иначе корову не продать

Ответить
2

Комментарий удален по просьбе пользователя

Ответить
2

Том Хэнкс говорящий по-японски, это, конечно, сильно.

Ответить
1

Штукенция полезная, наконец перестанет раздражать, когда они губами в перевод не попадают. 

Ответить
0

штош, теперь авторы синхронного перевода останутся без работы

Ответить
0

Те кто на первом курсе Щуки, у меня для вас плохие новости...

Ответить
0

Комментарий удален по просьбе пользователя

Ответить
0

Страшно на самом деле, к каким негативным вещам может привести эта технология.

Ответить
0

Да, именно для этого используют дипфейки, А НЕ ДЛЯ ТОГО, ЧТОБЫ НАРУШАТЬ ПРАВА ГРАЖДАН РФ ВЕЗДЕ И ВСЮДУ.

Ответить
0

Дублирование фильмов – на самом деле редкое зло, оно превращает все фильмы в однородную безликую массу по стилю речи и перевода, поскольку переводчики и актеры дубляжа одни и те же, и они гонят план по объемам. В большинстве развитых стран дубляжа не делают, ограничиваются только субтитрами (кроме детских фильмов). Навык чтения сабов прокачивается очень быстро и вообще перестаёт доставлять неудобство, зато вы слышите оригинальные интонации и оригинальные голоса актёров. С этой точки зрения, даже гнусавые переводы эпохи VHS были лучше, потому что монотонный голос через какое-то время начинает восприниматься, как подстрочник — я регулярно ловлю себя на том, что вспоминаю в голове сцены, звучащие голосами актёров, но с текстами каких-нибудь Визгунова или Гаврилова. Дубляж втройне зло, когда он не наложен на оригинальную дорожку, а целиком заменяет её. Если я хочу смотреть Хауса, я  хочу интонаций Хью Лори, а не их пародирование каналом ТНТ. Включайте субтитры, котаны. Потом не сможете смотреть дубляжа. 

Ответить
0

Блин, надо переделать так Властелин колец, в переводе Гоблина! А то иногда озвучка не попадает)))

Ответить
Читать все 72 комментария
Обсуждаемое
Новости
Spectator: главный редактор New York Times запретил сотрудникам расследовать происхождение Covid-19
Журналист издания заявил, что любой материал об искусственном происхождении вируса встречал сопротивление.
Новости
Google анонсировал Pixel 6 и 6 Pro — первые смартфоны компании на собственном мобильном процессоре Tensor
Телефоны покажут только осенью, но Google заранее немного рассказал о них.
Новости
Американец нарушил запрет на общение с бывшей женой — он признался ей в любви, удалённо переименовав плейлисты в Napster
За преследование через метатеги его приговорили к условному сроку.
Популярное за три дня
Новости
Участницы рекламы «ВкусВилла» из семьи с ЛГБТ-парой уехали жить в Испанию
Чтобы начать «новую жизнь».
Беларусь
Белорусская бегунья раскритиковала руководство сборной — и её попытались насильно вывезти из Токио. Главное
Спортсменка запросила убежище в Польше, а её муж уехал из Белоруссии в Киев.
Интернет
Бразильский пловец завоевал бронзу на Олимпиаде в Токио — и повторил мем с парнем, бурно празднующим третье место
32-летний спортсмен всю карьеру шёл к этой медали, а отсылка на главной спортивной «сцене» сделала его героем интернета.
null