Рубрика развивается при поддержке HP logo intel logo Advertisement

С помощью дипфейков дублирование фильмов сделали «полноценным» — будто актёры изначально говорят на нужных языках Статьи редакции

Нейросеть подстраивает мимику актёра под дублированную речь.

Изображение компании Flawless

Британская компания Flawless выпустила программный пакет TrueSync, который с помощью нейросетей синтезирует движения губ и лицевых мышц актёров так, как если бы они говорили на другом языке. Это позволяет добиться иллюзии того, что актёры в фильме произносят реплики из дубляжа, а не из оригинальной звуковой дорожки.

По словам представителей компании, их программный пакет, использующий глубокое машинное обучение, сохраняет все нюансы и эмоции исходного материала. TrueSync замещает лицо актёра дипфейком с учётом оригинальной мимики, чтобы не потерять тонкости игры актёра.

Дипфейки уже использовали в искусстве для «воскрешения» умерших музыкантов, и вот теперь их применение добралось до кинематографа. Технология неидеальна — в некоторых моментах видны недочёты работы дипфейка, которые могут создавать эффект «зловещей долины». Также возникает вопрос, насколько фильм с таким «визуальным дубляжом» близок к тому, что хотел выразить режиссёр с актёрами.

{ "author_name": "Никита Логинов", "author_type": "editor", "tags": ["\u043d\u043e\u0432\u043e\u0441\u0442\u0438","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u043a\u0438\u043d\u043e","\u0434\u0438\u043f\u0444\u0435\u0439\u043a\u0438"], "comments": 72, "likes": 89, "favorites": 35, "is_advertisement": false, "subsite_label": "tech", "id": 378441, "is_wide": true, "is_ugc": false, "date": "Fri, 07 May 2021 12:11:28 +0300", "is_special": false }
Advertisement
0
72 комментария
Популярные
По порядку
Написать комментарий...

Первичный микрофон

96

Комментарий удален по просьбе пользователя

Ответить
41

Надо было какой-нибудь монолог из Red Alert 2, я бы слег

Ответить
5

я уже от твоего коммента погиб, не надо еще видосом добивать))

Ответить
0

Энд ХанРед Энд ФоРти чего-то там… До сих пор в голове сидит этот акцент…

Ответить
2

Откуда? Или сами сделали?

Ответить

Первичный микрофон

Ilya.A—Petya.A's
1

Комментарий удален по просьбе пользователя

Ответить

Фирменный крюк

34

Вот вам тест дата, дублируйте с мимикой

Ответить
3

Блин как же реалистично

Ответить
1

Шикардос!

Ответить
1

круто

Ответить
0

какой-то странный Юэн Макгрегор\

Ответить
0

ВСЕХ..БЛЯТ..НАХ.../должно сработать

Ответить
27

Выглядит нереалистично от слова совсем

Ответить
4

Это еще раз подтверждает что том круз в тиктоке реальный. А то что дипфейк просто легенда

Ответить
21

С помощью дикпиков

Ответить
7

с ними работают только переводы гоблина

Ответить
1

Что об этом думают сами актеры - вот это важно

Ответить
45

На протяжении всей истории Голливуда и студийного кинематографа мнение актеров не имело значения.

Ответить
5

Раньше да, а теперь попробуй заткнуть этих недовольных

Ответить
4

Помнишь бучу насчет искусственного омоложения актеров("Ирландец")? Все же успокоились уже. Технологии нельзя остановить, потому что они увеличивают прибыль студий, которые и являются двигателем. А так как в США кино делается на частные деньги, там и через государство не добьешься особо регуляций и ограничений. 

Ответить
2

Короч, с Ирландцем актеры дали согласие, не понимая как всрато выйдет - подписи стоят. Тут будет аналогичная ситуация, кто то согласится, кто то нет, шушеру спрашивать не станут. А вот какой получится результат - уже вопрос. Я все сказал

Ответить
0

Вот бы нейросеть перерисовала ту сцену "избиения".... Или хотя бы удалила её из моей головы

Ответить
0

Все идет к еще большему разделению на условный "высокий театр" и "попкорн блокбастеры". Не хочешь чтоб студия делала с твоим лицом и жопой все для максимизации прибыли ? Пиздуй в театр!
.
Это история аналогичная лягушке в кипятке. Они ведь промолчали когда вокруг повесили хромокей а теперь хули рыпаться.

Ответить
2

Мнение актёров выражают профсоюзы, и они вполне влиятельны

Ответить
9

А ЧТО ДУМАЕТ ВЕРНИК?

Ответить
1

Я думал Крутой

Ответить
5

Верник тоже крутой

Ответить

Фирменный крюк

Никита
1
Ответить
1

ах ты ж содомит))) где ты откопал эту реликвию?)

Ответить

Инвестиционный американец

13

Стоп, разве создатели этого дерьма не видят сами, что это не смотрибельно от слова совсем? Нижняя часть лица просто съебала от верхней в Воронеж и живёт отдельной жизнью с детьми и ипотекой

Ответить
5

Любая технология вначале говно, а потом развивается и достигает лучших результатов

Ответить
1

Сука, как же бесит эта фраза тупая «от слова совсем»! Чтоб автору этой херни пусто было

Ответить

Инвестиционный американец

Vova
0

Ты чего такой злой? Доброе нужно к людям быть!

Ответить

Тюремный бас

4

дубляж убивает кино

Ответить

Сознательный Никита

Тюремный
15

кино убивает дубляж

Ответить

Гражданский дым

Сознательный
2

убийство дублирует кино

Ответить

Бесплатный месяц

11

Комментарий удален по просьбе пользователя

Ответить
2

Ну нормально, но когда прислать начал, то нижняя часть лица прямо отдельно от остального лица как будто. 

Ответить
8

В коментах перепись душнил ноющих что дубляж для быдла

Ответить
0

Пока не так и много душнил

Ответить
6

Просто напомню что существует bad lip reading и эти ваши нейросети не могут быть круче профессионалов дубляжа.

Ответить
–6

Столько трудов ради людей, неспособных прочитать субтитры. 

Ответить
1

То есть ради большинства.

Ответить
1

Смотря где. В России да. В США зарубежное кино большинство смотрит как раз с субтитрами.

Ответить
0

А много зарубежного кино им вообще приходится смотреть? Дублируют то у нас чаще всего как раз с английского.

Ответить
1

Очевидно, что меньше, чем у нас. Однако это не меняет сути, американцы почему-то спокойно читают субтитры и не парятся, но в некоторых других странах людям прям очень тяжело.
Те же "Паразиты" в 2019м были одним из самых популярных фильмов и у них не было никакого дубляжа.

Ответить
0

Комментарий удален по просьбе пользователя

Ответить
3

лесной болван

Ответить

Гражданский дым

Alexey
1

беги лес, которым управляют, беги!

Ответить

Гражданский дым

Гражданский
0

Получи велосипеды! Давайте получим его? Давай! Выглядит эффективно! Мы собираемся получить его!

Ответить

Ключевой Никита

2

вау додумались до приема из видеоигр когда движок анимации подстраивается под звук
теперь как это работало на практике в ведьмаке 3

Ответить
3

это работает только для процедурно генерируемой мимики. Если снимать ее с помощью motion capture, то не выйдет. Вот как раз похожая технология может быть применима и для игр. И делать она это может даже качественнее, чем в фильмах.

Ответить
3

Ещё на Source такое было

Ответить

Гражданский дым

1

мимики, чтобы не потерять тонкости игры актёра.

Ну а врать так зачем? Как это реализуется? На мимике конкретного актера нейросеть училась? 

Ответить
4

 Ну а врать так зачем?

Иначе корову не продать

Ответить
2

Комментарий удален по просьбе пользователя

Ответить
2

Том Хэнкс говорящий по-японски, это, конечно, сильно.

Ответить
1

Штукенция полезная, наконец перестанет раздражать, когда они губами в перевод не попадают. 

Ответить
0

штош, теперь авторы синхронного перевода останутся без работы

Ответить
0

Те кто на первом курсе Щуки, у меня для вас плохие новости...

Ответить
0

Комментарий удален по просьбе пользователя

Ответить
0

Страшно на самом деле, к каким негативным вещам может привести эта технология.

Ответить
0

Да, именно для этого используют дипфейки, А НЕ ДЛЯ ТОГО, ЧТОБЫ НАРУШАТЬ ПРАВА ГРАЖДАН РФ ВЕЗДЕ И ВСЮДУ.

Ответить
0

Дублирование фильмов – на самом деле редкое зло, оно превращает все фильмы в однородную безликую массу по стилю речи и перевода, поскольку переводчики и актеры дубляжа одни и те же, и они гонят план по объемам. В большинстве развитых стран дубляжа не делают, ограничиваются только субтитрами (кроме детских фильмов). Навык чтения сабов прокачивается очень быстро и вообще перестаёт доставлять неудобство, зато вы слышите оригинальные интонации и оригинальные голоса актёров. С этой точки зрения, даже гнусавые переводы эпохи VHS были лучше, потому что монотонный голос через какое-то время начинает восприниматься, как подстрочник — я регулярно ловлю себя на том, что вспоминаю в голове сцены, звучащие голосами актёров, но с текстами каких-нибудь Визгунова или Гаврилова. Дубляж втройне зло, когда он не наложен на оригинальную дорожку, а целиком заменяет её. Если я хочу смотреть Хауса, я  хочу интонаций Хью Лори, а не их пародирование каналом ТНТ. Включайте субтитры, котаны. Потом не сможете смотреть дубляжа. 

Ответить
0

Блин, надо переделать так Властелин колец, в переводе Гоблина! А то иногда озвучка не попадает)))

Ответить
Читать все 72 комментария
Обсуждаемое
Новости
В Петербурге вынесли первый приговор за сбитого электросамокатом ребёнка — обязательные работы и штраф 200 тысяч рублей
Из-за наезда мальчик упал и ударился головой об асфальт.
Беларусь
Фото: Встреча Светланы Тихановской с Джо Байденом в Белом доме
По её словам, со встречи она вышла с уверенностью, что «голос миллионов жителей страны был услышан».
Спорт
«Даже если тебе это не нравится, нужно принимать»: испанский гимнаст ответил Татьяне Навке
Он удивился, что олимпийская чемпионка не поддерживает других спортсменов, а осуждает их.
Популярное за три дня
Новости
«Видимо, обыск»: к главному редактору признанного «иноагентом» The Insider пришла полиция
Как сообщил его коллега, Роман Доброхотов должен был сегодня улететь из России.
Беларусь
Фото: Встреча Светланы Тихановской с Джо Байденом в Белом доме
По её словам, со встречи она вышла с уверенностью, что «голос миллионов жителей страны был услышан».
Музыка
Умер один из основателей группы Slipknot, барабанщик Джои Джордисон
Музыканту было 46 лет.
null