Рубрика развивается при поддержке
Advertisement

15 лет за 15 дней: как российский стартап омолодил актёра из «Бригады» и превратил дипфейки в бизнес Статьи редакции

TJ поговорил с главой DeepCake — одним из немногих и самых крупных игроков на этом рынке в России.

В последние годы в голливудских фильмах всё чаще оживляют или «омолаживают» актёров — среди примеров и Пол Уокер из «Форсажа», и Кэрри Фишер в «Звёздных войнах», и Арнольд Шварценеггер в последних трёх «Терминаторах». Однако если раньше это делали вручную с помощью визуальных эффектов, то теперь на помощь цифровым художникам приходят нейросети — например, они помогли омолодить Роберта Де Ниро в «Ирландце».

9 сентября в сервисе Premier стартовал сериал «Контакт», в котором актёра Павла Майкова («Бригада») омолодили на 15 лет с помощью технологии наложения лиц с помощью нейросетей deepfake. Это стало первым подобным случаем для российского телевидения и стриминговых сервисов.

Цифровое омоложение для ТНТ провела российская компания DeepCake. До этого она уже воссоздавала с помощью дипфейков персонажа из «Ивана Васильевича» для рекламы «Сбера», а также поместила Брюса Уиллиса в рекламу «Мегафона».

TJ узнал подробности о первом нейросетевом омоложении на российском телевидении из первых рук — от гендиректора компании DeepCake Марии Чмир.

Как проходили съёмки дипфейк-сцены «Контакта»

Сериал «Контакт» рассказывает о конфликте поколений в эпоху соцсетей, где половина жизни происходит в реальности, а другая часть — в виртуальной среде. Бывший оперативник Глеб Барнашов (Павел Майков) работает в отделе по делам несовершеннолетних, но испытывает проблемы с дочерью Юлей, которая проводит много времени в соцсетях. Поэтому он просит одного из подростков добавиться в друзья к дочери и отдать ему пароль от страницы, а затем начинает с ней переписываться.

В одном из эпизодов герой мысленно возвращается на 15 лет назад. Для правдоподобности авторы решили использовать не обычный грим, а технологию наложения лиц с помощью дипфейков.

По словам главы Deepcake, переговоры с ТНТ длились несколько месяцев. Производственная команда сериала присматривалась к компании, а инженеры проводили тесты с демонстрациями возможностей технологии. В итоге продюсеры остановились на технологии дипфейков — они поняли, что это дешевле традиционных методов.

На стороне заказчика были опасения, поэтому альтернативой являлся классический компоузинг (ручное наложение с помощью VFX-художников, прим. TJ). Но наше решение оказалось в разы дешевле и давало более естественный результат.

Мария Чмир
гендиректор DeepCake
Мария Чмир Фото из личного архива

Главной сложностью для команды оказалось то, что к моменту работы над «Контактом» сцену с Павлом Майковым уже сняли без учёта будущей генерации лица. Из-за этого многие эпизоды оказались «с непростым светом», но инженеры не теряли надежды восоздать реалистичный образ при наличии качественных данных. Для этого они обратились к сериалу «Бригада», где тоже снимался Майков.

Мы искали подходящие по цветовой коррекции сцены в сериале «Бригада», а затем адаптировали найденные кадры под задачу — повысили разрешение, поработали с контрастом (всё-таки легендарный проект снимался 20 лет назад).

Когда «тренировочные» данные были готовы, началось обучение нейросети: сначала мы обучили алгоритм на лицах молодого Майкова, затем сгенерировали этот образ в нужных сценах.

Мария Чмир

Как устроена технология, которую использовала DeepCake

Для омоложения в сериале «Контакт» компания применила face-de-aging — технологию, которая объединяет лица настоящего человека в кадре и цифрового дублёра. В сцене из прошлого снялся сам Майков, а на монтаже поверх его лица нейросети наложили маску с ним же, но более молодым. Авторам упростило работу то, что дублёр и актёр оказались одним человеком, но сложности возникли из-за возрастных изменений актёра.

С одной стороны нам повезло, потому что наш «дублёр» — это и есть герой. Но на его лице отразились дополнительные 20 лет, и это сделало процесс омоложения затруднительным. Если бы у нас была возможность подключиться к проекту на более ранней стадии, мы бы предложили привлечь к съёмкам дублёра, ровесника героя.

Мария Чмир

Первый результат генерации нуждался в доработке, поэтому команда дополнительно обучала алгоритм на конкретных участках лица: например, область лба особенно выдавала реальный возраст актёра. Инженеры с одной стороны старались убрать морщины, а с другой — не превратить лицо в «маску», сохранив оригинальную текстуру кожи. Всего на работу потратили 15 дней.

Что нужно учитывать во время съёмки сцены с нейросетями

В июле DeepCake опробовала новый подход к съёмкам — «нейросетевой супервайзинг». В компании создали модель, которая позволяет воссоздать лицо героя поверх лица дублёра за несколько минут. Это позволяет режиссёру увидеть демонстрацию прямо на съёмочной площадке и сразу решить, переснимать сцену или двигаться дальше.

Нам было важно дать режиссёру инструмент быстрого принятия решения, подходит ли та или иная сцена для последующей работы алгоритмов. Цена ошибки была высока, нужно знать наверняка. 10 минут — и нужный герой на плейбеке. Если всё окей, двигаемся дальше или переснимаем дубль.

Мария Чмир

Впервые новый подход опробовали на съёмках проекта «Напарники» — рекламы для «Мегафона» с участием нейросетевого Брюса Уиллиса. Актёр даже не появлялся на площадке, но получил за участие около миллиона долларов, а его образ воссоздали на основе кадров из фильмов.

Как компания создала нейроклон Брюса Уиллиса и открыла новую бизнес-нишу для знаменитостей

Чмир назвала работу над «Напарниками» прорывом. По её словам, это уникальный проект в мировом масштабе — голливудский актёр впервые поучаствовал в проекте в виде цифровой копии, причём не разово, а в многосерийном формате.

По задумке авторов, Уиллис вместе с телеведущим Азаматом Мусагалиевым попадают в разные ситуации, из которых выбираются с помощью «Мегафона».«Напарники» состоят из 15 эпизодов, первый из которых снял «Найшуллер», постепенно к двум героям обещают добавить и других персонажей — компания хочет создать целую вселенную.

Как отметила глава DeepCake, это создаёт новую нишу бизнеса для знаменитостей. Они могут монетизировать свой образ, не прикладывая никаких усилий, а съёмочная группа — сэкономить время, силы и деньги.

Мы открываем для рынка новую бизнес-модель: селебрити могут монетизировать образ без дополнительных усилий (Брюс подписал контракт, остальное — дело наших алгоритмов), а бренды и продюсеры — экономить на участие звёзд в своих проектах.

Потому что кроме снижения стоимости гонорара мы вычитаем расходы на логистику и страховку, сопровождающую команду. Для крупных кинопроектов речь идёт о сохранении десятков миллионов долларов.

Мария Чмир

Чего ждать в будущем от нейросетей в кино и рекламе

По словам Чмир, в России проще продвигать использование дипфейков в кино, тогда как продюсеры в США, наоборот, более осторожны. В отечественном кино готовы рискнуть из-за ограниченных бюджетов, считает глава DeepCake.

Отечественные продюсеры готовы экспериментировать больше, чем американские — прежде всего из-за дефицита бюджета, который вынуждает их проявлять изобретательность. Мы сейчас выходим на рынок Штатов и там продюсерам нужны гарантии, а у нейронных сетей с этим не всегда стабильно.

Мария Чмир

В будущем DeepCake хочет превратить технологию дипфейков в обыденный инструмент для воскрешения, омоложения и решения проблем с мимикой. Чмир считает, что нейросети начнут использовать на съёмках повсеместно, а на рынке появится новая профессия дублёра для алгоритмов.

На самом деле DeepCake — это кастинг-агентство будущего, где вместо «белковых» актёров (обычных людей, прим. TJ) можно нанять для участия в проекте цифровую копию кого угодно — абсолютно легально, с высочайшим реализмом и полным супервайзингом. Правда, вместо гримёров и парикмахеров у этих селебрити будут нейронные сети.

Кроме этого, появится новая профессия — дублер цифровой реплики. Это люди, которые будут исполнять роль холста для ИИ-клонов селебрити. Конечно, до тех пор, пока мы не научимся качественно воссоздавать цифровые тела.

Мария Чмир

Чмир не уточнила, насколько выгодно работать с нейросетями, и не ответила на вопросы о показателях бизнеса DeepCake. Гендиректор компании отметила, что сейчас инвесторы оценивают стартап в 10 миллионов долларов, но в ближайшие полгода оценку планируют увеличить минимум вдвое.

В ответ на вопросы о показателях Чмир прислала исследование о рынке «технологий цифровых близнецов». Из него следует, что по состоянию на 2020 год всю сферу оценивают в 3,3 миллиарда долларов, но к 2028 году оценка вырастет до 28 миллиардов долларов. Ключевыми драйверами роста станут индустрии виртуальной и дополненной реальности.

{ "author_name": "Дамир Камалетдинов", "author_type": "editor", "tags": ["\u0441\u0435\u0440\u0438\u0430\u043b\u044b","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u0438\u043d\u0442\u0435\u0440\u0432\u044c\u044e","\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b","deepfake"], "comments": 51, "likes": 57, "favorites": 51, "is_advertisement": false, "subsite_label": "tech", "id": 436664, "is_wide": true, "is_ugc": false, "date": "Wed, 22 Sep 2021 16:10:13 +0300", "is_special": false }
0
51 комментарий
Популярные
По порядку
Написать комментарий...

Проблему со взглядом, смотрю, пока не побороли

37

Выглядит как стендапер Серега Орлов

31

А слева - Бушеми

3
Почтовый томагавк_два

Выглядит хреново. Эффект сглаживания лица в китайских смартах выглядит более естественно

6

так же не побороли проблему оператора с синдромом Паркинсона

5

да если честно выглядит будто просто блюр 3 раза прожали на однотонных участках кожи. морщины заменили на сильную замыленность

1

Так и есть. Алгоритмов для распознавания рожи лица предостаточно уже. Заюзал на каждом кадре, исключил глаза, брови, рот, ноздри, волосы, уши. Убрал резкие переходы в темные цвета (морщины) Заблюрил. Ничего иного в этом великом стартапе не видно. ред.

0

15 лет за 15 дней.
Я сначала подумал, что опять кого-то посадили

23

Что за хуйня на первой картинке? Такой дипфейк делает любой смартфон с включённым бьютификатором.

9
Почтовый томагавк_два

Это нейронные сети скотина! Машин лёрнинг и искусственный интеллект, пёс!
Ты ничего не понимаешь! Заткнись, а то сделку сорвёшь!!

19

Вот это по-нашему, по-пацански! Держи краба, бро. Тока не Машин лёрнинг, а мэшин.

0

Классика киберпанка, 1991 год

1
Почтовый томагавк_два

Сам ты мэшин-мэншн. А тут машина!

0

Зачем вы делаете пуш для этой новости?
Мне вообще все равно, эта статья не может быть релевантной для всех пользователей TJ.

12

1. Это не новость
2. Мы пушим не исходя из релевантности ДЛЯ ВСЕХ пользователей, а исходя из внутреннего понимания важных или уникальных материалов

1

TJ поговорил с главой DeepDarkFantasies

Хочу такой пост

6
Удивленный инструмент

300 bucks и будет тебе пост

6

♂F@#KIИG SLAVES♂

3
Хитрый блик

♂FUCKING ROSTISLAVES♂

3
Неясный Орзэмэс

а для статьи про похитителя ароматов тоже 300 долларов надо палучаеца?

0

Это вообще хороший показатель интереса к материалу — закидывайте деньги, будем делать

1

Чем только не заняты хипсторы, лишь бы ничем полезным.

7

Но на его лице отразились дополнительные 20 лет, и это сделало процесс омоложения затруднительным

Так ваш проект для этого и позвали, не?

3

Как отметила глава DeepCake, это создаёт новую нишу бизнеса

3
Странный паркур

@Denis Shiryaev как эксперт, можете прокомментировать?

2

Из заголовка подумал, что опять кого-то посадили или срок продлили

2

Прям Серёга Орлов получился)

2
Армейский Никита

Косяк с глазами.. бросается в глаза

1

Уиллис? Я все время думал, что это просто хмурый Нагиев.

1

Актер, конечно, из майкова никакой. Играет фальшивенько.

0

А по мне так замечательно играет. Не случайно он сейчас в нескольких сериалах подвизается на главных ролях.

1

В ответ на вопросы о показателях Чмир прислала исследование о рынке «технологий цифровых близнецов». Из него следует, что по состоянию на 2020 год всю сферу оценивают в 3,3 миллиарда долларов, но к 2028 году оценка вырастет до 28 миллиардов долларов. Ключевыми драйверами роста станут индустрии виртуальной и дополненной реальности.

До 38 миллиардов, а не 28

0
Новый браслет

Вообще как-то это не очень красиво - подсовывать людям фальшивку. Увидел когда Уиллиса в рекламе тоже не мог понять, с одной стороны вроде он, с другой стороны в некоторых движениях как будто что-то не то. А потом прочитал, что его оказывается сделали искусственно. По-моему лучше было бы живого и такого какой есть посадить, чем дорисовывать.
Опять же для демонстрации компьютерных возможностей круто, но показывать людям официально и выдавать за правду ну как-то не комильфо по-моему.

0

Ты че экранизации MARVEL не смотрел/а?)

0
Новый браслет

Я не очень много внимания этому придаю. Знаю Бэтмэна, Супермэна, Человека-паука и прочих героев, но как-то не особо вникал в противостояния Marvel и DC. А если они там что-то нарисовали, то ок, понял. С нынешними уплавнялками вообще многое выглядит настолько неестественным, что доработки эти приходится отключать.

0

Ничего там не рисовали. Так же омолодили уже существующих. В отсутствие актёров никто их не пририсовывал. То ли дело звёздные войны.

0
Полноценный огонь

Там смысл был в том, что ему лень было ехать в Россию. Поэтому он просто лицо сторговал - и всё, тут уже наложили. В статьях писали, тип это первый раз, когда сторговали виртуальное лицо

0
Новый браслет

Да, читал. Тоже как-то не очень гуд. Есть фильм с Биллом Мюреем где он будучи известным актёром приезжает к япошкам только для того, чтобы прорекламировать алкогольный напиток. Не смогли вытащить Брюса из Штатов? Ну тогда притащили бы Азамата в Штаты к Брюсу и сняли бы там. Вряд ли бы он отказался. Но опять же круче бы было.

0

подсовывать людям фальшивку

Какая-то странная предъява. Давай тогда кроме документалок ничего не снимать, чтобы никаких фальшивок

0

А можно так Машу Бабко из пусть говорят "остарить"?

0

Держи, не благодари

0
Философский каякер

просит одного из подростков добавиться в друзья к дочери и отдать ему пароль от страницы, а затем начинает с ней переписываться

нет ни одного варианта вселенной, в котором это не было бы началом инцест-порнорассказа

0
Непонятный химик
0

На самом деле DeepCake — это кастинг-агентство будущего, где вместо «белковых» актёров (обычных людей, прим. TJ)

мясных мешков 🤖

0

белковые мешки 

0

Он - Григорий Давыдович, конечно, - посмотрел на наши выкладки и сказал, помню: "Да-а. Это, мальчики, не термоядерный реактор. И даже не ядерный. Именно поэтому очень было бы хорошо. Но сыро. Очень сыро. И желявы полно". Он четыре вида человеческой деятельности различал: помимо нормальной еще "велю" - это когда командуют много, "желяву" - это когда желаемое вперед действительного вылезает, и "бебшик" - это когда, кроме суеты, вообще ничего нет. "Так вот, - говорит, - желявы у вас полно."

0

Deep-fake клоны знаменитостей обесценят рынок медийных личностей, там весь смысл в том, что образ могут использовать не все, кто хочет. И из-за денег, и по причине занятости этой знаменитости!
А мы в итоге придём к дешёвой таргетированной рекламе, где для каждого пользователя будет показываться один и тот же ролик, но с лицом той "знаменитости", которая привлечёт больше внимания для конкретного человека.

0
Читать все 51 комментарий
null