Технологии
Дамир Камалетдинов

15 лет за 15 дней: как российский стартап омолодил актёра из «Бригады» и превратил дипфейки в бизнес

TJ поговорил с главой DeepCake — одним из немногих и самых крупных игроков на этом рынке в России.

В последние годы в голливудских фильмах всё чаще оживляют или «омолаживают» актёров — среди примеров и Пол Уокер из «Форсажа», и Кэрри Фишер в «Звёздных войнах», и Арнольд Шварценеггер в последних трёх «Терминаторах». Однако если раньше это делали вручную с помощью визуальных эффектов, то теперь на помощь цифровым художникам приходят нейросети — например, они помогли омолодить Роберта Де Ниро в «Ирландце».

9 сентября в сервисе Premier стартовал сериал «Контакт», в котором актёра Павла Майкова («Бригада») омолодили на 15 лет с помощью технологии наложения лиц с помощью нейросетей deepfake. Это стало первым подобным случаем для российского телевидения и стриминговых сервисов.

Цифровое омоложение для ТНТ провела российская компания DeepCake. До этого она уже воссоздавала с помощью дипфейков персонажа из «Ивана Васильевича» для рекламы «Сбера», а также поместила Брюса Уиллиса в рекламу «Мегафона».

TJ узнал подробности о первом нейросетевом омоложении на российском телевидении из первых рук — от гендиректора компании DeepCake Марии Чмир.

* * *

Как проходили съёмки дипфейк-сцены «Контакта»

Сериал «Контакт» рассказывает о конфликте поколений в эпоху соцсетей, где половина жизни происходит в реальности, а другая часть — в виртуальной среде. Бывший оперативник Глеб Барнашов (Павел Майков) работает в отделе по делам несовершеннолетних, но испытывает проблемы с дочерью Юлей, которая проводит много времени в соцсетях. Поэтому он просит одного из подростков добавиться в друзья к дочери и отдать ему пароль от страницы, а затем начинает с ней переписываться.

В одном из эпизодов герой мысленно возвращается на 15 лет назад. Для правдоподобности авторы решили использовать не обычный грим, а технологию наложения лиц с помощью дипфейков.

По словам главы Deepcake, переговоры с ТНТ длились несколько месяцев. Производственная команда сериала присматривалась к компании, а инженеры проводили тесты с демонстрациями возможностей технологии. В итоге продюсеры остановились на технологии дипфейков — они поняли, что это дешевле традиционных методов.

На стороне заказчика были опасения, поэтому альтернативой являлся классический компоузинг (ручное наложение с помощью VFX-художников, прим. TJ). Но наше решение оказалось в разы дешевле и давало более естественный результат.

Мария Чмир

Мария Чмир

Главной сложностью для команды оказалось то, что к моменту работы над «Контактом» сцену с Павлом Майковым уже сняли без учёта будущей генерации лица. Из-за этого многие эпизоды оказались «с непростым светом», но инженеры не теряли надежды восоздать реалистичный образ при наличии качественных данных. Для этого они обратились к сериалу «Бригада», где тоже снимался Майков.

Мы искали подходящие по цветовой коррекции сцены в сериале «Бригада», а затем адаптировали найденные кадры под задачу — повысили разрешение, поработали с контрастом (всё-таки легендарный проект снимался 20 лет назад).

Когда «тренировочные» данные были готовы, началось обучение нейросети: сначала мы обучили алгоритм на лицах молодого Майкова, затем сгенерировали этот образ в нужных сценах.

Мария Чмир

Как устроена технология, которую использовала DeepCake

Для омоложения в сериале «Контакт» компания применила face-de-aging — технологию, которая объединяет лица настоящего человека в кадре и цифрового дублёра. В сцене из прошлого снялся сам Майков, а на монтаже поверх его лица нейросети наложили маску с ним же, но более молодым. Авторам упростило работу то, что дублёр и актёр оказались одним человеком, но сложности возникли из-за возрастных изменений актёра.

С одной стороны нам повезло, потому что наш «дублёр» — это и есть герой. Но на его лице отразились дополнительные 20 лет, и это сделало процесс омоложения затруднительным. Если бы у нас была возможность подключиться к проекту на более ранней стадии, мы бы предложили привлечь к съёмкам дублёра, ровесника героя.

Мария Чмир

Первый результат генерации нуждался в доработке, поэтому команда дополнительно обучала алгоритм на конкретных участках лица: например, область лба особенно выдавала реальный возраст актёра. Инженеры с одной стороны старались убрать морщины, а с другой — не превратить лицо в «маску», сохранив оригинальную текстуру кожи. Всего на работу потратили 15 дней.

Что нужно учитывать во время съёмки сцены с нейросетями

В июле DeepCake опробовала новый подход к съёмкам — «нейросетевой супервайзинг». В компании создали модель, которая позволяет воссоздать лицо героя поверх лица дублёра за несколько минут. Это позволяет режиссёру увидеть демонстрацию прямо на съёмочной площадке и сразу решить, переснимать сцену или двигаться дальше.

Нам было важно дать режиссёру инструмент быстрого принятия решения, подходит ли та или иная сцена для последующей работы алгоритмов. Цена ошибки была высока, нужно знать наверняка. 10 минут — и нужный герой на плейбеке. Если всё окей, двигаемся дальше или переснимаем дубль.

Мария Чмир

Впервые новый подход опробовали на съёмках проекта «Напарники» — рекламы для «Мегафона» с участием нейросетевого Брюса Уиллиса. Актёр даже не появлялся на площадке, но получил за участие около миллиона долларов, а его образ воссоздали на основе кадров из фильмов.

Как компания создала нейроклон Брюса Уиллиса и открыла новую бизнес-нишу для знаменитостей

Чмир назвала работу над «Напарниками» прорывом. По её словам, это уникальный проект в мировом масштабе — голливудский актёр впервые поучаствовал в проекте в виде цифровой копии, причём не разово, а в многосерийном формате.

По задумке авторов, Уиллис вместе с телеведущим Азаматом Мусагалиевым попадают в разные ситуации, из которых выбираются с помощью «Мегафона».«Напарники» состоят из 15 эпизодов, первый из которых снял «Найшуллер», постепенно к двум героям обещают добавить и других персонажей — компания хочет создать целую вселенную.

Как отметила глава DeepCake, это создаёт новую нишу бизнеса для знаменитостей. Они могут монетизировать свой образ, не прикладывая никаких усилий, а съёмочная группа — сэкономить время, силы и деньги.

Мы открываем для рынка новую бизнес-модель: селебрити могут монетизировать образ без дополнительных усилий (Брюс подписал контракт, остальное — дело наших алгоритмов), а бренды и продюсеры — экономить на участие звёзд в своих проектах.

Потому что кроме снижения стоимости гонорара мы вычитаем расходы на логистику и страховку, сопровождающую команду. Для крупных кинопроектов речь идёт о сохранении десятков миллионов долларов.

Мария Чмир

Чего ждать в будущем от нейросетей в кино и рекламе

По словам Чмир, в России проще продвигать использование дипфейков в кино, тогда как продюсеры в США, наоборот, более осторожны. В отечественном кино готовы рискнуть из-за ограниченных бюджетов, считает глава DeepCake.

Отечественные продюсеры готовы экспериментировать больше, чем американские — прежде всего из-за дефицита бюджета, который вынуждает их проявлять изобретательность. Мы сейчас выходим на рынок Штатов и там продюсерам нужны гарантии, а у нейронных сетей с этим не всегда стабильно.

Мария Чмир

В будущем DeepCake хочет превратить технологию дипфейков в обыденный инструмент для воскрешения, омоложения и решения проблем с мимикой. Чмир считает, что нейросети начнут использовать на съёмках повсеместно, а на рынке появится новая профессия дублёра для алгоритмов.

На самом деле DeepCake — это кастинг-агентство будущего, где вместо «белковых» актёров (обычных людей, прим. TJ) можно нанять для участия в проекте цифровую копию кого угодно — абсолютно легально, с высочайшим реализмом и полным супервайзингом. Правда, вместо гримёров и парикмахеров у этих селебрити будут нейронные сети.

Кроме этого, появится новая профессия — дублер цифровой реплики. Это люди, которые будут исполнять роль холста для ИИ-клонов селебрити. Конечно, до тех пор, пока мы не научимся качественно воссоздавать цифровые тела.

Мария Чмир

Чмир не уточнила, насколько выгодно работать с нейросетями, и не ответила на вопросы о показателях бизнеса DeepCake. Гендиректор компании отметила, что сейчас инвесторы оценивают стартап в 10 миллионов долларов, но в ближайшие полгода оценку планируют увеличить минимум вдвое.

В ответ на вопросы о показателях Чмир прислала исследование о рынке «технологий цифровых близнецов». Из него следует, что по состоянию на 2020 год всю сферу оценивают в 3,3 миллиарда долларов, но к 2028 году оценка вырастет до 28 миллиардов долларов. Ключевыми драйверами роста станут индустрии виртуальной и дополненной реальности.

#интервью #сериалы #нейросети #алгоритмы #deepfake