«Тут есть особая задумка»: режиссёр Сергей Валяев о первом российском клипе, обработанном нейросетями

Постановщик рассказал о том, как снимали видео для группы «Мумий Тролль» и с какими сложностями столкнулась команда.

В закладки

8 марта у группы «Мумий Тролль» вышел клип «Милота», который снял режиссёр, оператор и продюсер Сергей Валяев. Видео было полностью обработано фильтрами из приложения Vinci, работающего на основе искусственного интеллекта и нейросетей.

По сюжету ролика персонаж вокалиста Ильи Лагутенко путешествует в параллельных мирах с сюрреалистичными метафорами и возвращается перерождённым. Помимо нейросетей, в процессе создания видео Валяев использовал необычные приёмы операторской работы.

Режиссёр рассказал TJ, что история изначально предполагалась рисованной, это должно было показать изменённое восприятие героя во время путешествия между мирами.

Сначала я пытался сделать фильтры с нуля, но после множества неудачных попыток натренировать нейросети нужным образом, сменил стратегию. В итоге договорился с Олегом Илларионовым из «ВКонтакте» (он покинул компанию 14 марта), что буду использовать его Vinci.

Сергей Валяев
режиссёр

По словам Валяева, такой же приём использовал режиссёр Ричард Линклейтер в фильмах «Пробуждение жизни» и «Помутнение», но в 2000 году нужно было потратить пару миллионов долларов и много часов на ручное ротоскопирование (прим.TJ — метод создания анимации, когда кадры перерисовывают вручную с уже отснятого материала).

Трейлер «Пробуждения жизни» Ричарда Линклейтера, где использовали ротоскопирование

Режиссёр отметил, что команда хоть и пошла по пути современных технологий, но «так же много ротоскопила» материал. Команда готовилась к съёмкам несколько месяцев. Перед началом работы Валяев записал несколько тестовых роликов, чтобы понять, как выглядят кадры, обработанные нейросетями.

Ещё до съёмок у постановщика был готов полноценный аниматик (прим. TJ — черновой вариант финального видео, состоящий из вручную отрисованных раскадровок) и специальный кран для вращения героя в начале ролика. В производстве клипа поучаствовало около 70 человек, для Валяева это был «психоделический эксперимент» и «самый замороченный проект в техническом плане».

Я использовал редкую оптику и целый пантеон разных камер. Для этого клипа мне пришлось установить почти двухметровый шкаф для содержания дегу (чилийская белка), а Илье Лагутенко пришлось два часа неподвижно медитировать, пока ему стригли бороду, и вытерпеть вращения на каскадёрском гимбале [кране].

Сергей Валяев
режиссёр

Съёмки клипа заняли 8,5 дней, а монтаж и пост-обработка ещё 1,5 месяца. Валяев отметил, что «это был очень интересный эксперимент», но он пока больше не планирует работать с нейросетями и доволен результатом использования фильтров Vinci.

Для меня вопрос пока исчерпан. В целом я думаю что нейросетевые технологии — очевидное будущее. Скоро очень много специалистов в индустрии потеряют свой кусок хлеба из-за нейросеток.

Сергей Валяев
режиссёр

#музыка #технологии #видео #нейросети

{ "author_name": "Дамир Камалетдинов", "author_type": "editor", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u043c\u0443\u0437\u044b\u043a\u0430","\u0432\u0438\u0434\u0435\u043e"], "comments": 16, "likes": 29, "favorites": 10, "is_advertisement": false, "subsite_label": "music", "id": 67800, "is_wide": false, "is_ugc": false, "date": "Sun, 18 Mar 2018 17:03:00 +0300" }
Комментарии

Гуманитарный браслет

2

с каких пор акварельная стилизация стала обзываться "обработкой нейросетью" ?

Музыка
дискуссии в сообществе доступны только владельцам клубного аккаунта
С клубным аккаунтом вы сможете
создавать записи и вести дискуссии в закрытых сообществах
наслаждаться нашим сайтом без рекламы
помочь проекту и почувствовать себя лучше
Купить за 75₽

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } } ]
Не пропустите самое важное,
что происходит в интернете
Подписаться на push-уведомления