Россиянин улучшил «Чебурашку» с помощью нейросети, повысив частоту смены кадров в секунду до 50. Мультфильм стал плавнее Материал редакции

Алгоритм может помочь аниматорам с небольшими бюджетами, считает автор ролика.

В закладки

Ведущий подкаста Zavtracast Максим Зарецкий увеличил частоту смены кадров в секунду (FPS) в мультфильме «Чебурашка» 1971 года с 7-8 до 50 с помощью нейросети DAIN AI — децентрализованной системы, использующей для вычислений множество компьютеров одновременно. TJ поговорил с автором сгенерированного ролика.

Ну что же. "Чебурашка" с дорисованной нейросеткой DAIN AI анимацией всё-таки закодился под YouTube (смотреть только в 720p).

Если любопытно, я продолжу с другими кукольными мультиками.
https://www.youtube.com/watch?v=-VELzks3a8U&feature=youtu.be

Для генерации ролика Зарецкий использовал DAIN APP — бесплатную нейросеть, которая позволяет интерполировать новые кадры и генерировать больший FPS, чем в оригинальном видео. Автор видео пожаловался на сырость программы: «Сейчас DAIN APP очень медленная и работает исключительно на видеокартах с актуальной версией CUDA. HD она просто не переваривает».

Разница заметна только качестве 720p

Зарецкий отметил, что 18-минутный мультфильм в разрешении 320p просчитался на Ryzen 2600x/RTX 2080 примерно за 12 часов: «Это при условии, что алгоритм поднимает количество кадров ровно в два раза в сравнении с исходным видео. Если сравнивать с алгоритмами в телевизорах, то разница большая, потому что она исключает артефакты и дёрагнье при резких движениях. Алгоритм не теряет глубину картинки во время достраивания, да и каждый кадр достраивается отдельно а не „на лету“, отсюда выше качество».

Кукольную анимацию Зарецкий выбрал, потому что у неё постоянное количество FPS. Сначала он опробовал DAIN на мультсериале «Принц-дракон», но оказалось, что скорость анимации сильно «скачет».

The Dragon Prince FPS x2 with DAIN (Depth-Aware Video Frame Interpolation) https://t.co/Rglzh2tXdf

Потом Зарецкий попробовал алгоритм на стоп-моушен мультфильме «Варежка»: «Алгоритм показал себя куда лучше и ровнее. На кукольном мультфильме эффект заметен сразу, потому что нейросеть достраивает промежуточные фазы сама».

Автор роликов признаёт, что алгоритм пока не идеален: «Есть небольшие артефакты при монтажных склейках. Когда камера двигается на нормальной скорости в 25 FPS, кажется, словно алгоритм ошибается. Но он просто пока не может определять вариативность FPS в анимации. И всё равно из всех видов лучше всего для интерполяции подходит стоп-моушен, поскольку он просто ровнее».

Проект Зарецкий создал для веселья, а не для того, чтобы «исправлять» стоп-моушен, который считает стилем, а не ограничением. При этом автор полагает, что алгоритм может помочь аниматорам с небольшими бюджетами.

Если развивать DAIN, то может мы наконец увидим того же «Принца-дракона» без явных попыток сэкономить — недостающие ключевые кадры будет достраивать нейросеть. Выиграет и аниме, где недостаток плавности анимации очень частая проблема, особенно в телевизионных релизах.

Максим Зарецкий

Следующим мультфильмом, в котором Зарецкий решил увеличить частоту кадров в секунду, стал «Падал Прошлогодний Снег». Он отметил, что нейросеть «упала» четыре раза, пока тот отвечал на вопросы TJ.

Я не могу выложить видео Падал Прошлогодний Снег в 50fps, потому что YouTube наглухо его блокирует.

И тут я вспомнил. Порнхаб. Щас будет.
Падал Прошлогодний Снег в 50fps (DAIN AI). Смотреть в 720p.

Да, Порнхаб. Зато тут высокий FPS без костылей и видео не блокируют наглухо.
https://rt.pornhub.com/view_video.php?viewkey=ph5e3031e16c045

В 2019 году с помощью интерполяции улучшали «Тома и Джерри» до 60 FPS. Но тогда плавность мультфильма оценили не все.

Спасибо за наводку Илюша
{ "author_name": "Илюша", "author_type": "self", "tags": ["\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u0432\u0438\u0434\u0435\u043e"], "comments": 60, "likes": 87, "favorites": 34, "is_advertisement": false, "subsite_label": "internet", "id": 139092, "is_wide": false, "is_ugc": false, "date": "Mon, 27 Jan 2020 18:11:34 +0300", "is_special": false }
0
{ "id": 139092, "author_id": 94386, "diff_limit": 1000, "urls": {"diff":"\/comments\/139092\/get","add":"\/comments\/139092\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/139092"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 214343, "last_count_and_date": null }
60 комментариев
Популярные
По порядку
Написать комментарий...
56

Выглядит  более дёргано, чем оригинал и оттого всрато.

Или я чего-то не понимаю?

Ответить
3

На ютубе открой и качество выбери правильное

Ответить
13

Блин, везде где двигаются неодушевлённые объекты - круто. Везде где есть анимация персонажей вижу какую-то странную "неправильность" и дёрганость. Может надумал себе...

Ответить
3

Зловещая долина

Ответить
1

Но оригинал-то её не вызывает, хотя ещё более автоматронный

Ответить
1

вкусовщина, конечно, но это, видимо, потому что не надо из кукольного мульта пытаться делать некукольный.

Ответить
0

Ключевые кадры руинят. А вот между ними плавно.

Ответить
14

Хоть и чувак отбитый имбицил, из-за ебанутых реплик которого я перестал слушать завтракаст. Но видео збс, как и технология.
Жду когда "день студента реанимируют"

Ответить
–4

Завтракаст дно, примерно с момента, когда челы задумались о бабле и начали запикивать мат

Ответить
6

Ух какие негодяи, решили денег заработать!

Ответить
0

Нет, молодцы, я им долго донатил. Но когда деньги — единственный мотиватор, то получается печалька, искусственный смех Тимура и выгоревший никакущий Дима

Ответить
0

Мне у них больше заходит шоу на Ютубе, где они без формата обсуждают всё, что им интересно. Там они поживее, чем в подкасте

Ответить
1

Ну, ютаб в метро не послушаешь :(

Ответить
0

Ты про тот самый «День студента», где на хате трусят девки с парнями?

Ответить
0

А есть еще какой-то?

И чего так некоторые к нему привязались, первая порнуха и первый секрет от родителей в жизни что ли

Ответить
3

Не вижу разницы

Ответить
5

Ждём Простоквашино в 4К😋

Ответить
–4

В чем отличие? Такая же лажа

Ответить
5

Открой на Ютюбе в 720 и наступит просветление, сансара, нирвана и всяка печаль пройдёт

Ответить
–1

НЕ УВИДЕЛ РАЗНИЦЫ ВСЁ РАВНО! Может ещё где-то можно открыть чтобы увидеть :) ?
На рутубе, в коубе, во вконтакте или фейсбуке, где ещё открыть? ОООО может в инстраграме попробовать открыть?

Ответить
4

Оригинал лучше.

Ответить
8

Своей естественностью. Мой мозг ничего не смущает. В "прилизанной" версии из-за плавности создаётся впечатление, что фигуры слегка ожили, что довольно крипово.

Ответить
0

Книга лучше

Ответить
0

Винил лучше. 

Ответить
3

Вот оригинал для сравнения

Ответить
2

В оригинале вижу несколько иную цветовую гамму. Разницу в движении увидеть не получилось — может не туда смотрю? 🤔

Ответить
0

А сложно увидеть то, чего особо то и нет, если только ваши глаза не графическая карта, а ваш мозг не процессор который способен обрабатывать кадры с бешеной скоростью.

Ответить
1

Открой на Ютюбе в 720 и увидишь. Там реально по другому

Ответить
3

Выглядит оч стрёмно. Из-за того что в некоторых кадрах не так много движений, ощущение, что куски вырезали. С таким же успехом можно было на обычном софте дома поднять ФПС. Что нейросеть тут сделала?

Ответить
0

Если ты банально поднимешь фпс с 25 кадров до 50, то будет один из 2 бестолковых вариантов. Это фрейм блендинг или фрейм фриз. Т.е или первый кадр будет наложен на второй кадр поверх с прозрачностью, в результате получая третий с призрачным ореолом, как в примере с Том и Джерри выше.  Или же каждый кадр будет просто копироваться и повторятся второй раз, не делая существенной разницы и просто дублируя кадр. Но в примере с Чебурашкой, тут второй кадр - это полноценный отдельный кадр, который как будто должен был быть между 2мя кадрами, как отснятое промежуточное движение.. Другое дело, что в кукольном мультике плавность движения кукол вообще не должна предполагаться, поэтому для многих это выглядит крипово.

Ответить
0

Ок, понял, спасибо. Т.е. по сути нейронка должна рисовать «реальные» кадры на основе соседних, а не как сейчас делают это ТВ-процессоры плодя соседние кадры. Так почему же так плохо выглядит? Должен же быть обратный эффект. Или это из-за кукольной анимации? Возможно в этом случае смешанный вариант нейронка+полукадры подошел бы лучше.

Ответить
1

Ага. Тв процы банально делают фрейм блендинг, генеря шлейфы. Ну и как добавил выше, тут не предполагалось вообще плавности, в захвате движения кукол) И неизвестно с каким фрейм рейтом ориг мультик, что то мне подсказывает что там гораздо меньше 24 кадров полноценного движения в секунду. Т.е. там скажем 24 кадра в цифровом видео где движение и смена кадров только в 14 кадрах, остальные просто задублированы, и из-за этого получается такая странная крипота. Кажется автор это учитывал и специально перенес увеличение кадров на кукольный мультик. Хочется посмотреть как эта штука будет работать со старыми фильмами типа Кинг-Конга или первого терминатора, где спецэффекты должны были быть плавными, но у них не получалось. Наверно помнишь как первый терминатор двигался, рывками. Видимо это взбесило Кэмерона и он создал Бездну где получилось создать нужную плавность CGI, а потом эту технологию одолжил Спилберг на динозавров в первый парк юрского и понеслось.

Ответить
0
Ответить
–6

Но ведь глаз видит только 24 кадра в секунду

Ответить
9

Это у лохов. Нормальные пацаны смело смотрят на 25-й кадр.

Ответить
0

только на него

Ответить
0

Епта, ну я же это не серьезно

Ответить
2

Как будто на ускорении 1.5 смотришь. НУ ТАКОЕ
У меня синдром утенка, не трогайте пожалуйста старые мультики, они прекрасны такими, какими есть, не трогайте, пожалуйста, ну ни нада 😢

Ответить
2

Жду когда выйдет в 4к, тогда и посмотрю

Ответить
1

Без обработки не лучше, а привычней. Нужно спрашивать у тех, кто не смотрел старые мультики. 

Ответить
1

где 4К блеать!

Ответить
1

Комментарий удален по просьбе пользователя

Ответить
1

Не увидел никакой разницы!

Ответить
0

А между реальностью?

Ответить
0

Ну, разве что МЕЖДУ!

Ответить
1

Эта тема с искусственным добавлением кадров в кино уже давно мусолится. В совеременных телеках уже по умолчанию включена эта фича типа true motion,  известные кинорежиссеры и актеры просят производителей телеков убрать ее, якобы портится художественная задумка автора. И действительно, кино классически снимается на 24 кадрах, а когда картинка становится плавнее, появялется ощущение как будто смотришь документалку по натгео или реалити шоу. Тут по моему мнению эта фича так же неуместна

Ответить
0

Правильно, если снимать кино с частотой 24 кадра, а потом пытаться сделать больше, что говнотелики и делают, то получится говно. Показывать нужно с той частотой кадров, с корой снимается, тогда будет всё в порядке. Реальная скорость будет соответствовать той, с корой снимали, и на экране ничего замедленно не будет, и выглядеть будут супер плавно переходы между кадрами.
Точно не уверен, но я так считаю почему-то :)

Ответить
0

Хоббита сняли в 48фпс,  далеко не все поклонники были довольны. Кажется даже отменили показ фильма в 48 кадров и снизили частоту

Ответить
0

Так может говнотелики качество и поломали, а добрая половина юзеров даже и не знает что у них телик херню сам дорисовывает и там куча непонятных алгоритмов включено.
Ещё раз повторю, снимать и воспроизводить нужно с одной и той же частотой кадров, тогда наверное должно быть всё нормально.
Хотя хз. Под нормально я имею ввиду, как если бы человек был на реальных съёмках и смотрел непосредственно на оригинальные сцены.

Ответить
0

Его так сняли из-за 3д. Мол в аватаре моушен в 3д очень был смазанным из-за того что не хватало кадров на глаз. И типа повышенное число кадров должно было это исправить. Хз как получилось в итоге, не смотрел Хоббита в 3д с 48кадрами. Но Кэмерон собирался использовать эту фичу в Аватаре 2 и плотно общался с Питером Джексоном во время съемок Хоббита

Ответить
0

А последние модели телеков кста уже на лету вставляют кадры  не хуже чем на роликах из сабжа, может только на сверхдинамичных сценах рвут немного

Ответить
1

Лучшее видео на порнохабе которое я видел.

Ответить
–11

Вот супер плавное видео в 100500К с частотой 100500 фпс, оно настолько плавное что вы даже не заметите никакого движения.

П.С. Прикреплено не фото, а видео, и оно сразу идёт! просто всё настолько плавно, что кажется что я прикрепил простую картинку, но это не так.
Чубурашка на максимальках. Суперплавнее сделать просто не реально!

Ответить
0

 DAIN AI какой-то сайт с криптой открывает, кто-то видел нормальный алгоритм?

Ответить
0

Как я понял, они сделали платформу для запуска нейронок, участникам которой платят своей криптой.

Ответить
0

Любителей нейронок не устроило что SmoothVideo Project не нагружает их 2080 и работает в реалтайме?

Ответить
0

Эффект зловещей долины

Ответить

Комментарий удален

Обсуждаемое
Дизайн и архитектура
Российская раковина для мужиков
В результате нескольких сотен тысяч часов исследований НИИ UX Live представляет уникальную российскую разработку — раковина для мужчин.
Разборы
Залине Маршенкуловой угрожают из-за поддержки девушек из порноклипа Тилля Линдеманна. Активистка обратится в полицию
Травлю начали пользователи «Двача», а сообщество азербайджанских националистов объявило награду за «ликвидацию» Маршенкуловой.
Интернет
Тред: Странные и необычные истории со знаменитостями, которых встречали пользователи Твиттера
Увидеть выгуливающего собаку Куклачёва, пожелать хорошего дня Тому Хэнксу в Нью-Йорке, услышать «иди на**й» от Киркорова.
Популярное за три дня
Интернет
Мальчик с дварфизмом хотел убить себя из-за травли. Но его поддержал интернет, Хью Джекман и австралийские спортсмены
В соцсетях в рекордные сроки собрали деньги на поездку ребёнка в Диснейленд и на помощь другим людям, подвергшимся буллингу.
Истории
Столетняя война: почему наше предпринимательство до сих пор одно из самых слабых в мире?
К началу XX века Россия была в числе первых экономик мира (затем нас обошли США). До 1977 года - второй (обогнала Япония), до 1985 года - третьей (уступили Германии). Сегодня Россия вылетела из первой десятки и нас вот-вот обойдёт Южная Корея. Лонгрид о том, какие причины легли в основу этого затяжного падения.
Новости
Каждый 57 россиянин — силовик: главное из исследования «Проекта»
За шесть лет в России стало на 260 тысяч силовиков больше.

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "Article Branding", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cfovy", "p2": "glug" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Баннер в ленте на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "ccydt", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } }, { "id": 20, "label": "Кнопка в сайдбаре", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "chfbk", "p2": "gnwc" } } } ]