Россиянин улучшил «Чебурашку» с помощью нейросети, повысив частоту смены кадров в секунду до 50. Мультфильм стал плавнее Статьи редакции

Алгоритм может помочь аниматорам с небольшими бюджетами, считает автор ролика.

Ведущий подкаста Zavtracast Максим Зарецкий увеличил частоту смены кадров в секунду (FPS) в мультфильме «Чебурашка» 1971 года с 7-8 до 50 с помощью нейросети DAIN AI — децентрализованной системы, использующей для вычислений множество компьютеров одновременно. TJ поговорил с автором сгенерированного ролика.

Ну что же. "Чебурашка" с дорисованной нейросеткой DAIN AI анимацией всё-таки закодился под YouTube (смотреть только в 720p).

Если любопытно, я продолжу с другими кукольными мультиками.
https://www.youtube.com/watch?v=-VELzks3a8U&feature=youtu.be

Для генерации ролика Зарецкий использовал DAIN APP — бесплатную нейросеть, которая позволяет интерполировать новые кадры и генерировать больший FPS, чем в оригинальном видео. Автор видео пожаловался на сырость программы: «Сейчас DAIN APP очень медленная и работает исключительно на видеокартах с актуальной версией CUDA. HD она просто не переваривает».

Разница заметна только качестве 720p

Зарецкий отметил, что 18-минутный мультфильм в разрешении 320p просчитался на Ryzen 2600x/RTX 2080 примерно за 12 часов: «Это при условии, что алгоритм поднимает количество кадров ровно в два раза в сравнении с исходным видео. Если сравнивать с алгоритмами в телевизорах, то разница большая, потому что она исключает артефакты и дёрагнье при резких движениях. Алгоритм не теряет глубину картинки во время достраивания, да и каждый кадр достраивается отдельно а не „на лету“, отсюда выше качество».

Кукольную анимацию Зарецкий выбрал, потому что у неё постоянное количество FPS. Сначала он опробовал DAIN на мультсериале «Принц-дракон», но оказалось, что скорость анимации сильно «скачет».

The Dragon Prince FPS x2 with DAIN (Depth-Aware Video Frame Interpolation) https://t.co/Rglzh2tXdf

Потом Зарецкий попробовал алгоритм на стоп-моушен мультфильме «Варежка»: «Алгоритм показал себя куда лучше и ровнее. На кукольном мультфильме эффект заметен сразу, потому что нейросеть достраивает промежуточные фазы сама».

Soviet stop-motion movie Varezhka with DAIN (50fps) https://t.co/PZP654YAY3

Автор роликов признаёт, что алгоритм пока не идеален: «Есть небольшие артефакты при монтажных склейках. Когда камера двигается на нормальной скорости в 25 FPS, кажется, словно алгоритм ошибается. Но он просто пока не может определять вариативность FPS в анимации. И всё равно из всех видов лучше всего для интерполяции подходит стоп-моушен, поскольку он просто ровнее».

Проект Зарецкий создал для веселья, а не для того, чтобы «исправлять» стоп-моушен, который считает стилем, а не ограничением. При этом автор полагает, что алгоритм может помочь аниматорам с небольшими бюджетами.

Если развивать DAIN, то может мы наконец увидим того же «Принца-дракона» без явных попыток сэкономить — недостающие ключевые кадры будет достраивать нейросеть. Выиграет и аниме, где недостаток плавности анимации очень частая проблема, особенно в телевизионных релизах.

Максим Зарецкий

Следующим мультфильмом, в котором Зарецкий решил увеличить частоту кадров в секунду, стал «Падал Прошлогодний Снег». Он отметил, что нейросеть «упала» четыре раза, пока тот отвечал на вопросы TJ.

Я не могу выложить видео Падал Прошлогодний Снег в 50fps, потому что YouTube наглухо его блокирует.

И тут я вспомнил. Порнхаб. Щас будет.
Падал Прошлогодний Снег в 50fps (DAIN AI). Смотреть в 720p.

Да, Порнхаб. Зато тут высокий FPS без костылей и видео не блокируют наглухо.
https://rt.pornhub.com/view_video.php?viewkey=ph5e3031e16c045

В 2019 году с помощью интерполяции улучшали «Тома и Джерри» до 60 FPS. Но тогда плавность мультфильма оценили не все.

Спасибо за наводку Илюша
{ "author_name": "Илюша", "author_type": "self", "tags": ["\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u0432\u0438\u0434\u0435\u043e"], "comments": 62, "likes": 87, "favorites": 32, "is_advertisement": false, "subsite_label": "internet", "id": 139092, "is_wide": false, "is_ugc": false, "date": "Mon, 27 Jan 2020 18:11:34 +0300", "is_special": false }
0
62 комментария
Популярные
По порядку
Написать комментарий...
56

Выглядит  более дёргано, чем оригинал и оттого всрато.

Или я чего-то не понимаю?

Ответить

Всероссийский хичхакер

Sector
3

На ютубе открой и качество выбери правильное

Ответить
13

Блин, везде где двигаются неодушевлённые объекты - круто. Везде где есть анимация персонажей вижу какую-то странную "неправильность" и дёрганость. Может надумал себе...

Ответить
3

Зловещая долина

Ответить
1

Но оригинал-то её не вызывает, хотя ещё более автоматронный

Ответить
1

вкусовщина, конечно, но это, видимо, потому что не надо из кукольного мульта пытаться делать некукольный.

Ответить
0

Ключевые кадры руинят. А вот между ними плавно.

Ответить
14

Хоть и чувак отбитый имбицил, из-за ебанутых реплик которого я перестал слушать завтракаст. Но видео збс, как и технология.
Жду когда "день студента реанимируют"

Ответить

Истинный татарин

Денис
–4

Комментарий удален по просьбе пользователя

Ответить
6

Ух какие негодяи, решили денег заработать!

Ответить

Истинный татарин

Илюша
0

Комментарий удален по просьбе пользователя

Ответить
0

Мне у них больше заходит шоу на Ютубе, где они без формата обсуждают всё, что им интересно. Там они поживее, чем в подкасте

Ответить

Истинный татарин

Илюша
1

Комментарий удален по просьбе пользователя

Ответить
0

Ты про тот самый «День студента», где на хате трусят девки с парнями?

Ответить
0

А есть еще какой-то?

И чего так некоторые к нему привязались, первая порнуха и первый секрет от родителей в жизни что ли

Ответить
3

Не вижу разницы

Ответить
5

Ждём Простоквашино в 4К😋

Ответить

Центральный пистолет

–4

В чем отличие? Такая же лажа

Ответить
5

Открой на Ютюбе в 720 и наступит просветление, сансара, нирвана и всяка печаль пройдёт

Ответить
–1

НЕ УВИДЕЛ РАЗНИЦЫ ВСЁ РАВНО! Может ещё где-то можно открыть чтобы увидеть :) ?
На рутубе, в коубе, во вконтакте или фейсбуке, где ещё открыть? ОООО может в инстраграме попробовать открыть?

Ответить

Сельскохозяйственный холод

Центральный
4

Комментарий удален по просьбе пользователя

Ответить

Сельскохозяйстве

Роман
8

Комментарий удален по просьбе пользователя

Ответить
0

Винил лучше. 

Ответить
3

Вот оригинал для сравнения

Ответить
2

В оригинале вижу несколько иную цветовую гамму. Разницу в движении увидеть не получилось — может не туда смотрю? 🤔

Ответить
0

А сложно увидеть то, чего особо то и нет, если только ваши глаза не графическая карта, а ваш мозг не процессор который способен обрабатывать кадры с бешеной скоростью.

Ответить
1

Открой на Ютюбе в 720 и увидишь. Там реально по другому

Ответить
3

Выглядит оч стрёмно. Из-за того что в некоторых кадрах не так много движений, ощущение, что куски вырезали. С таким же успехом можно было на обычном софте дома поднять ФПС. Что нейросеть тут сделала?

Ответить
0

Если ты банально поднимешь фпс с 25 кадров до 50, то будет один из 2 бестолковых вариантов. Это фрейм блендинг или фрейм фриз. Т.е или первый кадр будет наложен на второй кадр поверх с прозрачностью, в результате получая третий с призрачным ореолом, как в примере с Том и Джерри выше.  Или же каждый кадр будет просто копироваться и повторятся второй раз, не делая существенной разницы и просто дублируя кадр. Но в примере с Чебурашкой, тут второй кадр - это полноценный отдельный кадр, который как будто должен был быть между 2мя кадрами, как отснятое промежуточное движение.. Другое дело, что в кукольном мультике плавность движения кукол вообще не должна предполагаться, поэтому для многих это выглядит крипово.

Ответить
0

Ок, понял, спасибо. Т.е. по сути нейронка должна рисовать «реальные» кадры на основе соседних, а не как сейчас делают это ТВ-процессоры плодя соседние кадры. Так почему же так плохо выглядит? Должен же быть обратный эффект. Или это из-за кукольной анимации? Возможно в этом случае смешанный вариант нейронка+полукадры подошел бы лучше.

Ответить
1

Ага. Тв процы банально делают фрейм блендинг, генеря шлейфы. Ну и как добавил выше, тут не предполагалось вообще плавности, в захвате движения кукол) И неизвестно с каким фрейм рейтом ориг мультик, что то мне подсказывает что там гораздо меньше 24 кадров полноценного движения в секунду. Т.е. там скажем 24 кадра в цифровом видео где движение и смена кадров только в 14 кадрах, остальные просто задублированы, и из-за этого получается такая странная крипота. Кажется автор это учитывал и специально перенес увеличение кадров на кукольный мультик. Хочется посмотреть как эта штука будет работать со старыми фильмами типа Кинг-Конга или первого терминатора, где спецэффекты должны были быть плавными, но у них не получалось. Наверно помнишь как первый терминатор двигался, рывками. Видимо это взбесило Кэмерона и он создал Бездну где получилось создать нужную плавность CGI, а потом эту технологию одолжил Спилберг на динозавров в первый парк юрского и понеслось.

Ответить
–6

Но ведь глаз видит только 24 кадра в секунду

Ответить

Автомобильный череп

Артём
9

Это у лохов. Нормальные пацаны смело смотрят на 25-й кадр.

Ответить
0

только на него

Ответить
0

Епта, ну я же это не серьезно

Ответить
2

Как будто на ускорении 1.5 смотришь. НУ ТАКОЕ
У меня синдром утенка, не трогайте пожалуйста старые мультики, они прекрасны такими, какими есть, не трогайте, пожалуйста, ну ни нада 😢

Ответить
2

Жду когда выйдет в 4к, тогда и посмотрю

Ответить
1

Без обработки не лучше, а привычней. Нужно спрашивать у тех, кто не смотрел старые мультики. 

Ответить
1

где 4К блеать!

Ответить
1

Комментарий удален по просьбе пользователя

Ответить
1

Не увидел никакой разницы!

Ответить
0

А между реальностью?

Ответить
0

Ну, разве что МЕЖДУ!

Ответить

Тюремный крюк

1

Эта тема с искусственным добавлением кадров в кино уже давно мусолится. В совеременных телеках уже по умолчанию включена эта фича типа true motion,  известные кинорежиссеры и актеры просят производителей телеков убрать ее, якобы портится художественная задумка автора. И действительно, кино классически снимается на 24 кадрах, а когда картинка становится плавнее, появялется ощущение как будто смотришь документалку по натгео или реалити шоу. Тут по моему мнению эта фича так же неуместна

Ответить
0

Правильно, если снимать кино с частотой 24 кадра, а потом пытаться сделать больше, что говнотелики и делают, то получится говно. Показывать нужно с той частотой кадров, с корой снимается, тогда будет всё в порядке. Реальная скорость будет соответствовать той, с корой снимали, и на экране ничего замедленно не будет, и выглядеть будут супер плавно переходы между кадрами.
Точно не уверен, но я так считаю почему-то :)

Ответить

Тюремный крюк

Игорь
0

Хоббита сняли в 48фпс,  далеко не все поклонники были довольны. Кажется даже отменили показ фильма в 48 кадров и снизили частоту

Ответить
0

Так может говнотелики качество и поломали, а добрая половина юзеров даже и не знает что у них телик херню сам дорисовывает и там куча непонятных алгоритмов включено.
Ещё раз повторю, снимать и воспроизводить нужно с одной и той же частотой кадров, тогда наверное должно быть всё нормально.
Хотя хз. Под нормально я имею ввиду, как если бы человек был на реальных съёмках и смотрел непосредственно на оригинальные сцены.

Ответить
0

Его так сняли из-за 3д. Мол в аватаре моушен в 3д очень был смазанным из-за того что не хватало кадров на глаз. И типа повышенное число кадров должно было это исправить. Хз как получилось в итоге, не смотрел Хоббита в 3д с 48кадрами. Но Кэмерон собирался использовать эту фичу в Аватаре 2 и плотно общался с Питером Джексоном во время съемок Хоббита

Ответить

Тюремный крюк

Игорь
0

А последние модели телеков кста уже на лету вставляют кадры  не хуже чем на роликах из сабжа, может только на сверхдинамичных сценах рвут немного

Ответить
1

Лучшее видео на порнохабе которое я видел.

Ответить
–11

Вот супер плавное видео в 100500К с частотой 100500 фпс, оно настолько плавное что вы даже не заметите никакого движения.

П.С. Прикреплено не фото, а видео, и оно сразу идёт! просто всё настолько плавно, что кажется что я прикрепил простую картинку, но это не так.
Чубурашка на максимальках. Суперплавнее сделать просто не реально!

Ответить
0

 DAIN AI какой-то сайт с криптой открывает, кто-то видел нормальный алгоритм?

Ответить
0

Как я понял, они сделали платформу для запуска нейронок, участникам которой платят своей криптой.

Ответить
0

Любителей нейронок не устроило что SmoothVideo Project не нагружает их 2080 и работает в реалтайме?

Ответить
0

Эффект зловещей долины

Ответить
0

"Сейчас DAIN APP очень медленная и работает исключительно на видеокартах с актуальной версией CUDA. HD она просто не переваривает". - HD не переваривает не программа, а его видеокарта. К тому, же можно использовать разбиение кадров на секции и другие функции программы, чтобы даже слабая видеокарта переварила высокое разрешение, но тогда снизится качество и скорость интерполяции.
"но оказалось, что скорость анимации сильно «скачет»." Для этого тоже есть отдельная опция

Ответить
0

А в 60 fps не судьба была переконвертить?

Ответить

Комментарий удален

Обсуждаемое
Новости
Артемий Лебедев опубликовал удостоверение личности Юлии Навальной с немецким гражданством. А потом признал это фейком
Лебедев заявлял, что документ якобы выдали жене политика два года назад.
Наука
Учёные зафиксировали рекордное замедление Гольфстрима — такой скорости у течения не было как минимум тысячу лет
По мнению исследователей, если глобальное потепление ускорится, океанское течение может полностью остановиться.
Новости
ФБР объявило награду в 250 тысяч долларов за информацию, которая приведёт к аресту Евгения Пригожина
Его разыскивают за попытку повлиять на внутреннюю политику США, включая вмешательство в президентские выборы.
Популярное за три дня
Интернет
Пользователи RuTracker собрали более двух миллионов рублей на жёсткие диски для хранения редких раздач
Краудфандинг решили пока не останавливать.
Интернет
Извините, но президент в одном из других своих замков: расследование о «дворце Путина» в стиле игры про Марио
Поговорили с автором восьмибитной пародии «Супер Царио», где герой путешествует по поместью и встречает множество отсылок на видео Навального.
Twitter
null