Россиянин улучшил «Чебурашку» с помощью нейросети, повысив частоту смены кадров в секунду до 50. Мультфильм стал плавнее Статьи редакции
Алгоритм может помочь аниматорам с небольшими бюджетами, считает автор ролика.
Ведущий подкаста Zavtracast Максим Зарецкий увеличил частоту смены кадров в секунду (FPS) в мультфильме «Чебурашка» 1971 года с 7-8 до 50 с помощью нейросети DAIN AI — децентрализованной системы, использующей для вычислений множество компьютеров одновременно. TJ поговорил с автором сгенерированного ролика.
Если любопытно, я продолжу с другими кукольными мультиками.
https://www.youtube.com/watch?v=-VELzks3a8U&feature=youtu.be
Для генерации ролика Зарецкий использовал DAIN APP — бесплатную нейросеть, которая позволяет интерполировать новые кадры и генерировать больший FPS, чем в оригинальном видео. Автор видео пожаловался на сырость программы: «Сейчас DAIN APP очень медленная и работает исключительно на видеокартах с актуальной версией CUDA. HD она просто не переваривает».
Зарецкий отметил, что 18-минутный мультфильм в разрешении 320p просчитался на Ryzen 2600x/RTX 2080 примерно за 12 часов: «Это при условии, что алгоритм поднимает количество кадров ровно в два раза в сравнении с исходным видео. Если сравнивать с алгоритмами в телевизорах, то разница большая, потому что она исключает артефакты и дёрагнье при резких движениях. Алгоритм не теряет глубину картинки во время достраивания, да и каждый кадр достраивается отдельно а не „на лету“, отсюда выше качество».
Кукольную анимацию Зарецкий выбрал, потому что у неё постоянное количество FPS. Сначала он опробовал DAIN на мультсериале «Принц-дракон», но оказалось, что скорость анимации сильно «скачет».
Потом Зарецкий попробовал алгоритм на стоп-моушен мультфильме «Варежка»: «Алгоритм показал себя куда лучше и ровнее. На кукольном мультфильме эффект заметен сразу, потому что нейросеть достраивает промежуточные фазы сама».
Автор роликов признаёт, что алгоритм пока не идеален: «Есть небольшие артефакты при монтажных склейках. Когда камера двигается на нормальной скорости в 25 FPS, кажется, словно алгоритм ошибается. Но он просто пока не может определять вариативность FPS в анимации. И всё равно из всех видов лучше всего для интерполяции подходит стоп-моушен, поскольку он просто ровнее».
Проект Зарецкий создал для веселья, а не для того, чтобы «исправлять» стоп-моушен, который считает стилем, а не ограничением. При этом автор полагает, что алгоритм может помочь аниматорам с небольшими бюджетами.
Если развивать DAIN, то может мы наконец увидим того же «Принца-дракона» без явных попыток сэкономить — недостающие ключевые кадры будет достраивать нейросеть. Выиграет и аниме, где недостаток плавности анимации очень частая проблема, особенно в телевизионных релизах.
Следующим мультфильмом, в котором Зарецкий решил увеличить частоту кадров в секунду, стал «Падал Прошлогодний Снег». Он отметил, что нейросеть «упала» четыре раза, пока тот отвечал на вопросы TJ.
Да, Порнхаб. Зато тут высокий FPS без костылей и видео не блокируют наглухо.
https://rt.pornhub.com/view_video.php?viewkey=ph5e3031e16c045
В 2019 году с помощью интерполяции улучшали «Тома и Джерри» до 60 FPS. Но тогда плавность мультфильма оценили не все.
Блин, везде где двигаются неодушевлённые объекты - круто. Везде где есть анимация персонажей вижу какую-то странную "неправильность" и дёрганость. Может надумал себе...
вкусовщина, конечно, но это, видимо, потому что не надо из кукольного мульта пытаться делать некукольный.
Хоть и чувак отбитый имбицил, из-за ебанутых реплик которого я перестал слушать завтракаст. Но видео збс, как и технология.
Жду когда "день студента реанимируют"
Ты про тот самый «День студента», где на хате трусят девки с парнями?
А есть еще какой-то?
И чего так некоторые к нему привязались, первая порнуха и первый секрет от родителей в жизни что ли
Открой на Ютюбе в 720 и наступит просветление, сансара, нирвана и всяка печаль пройдёт
НЕ УВИДЕЛ РАЗНИЦЫ ВСЁ РАВНО! Может ещё где-то можно открыть чтобы увидеть :) ?
На рутубе, в коубе, во вконтакте или фейсбуке, где ещё открыть? ОООО может в инстраграме попробовать открыть?
В оригинале вижу несколько иную цветовую гамму. Разницу в движении увидеть не получилось — может не туда смотрю? 🤔
А сложно увидеть то, чего особо то и нет, если только ваши глаза не графическая карта, а ваш мозг не процессор который способен обрабатывать кадры с бешеной скоростью.
Выглядит оч стрёмно. Из-за того что в некоторых кадрах не так много движений, ощущение, что куски вырезали. С таким же успехом можно было на обычном софте дома поднять ФПС. Что нейросеть тут сделала?
Если ты банально поднимешь фпс с 25 кадров до 50, то будет один из 2 бестолковых вариантов. Это фрейм блендинг или фрейм фриз. Т.е или первый кадр будет наложен на второй кадр поверх с прозрачностью, в результате получая третий с призрачным ореолом, как в примере с Том и Джерри выше. Или же каждый кадр будет просто копироваться и повторятся второй раз, не делая существенной разницы и просто дублируя кадр. Но в примере с Чебурашкой, тут второй кадр - это полноценный отдельный кадр, который как будто должен был быть между 2мя кадрами, как отснятое промежуточное движение.. Другое дело, что в кукольном мультике плавность движения кукол вообще не должна предполагаться, поэтому для многих это выглядит крипово.
Ок, понял, спасибо. Т.е. по сути нейронка должна рисовать «реальные» кадры на основе соседних, а не как сейчас делают это ТВ-процессоры плодя соседние кадры. Так почему же так плохо выглядит? Должен же быть обратный эффект. Или это из-за кукольной анимации? Возможно в этом случае смешанный вариант нейронка+полукадры подошел бы лучше.
Ага. Тв процы банально делают фрейм блендинг, генеря шлейфы. Ну и как добавил выше, тут не предполагалось вообще плавности, в захвате движения кукол) И неизвестно с каким фрейм рейтом ориг мультик, что то мне подсказывает что там гораздо меньше 24 кадров полноценного движения в секунду. Т.е. там скажем 24 кадра в цифровом видео где движение и смена кадров только в 14 кадрах, остальные просто задублированы, и из-за этого получается такая странная крипота. Кажется автор это учитывал и специально перенес увеличение кадров на кукольный мультик. Хочется посмотреть как эта штука будет работать со старыми фильмами типа Кинг-Конга или первого терминатора, где спецэффекты должны были быть плавными, но у них не получалось. Наверно помнишь как первый терминатор двигался, рывками. Видимо это взбесило Кэмерона и он создал Бездну где получилось создать нужную плавность CGI, а потом эту технологию одолжил Спилберг на динозавров в первый парк юрского и понеслось.
Как будто на ускорении 1.5 смотришь. НУ ТАКОЕ
У меня синдром утенка, не трогайте пожалуйста старые мультики, они прекрасны такими, какими есть, не трогайте, пожалуйста, ну ни нада 😢
Без обработки не лучше, а привычней. Нужно спрашивать у тех, кто не смотрел старые мультики.
Эта тема с искусственным добавлением кадров в кино уже давно мусолится. В совеременных телеках уже по умолчанию включена эта фича типа true motion, известные кинорежиссеры и актеры просят производителей телеков убрать ее, якобы портится художественная задумка автора. И действительно, кино классически снимается на 24 кадрах, а когда картинка становится плавнее, появялется ощущение как будто смотришь документалку по натгео или реалити шоу. Тут по моему мнению эта фича так же неуместна
Правильно, если снимать кино с частотой 24 кадра, а потом пытаться сделать больше, что говнотелики и делают, то получится говно. Показывать нужно с той частотой кадров, с корой снимается, тогда будет всё в порядке. Реальная скорость будет соответствовать той, с корой снимали, и на экране ничего замедленно не будет, и выглядеть будут супер плавно переходы между кадрами.
Точно не уверен, но я так считаю почему-то :)
Тюремный крюк
Хоббита сняли в 48фпс, далеко не все поклонники были довольны. Кажется даже отменили показ фильма в 48 кадров и снизили частоту
Так может говнотелики качество и поломали, а добрая половина юзеров даже и не знает что у них телик херню сам дорисовывает и там куча непонятных алгоритмов включено.
Ещё раз повторю, снимать и воспроизводить нужно с одной и той же частотой кадров, тогда наверное должно быть всё нормально.
Хотя хз. Под нормально я имею ввиду, как если бы человек был на реальных съёмках и смотрел непосредственно на оригинальные сцены.
Его так сняли из-за 3д. Мол в аватаре моушен в 3д очень был смазанным из-за того что не хватало кадров на глаз. И типа повышенное число кадров должно было это исправить. Хз как получилось в итоге, не смотрел Хоббита в 3д с 48кадрами. Но Кэмерон собирался использовать эту фичу в Аватаре 2 и плотно общался с Питером Джексоном во время съемок Хоббита
Тюремный крюк
А последние модели телеков кста уже на лету вставляют кадры не хуже чем на роликах из сабжа, может только на сверхдинамичных сценах рвут немного
Вот супер плавное видео в 100500К с частотой 100500 фпс, оно настолько плавное что вы даже не заметите никакого движения.
П.С. Прикреплено не фото, а видео, и оно сразу идёт! просто всё настолько плавно, что кажется что я прикрепил простую картинку, но это не так.
Чубурашка на максимальках. Суперплавнее сделать просто не реально!
DAIN AI какой-то сайт с криптой открывает, кто-то видел нормальный алгоритм?
Любителей нейронок не устроило что SmoothVideo Project не нагружает их 2080 и работает в реалтайме?
"Сейчас DAIN APP очень медленная и работает исключительно на видеокартах с актуальной версией CUDA. HD она просто не переваривает". - HD не переваривает не программа, а его видеокарта. К тому, же можно использовать разбиение кадров на секции и другие функции программы, чтобы даже слабая видеокарта переварила высокое разрешение, но тогда снизится качество и скорость интерполяции.
"но оказалось, что скорость анимации сильно «скачет»." Для этого тоже есть отдельная опция
Комментарий удален