Ведущий подкаста Zavtracast Максим Зарецкий увеличил частоту смены кадров в секунду (FPS) в мультфильме «Чебурашка» 1971 года с 7-8 до 50 с помощью нейросети DAIN AI — децентрализованной системы, использующей для вычислений множество компьютеров одновременно. TJ поговорил с автором сгенерированного ролика.
Для генерации ролика Зарецкий использовал DAIN APP — бесплатную нейросеть, которая позволяет интерполировать новые кадры и генерировать больший FPS, чем в оригинальном видео. Автор видео пожаловался на сырость программы: «Сейчас DAIN APP очень медленная и работает исключительно на видеокартах с актуальной версией CUDA. HD она просто не переваривает».
Разница заметна только качестве 720p
Зарецкий отметил, что 18-минутный мультфильм в разрешении 320p просчитался на Ryzen 2600x/RTX 2080 примерно за 12 часов: «Это при условии, что алгоритм поднимает количество кадров ровно в два раза в сравнении с исходным видео. Если сравнивать с алгоритмами в телевизорах, то разница большая, потому что она исключает артефакты и дёрагнье при резких движениях. Алгоритм не теряет глубину картинки во время достраивания, да и каждый кадр достраивается отдельно а не „на лету“, отсюда выше качество».
Кукольную анимацию Зарецкий выбрал, потому что у неё постоянное количество FPS. Сначала он опробовал DAIN на мультсериале «Принц-дракон», но оказалось, что скорость анимации сильно «скачет».
Потом Зарецкий попробовал алгоритм на стоп-моушен мультфильме «Варежка»: «Алгоритм показал себя куда лучше и ровнее. На кукольном мультфильме эффект заметен сразу, потому что нейросеть достраивает промежуточные фазы сама».
Автор роликов признаёт, что алгоритм пока не идеален: «Есть небольшие артефакты при монтажных склейках. Когда камера двигается на нормальной скорости в 25 FPS, кажется, словно алгоритм ошибается. Но он просто пока не может определять вариативность FPS в анимации. И всё равно из всех видов лучше всего для интерполяции подходит стоп-моушен, поскольку он просто ровнее».
Проект Зарецкий создал для веселья, а не для того, чтобы «исправлять» стоп-моушен, который считает стилем, а не ограничением. При этом автор полагает, что алгоритм может помочь аниматорам с небольшими бюджетами.
Если развивать DAIN, то может мы наконец увидим того же «Принца-дракона» без явных попыток сэкономить — недостающие ключевые кадры будет достраивать нейросеть. Выиграет и аниме, где недостаток плавности анимации очень частая проблема, особенно в телевизионных релизах.
Максим Зарецкий
Следующим мультфильмом, в котором Зарецкий решил увеличить частоту кадров в секунду, стал «Падал Прошлогодний Снег». Он отметил, что нейросеть «упала» четыре раза, пока тот отвечал на вопросы TJ.
Блин, везде где двигаются неодушевлённые объекты - круто. Везде где есть анимация персонажей вижу какую-то странную "неправильность" и дёрганость. Может надумал себе...
Хоть и чувак отбитый имбицил, из-за ебанутых реплик которого я перестал слушать завтракаст. Но видео збс, как и технология.
Жду когда "день студента реанимируют"
Нет, молодцы, я им долго донатил. Но когда деньги — единственный мотиватор, то получается печалька, искусственный смех Тимура и выгоревший никакущий Дима
НЕ УВИДЕЛ РАЗНИЦЫ ВСЁ РАВНО! Может ещё где-то можно открыть чтобы увидеть :) ?
На рутубе, в коубе, во вконтакте или фейсбуке, где ещё открыть? ОООО может в инстраграме попробовать открыть?
Своей естественностью. Мой мозг ничего не смущает. В "прилизанной" версии из-за плавности создаётся впечатление, что фигуры слегка ожили, что довольно крипово.
А сложно увидеть то, чего особо то и нет, если только ваши глаза не графическая карта, а ваш мозг не процессор который способен обрабатывать кадры с бешеной скоростью.
Выглядит оч стрёмно. Из-за того что в некоторых кадрах не так много движений, ощущение, что куски вырезали. С таким же успехом можно было на обычном софте дома поднять ФПС. Что нейросеть тут сделала?
Если ты банально поднимешь фпс с 25 кадров до 50, то будет один из 2 бестолковых вариантов. Это фрейм блендинг или фрейм фриз. Т.е или первый кадр будет наложен на второй кадр поверх с прозрачностью, в результате получая третий с призрачным ореолом, как в примере с Том и Джерри выше. Или же каждый кадр будет просто копироваться и повторятся второй раз, не делая существенной разницы и просто дублируя кадр. Но в примере с Чебурашкой, тут второй кадр - это полноценный отдельный кадр, который как будто должен был быть между 2мя кадрами, как отснятое промежуточное движение.. Другое дело, что в кукольном мультике плавность движения кукол вообще не должна предполагаться, поэтому для многих это выглядит крипово.
Ок, понял, спасибо. Т.е. по сути нейронка должна рисовать «реальные» кадры на основе соседних, а не как сейчас делают это ТВ-процессоры плодя соседние кадры. Так почему же так плохо выглядит? Должен же быть обратный эффект. Или это из-за кукольной анимации? Возможно в этом случае смешанный вариант нейронка+полукадры подошел бы лучше.
Ага. Тв процы банально делают фрейм блендинг, генеря шлейфы. Ну и как добавил выше, тут не предполагалось вообще плавности, в захвате движения кукол) И неизвестно с каким фрейм рейтом ориг мультик, что то мне подсказывает что там гораздо меньше 24 кадров полноценного движения в секунду. Т.е. там скажем 24 кадра в цифровом видео где движение и смена кадров только в 14 кадрах, остальные просто задублированы, и из-за этого получается такая странная крипота. Кажется автор это учитывал и специально перенес увеличение кадров на кукольный мультик. Хочется посмотреть как эта штука будет работать со старыми фильмами типа Кинг-Конга или первого терминатора, где спецэффекты должны были быть плавными, но у них не получалось. Наверно помнишь как первый терминатор двигался, рывками. Видимо это взбесило Кэмерона и он создал Бездну где получилось создать нужную плавность CGI, а потом эту технологию одолжил Спилберг на динозавров в первый парк юрского и понеслось.
Как будто на ускорении 1.5 смотришь. НУ ТАКОЕ
У меня синдром утенка, не трогайте пожалуйста старые мультики, они прекрасны такими, какими есть, не трогайте, пожалуйста, ну ни нада 😢
Эта тема с искусственным добавлением кадров в кино уже давно мусолится. В совеременных телеках уже по умолчанию включена эта фича типа true motion, известные кинорежиссеры и актеры просят производителей телеков убрать ее, якобы портится художественная задумка автора. И действительно, кино классически снимается на 24 кадрах, а когда картинка становится плавнее, появялется ощущение как будто смотришь документалку по натгео или реалити шоу. Тут по моему мнению эта фича так же неуместна
Правильно, если снимать кино с частотой 24 кадра, а потом пытаться сделать больше, что говнотелики и делают, то получится говно. Показывать нужно с той частотой кадров, с корой снимается, тогда будет всё в порядке. Реальная скорость будет соответствовать той, с корой снимали, и на экране ничего замедленно не будет, и выглядеть будут супер плавно переходы между кадрами.
Точно не уверен, но я так считаю почему-то :)
Так может говнотелики качество и поломали, а добрая половина юзеров даже и не знает что у них телик херню сам дорисовывает и там куча непонятных алгоритмов включено.
Ещё раз повторю, снимать и воспроизводить нужно с одной и той же частотой кадров, тогда наверное должно быть всё нормально.
Хотя хз. Под нормально я имею ввиду, как если бы человек был на реальных съёмках и смотрел непосредственно на оригинальные сцены.
Его так сняли из-за 3д. Мол в аватаре моушен в 3д очень был смазанным из-за того что не хватало кадров на глаз. И типа повышенное число кадров должно было это исправить. Хз как получилось в итоге, не смотрел Хоббита в 3д с 48кадрами. Но Кэмерон собирался использовать эту фичу в Аватаре 2 и плотно общался с Питером Джексоном во время съемок Хоббита
Вот супер плавное видео в 100500К с частотой 100500 фпс, оно настолько плавное что вы даже не заметите никакого движения.
П.С. Прикреплено не фото, а видео, и оно сразу идёт! просто всё настолько плавно, что кажется что я прикрепил простую картинку, но это не так.
Чубурашка на максимальках. Суперплавнее сделать просто не реально!
Столетняя война: почему наше предпринимательство до сих пор одно из самых слабых в мире?
К началу XX века Россия была в числе первых экономик мира (затем нас обошли США). До 1977 года - второй (обогнала Япония), до 1985 года - третьей (уступили Германии). Сегодня Россия вылетела из первой десятки и нас вот-вот обойдёт Южная Корея. Лонгрид о том, какие причины легли в основу этого затяжного падения.
