Россиянин улучшил «Чебурашку» с помощью нейросети, повысив частоту смены кадров в секунду до 50. Мультфильм стал плавнее
Алгоритм может помочь аниматорам с небольшими бюджетами, считает автор ролика.
Ведущий подкаста Zavtracast Максим Зарецкий увеличил частоту смены кадров в секунду (FPS) в мультфильме «Чебурашка» 1971 года с 7-8 до 50 с помощью нейросети DAIN AI — децентрализованной системы, использующей для вычислений множество компьютеров одновременно. TJ поговорил с автором сгенерированного ролика.
Для генерации ролика Зарецкий использовал DAIN APP — бесплатную нейросеть, которая позволяет интерполировать новые кадры и генерировать больший FPS, чем в оригинальном видео. Автор видео пожаловался на сырость программы: «Сейчас DAIN APP очень медленная и работает исключительно на видеокартах с актуальной версией CUDA. HD она просто не переваривает».
Зарецкий отметил, что 18-минутный мультфильм в разрешении 320p просчитался на Ryzen 2600x/RTX 2080 примерно за 12 часов: «Это при условии, что алгоритм поднимает количество кадров ровно в два раза в сравнении с исходным видео. Если сравнивать с алгоритмами в телевизорах, то разница большая, потому что она исключает артефакты и дёрагнье при резких движениях. Алгоритм не теряет глубину картинки во время достраивания, да и каждый кадр достраивается отдельно а не „на лету“, отсюда выше качество».
Кукольную анимацию Зарецкий выбрал, потому что у неё постоянное количество FPS. Сначала он опробовал DAIN на мультсериале «Принц-дракон», но оказалось, что скорость анимации сильно «скачет».
Потом Зарецкий попробовал алгоритм на стоп-моушен мультфильме «Варежка»: «Алгоритм показал себя куда лучше и ровнее. На кукольном мультфильме эффект заметен сразу, потому что нейросеть достраивает промежуточные фазы сама».
Автор роликов признаёт, что алгоритм пока не идеален: «Есть небольшие артефакты при монтажных склейках. Когда камера двигается на нормальной скорости в 25 FPS, кажется, словно алгоритм ошибается. Но он просто пока не может определять вариативность FPS в анимации. И всё равно из всех видов лучше всего для интерполяции подходит стоп-моушен, поскольку он просто ровнее».
Проект Зарецкий создал для веселья, а не для того, чтобы «исправлять» стоп-моушен, который считает стилем, а не ограничением. При этом автор полагает, что алгоритм может помочь аниматорам с небольшими бюджетами.
Если развивать DAIN, то может мы наконец увидим того же «Принца-дракона» без явных попыток сэкономить — недостающие ключевые кадры будет достраивать нейросеть. Выиграет и аниме, где недостаток плавности анимации очень частая проблема, особенно в телевизионных релизах.
Следующим мультфильмом, в котором Зарецкий решил увеличить частоту кадров в секунду, стал «Падал Прошлогодний Снег». Он отметил, что нейросеть «упала» четыре раза, пока тот отвечал на вопросы TJ.
В 2019 году с помощью интерполяции улучшали «Тома и Джерри» до 60 FPS. Но тогда плавность мультфильма оценили не все.
#видео #нейросети