Энтузиасты с YouTube при помощи нейросетей улучшают качество советских мультфильмов. К каким результатам это приводит

«Жил-был пёс», «Трое из Простоквашино», «Шайбу! Шайбу!» и другие примечательные мультфильмы детства — в качестве вплоть до 8K и 60 fps.

Развитие нейросетей и сервисов на их основе привело к созданию полноценного направления — восстановление, реставрация и улучшение качества очень старых видео. И занимаются этим не только специалисты в сфере машинного обучения, но и энтузиасты — они улучшают первые фильмы в истории, архивные ролики и даже мутные видеомемы.

Помимо этого, на YouTube любят улучшать советские мультфильмы, которые в большинстве своём не получили полноценных переизданий под современные экраны. Нейросети позволяют посмотреть любительские ремастеры «Ну погоди!» или «Трое из Простоквашино» в качестве вплоть до 8K и 60 кадров в секунду. Некоторые из этих работ замечают в соцсетях, и к началу 2021 года заниматься этим стали десятки энтузиастов.

Один из них — Александр, который работает в IT-сфере и с 2020 года ведёт канал «Чётко», где улучшает качество мультфильмов, кино и роликов из прошлого. По словам автора, сначала он заинтересовался созданием дипфейков, а затем стал погружаться в тематику нейросетей. «Увидел первые ролики [менеджера по продукту ИД „Комитет“] Дениса Ширяева на YouTube, а потом и телеграм его для себя открыл. И понеслась», — добавил Александр.

Сначала Александр, как поклонник футбола, улучшил отрывки старых матчей, например, игру на Кубке СССР 1937 года. Затем пришла очередь научпоп-лент и реклам из прошлого, и только потом автор стал улучшать качество советских мультфильмов: «Их стали заказывать пользователи „Пикабу“, да и они мне близки, ведь я смотрел их, когда был маленьким».

Александр поделился процессом улучшения мультфильмов с помощью нейросетей. Подобным образом работают и многие другие авторы. На улучшение одного видео у автора канала «Чётко» уходит от одного до пяти дней: зависит от длины видео и технических характеристик компьютера, где обрабатывается ролик.

Компания Topaz Labs создаёт доступный софт для обработки видео с помощью нейросетей. Программы Video Enhance AI и Gigapixel AI позволяет создавать ремастеры старых роликов с качеством вплоть до 8K и 60 кадров в секунду. Этот софт упоминают многие авторы, которые публикуют советские мультфильмы с улучшенным качеством на YouTube.

Итоговые работы сложно назвать полноценной «реставрацией» — это, скорее, улучшение с помощью базовых полуавтоматических инструментов, которые сильно развились в последние годы. Апскейл обучается на определённом массиве данных, и датасет, не собранный под мультфильмы (софт от Topaz Labs не заточен под конкретные задачи вроде восстановления мультфильмов) может дорисовать какие-то фрагменты там, где их не должно быть.

Несмотря на подобные ошибки и артефакты, но по большей части картинка выглядит заметно лучше за счёт увеличившегося разрешения. Но обучить свою собственную модель с помощью софта от Topaz нельзя, для этого нужно использовать нейронные сети без визуальных интерфейсов вроде ESRGAN и других.

Павел Карлин из Чебоксар заинтересовался улучшением советских мультфильмов, когда у него стало больше свободного времени в пандемию. В январе 2021 года он опубликовал ремастер короткометражки «Жил-был пёс», которая получила популярность.

«Владельцы исходных плëнок могут сделать это намного лучше, банально оцифровав их. Однако они этого не делают в силу разных причин, поэтому я пытаюсь дать альтернативу зрителям. Этот контент на ютубе не монетизируется из-за авторских прав, и работаю я на чистом энтузиазме», — рассказывал он местным СМИ.

Немного улучшенных с помощью нейросетей мультфильмов от разных YouTube-каналов.

#соцсети #видео #нейросети