Энтузиасты с YouTube при помощи нейросетей улучшают качество советских мультфильмов. К каким результатам это приводит Статьи редакции
«Жил-был пёс», «Трое из Простоквашино», «Шайбу! Шайбу!» и другие примечательные мультфильмы детства — в качестве вплоть до 8K и 60 fps.
Развитие нейросетей и сервисов на их основе привело к созданию полноценного направления — восстановление, реставрация и улучшение качества очень старых видео. И занимаются этим не только специалисты в сфере машинного обучения, но и энтузиасты — они улучшают первые фильмы в истории, архивные ролики и даже мутные видеомемы.
Помимо этого, на YouTube любят улучшать советские мультфильмы, которые в большинстве своём не получили полноценных переизданий под современные экраны. Нейросети позволяют посмотреть любительские ремастеры «Ну погоди!» или «Трое из Простоквашино» в качестве вплоть до 8K и 60 кадров в секунду. Некоторые из этих работ замечают в соцсетях, и к началу 2021 года заниматься этим стали десятки энтузиастов.
Один из них — Александр, который работает в IT-сфере и с 2020 года ведёт канал «Чётко», где улучшает качество мультфильмов, кино и роликов из прошлого. По словам автора, сначала он заинтересовался созданием дипфейков, а затем стал погружаться в тематику нейросетей. «Увидел первые ролики [менеджера по продукту ИД „Комитет“] Дениса Ширяева на YouTube, а потом и телеграм его для себя открыл. И понеслась», — добавил Александр.
Сначала Александр, как поклонник футбола, улучшил отрывки старых матчей, например, игру на Кубке СССР 1937 года. Затем пришла очередь научпоп-лент и реклам из прошлого, и только потом автор стал улучшать качество советских мультфильмов: «Их стали заказывать пользователи „Пикабу“, да и они мне близки, ведь я смотрел их, когда был маленьким».
Александр поделился процессом улучшения мультфильмов с помощью нейросетей. Подобным образом работают и многие другие авторы. На улучшение одного видео у автора канала «Чётко» уходит от одного до пяти дней: зависит от длины видео и технических характеристик компьютера, где обрабатывается ролик.
Из исходника берётся минутный отрезок (или компиляция), раскладывается на кадры и улучшается различным софтом (waifu2x, Gigapixel или Video Enhance от Topaz Labs). Помимо этого, если требуется, предварительно ролик стабилизируется, очищается от шума, пыли и царапин (с помощью нейросети, естественно).
Готовые кадры обратно собираются в ролик, и результаты сравниваются. Далее следует выбор, каким улучшением воспользоваться, и улучшается весь видеоряд целиком. Затем — постобработка картинки, если обрабатывался звук, то наложение обработанного звука.
Компания Topaz Labs создаёт доступный софт для обработки видео с помощью нейросетей. Программы Video Enhance AI и Gigapixel AI позволяет создавать ремастеры старых роликов с качеством вплоть до 8K и 60 кадров в секунду. Этот софт упоминают многие авторы, которые публикуют советские мультфильмы с улучшенным качеством на YouTube.
Итоговые работы сложно назвать полноценной «реставрацией» — это, скорее, улучшение с помощью базовых полуавтоматических инструментов, которые сильно развились в последние годы. Апскейл обучается на определённом массиве данных, и датасет, не собранный под мультфильмы (софт от Topaz Labs не заточен под конкретные задачи вроде восстановления мультфильмов) может дорисовать какие-то фрагменты там, где их не должно быть.
Несмотря на подобные ошибки и артефакты, но по большей части картинка выглядит заметно лучше за счёт увеличившегося разрешения. Но обучить свою собственную модель с помощью софта от Topaz нельзя, для этого нужно использовать нейронные сети без визуальных интерфейсов вроде ESRGAN и других.
Павел Карлин из Чебоксар заинтересовался улучшением советских мультфильмов, когда у него стало больше свободного времени в пандемию. В январе 2021 года он опубликовал ремастер короткометражки «Жил-был пёс», которая получила популярность.
«Владельцы исходных плëнок могут сделать это намного лучше, банально оцифровав их. Однако они этого не делают в силу разных причин, поэтому я пытаюсь дать альтернативу зрителям. Этот контент на ютубе не монетизируется из-за авторских прав, и работаю я на чистом энтузиазме», — рассказывал он местным СМИ.
Немного улучшенных с помощью нейросетей мультфильмов от разных YouTube-каналов.
«Трое из Простоквашино», 1978
«Жил-был пёс», 1982
«Шайбу! Шайбу!», 1964
«Тайна третьей планеты», 1981 год
«Падал прошлогодний снег», 1983
«Ну, погоди!», 1969
«Как казаки в футбол играли», 1970
«Зима в Простоквашино», 1984
«Незнайка на Луне», 1997
«Бременские музыканты», 1969
«Следствие ведут колобки», 1986
«Варежка», 1967
Дом для Кузьки, 1984
Заценил "Тайну третьей планеты", выглядит как срань. В статике норм, но лишние FPS превращают мультик в вырвиглазное говно.
Не понимаю, зачем делать 60 фпс. Достаточно просто улучшить качество картинки, а вот дополнительные фпс только хуже всё делают. Ощущение, что смотришь в слоу-мо. Например, "Жил-был пёс" круто выглядит со стандартными 24 фпс и апскейлом, а от "Трое из Простоквашино" блевать тянет.
Союзмультфильм вообще то сам делал ресканы пленок и многие мультфильмы есть в хорошем качестве, натуральном, а не вот это нейрочто
На мультах это получается лучше всего. На фильмах результат не очень. Например, мой любимый советский фильм «Гостья из будущего» улучшен нейронкой, но лица получились немного «пластиковые», мне неприятно смотреть на такой результат. Поэтому лучшей копией на данный момент остаётся DVD9 официального издания. Почему правообладатели не оцифруют этот великий фильм хотя бы в 1080, загадка.
Некоторые из представленных мультов ну очень всрато выглядят после "улучшения". Как ни крути, а без рескана исходников по настоящему хорошей картинки не выудить.
У Топаза нет возможности делать 60 к/с из не60 к/с
Красиво звучит 4к 60фпс, потому и написали, видимо
А вы тоже заметили, что после подписания соглашения с одним из онлайн-кинотеатров, куча советских мультов, а не только "Ну Погоди", пропали с ютуба?
Могут ли нейросети улучшить качество моей жизни? Есть обученная сеть от гугла?
В "прибытии поезда" некоторых женщин превращает в жутких медсестер из Silent Hill https://youtu.be/3RYNThid23g?t=33
Комментарии
