TJ улучшил качество старых мемных видео с помощью нейросети VK. Питерская разборка теперь в новом разрешении
Ещё «Борщ с капусткой, но не красный», «Привет с Ростова» и даже «День студента».
Платформа «VK Видео» рассказала TJ о новой технологии, которая двукратно повышает разрешение видео, восстанавливает детали и убирает появившиеся после сжатия шумы и дефекты. Пока она доступна в тестовом формате владельцам сообществ, но в будущем ролики пользователей тоже будут автоматически улучшаться.
TJ разобрался в технологии и проверил её на культовых видео, которые были сняты до массового распространения камер высокой чёткости.
Технология отличается от существующих на рынке — она учитывает непрерывность видеопотока и устраняет артефакты сжатия
ML-технология улучшения качества видео NeuroHD работает на основе нейросети из семейства генеративно-состязательных сетей (GAN).
Принцип работы сетей GAN заключается в том, что их обучают на основе двух моделей. Первая генерирует увеличенные изображения, а другая проверяет их, чтобы они не отличались от настоящих. NeuroHD использует для улучшения кадра информацию о соседних фрагментах — так получается чёткое изображение без «плавающих артефактов».
Существующие в отрасли решения, не учитывающие непрерывность видеопотока, дают малозаметный эффект: простое увеличение разрешения роликов не приводит к улучшению картинки.
Технический директор «ВКонтакте» и «VK Видео» Александр Тоболь рассказал, что технологию начали разрабатывать на фоне роста популярности фильтра «Высокое качество» в поиске видео.
Она [NeuroHD] обеспечивает преобразование видеороликов на real-time скорости и обладает высокой производительностью для эффективного использования вычислительных мощностей платформы и клиентских устройств.
За счёт большой библиотеки «VK Видео», на которой обучали технологию, нейросеть умеет повышать разрешение широкого спектра роликов — профессиональных и любительских, горизонтальных и вертикальных, динамических и статичных.
Пока улучшенные видео доступны в некоторых сообществах и только на десктопе. В будущем все ролики платформе будут автоматически улучшаться. В первую очередь команда сфокусируется на контенте до 720p, а «в будущем смогут улучшать и HD-контент». Пользователи не потеряют свои исходные видео — останется возможность посмотреть ролики в исходном качестве без улучшений.
Метка NeuroHD появляется только у «новых» разрешений видео, полученных после обработки. Но «старые» разрешения таких видео нейросеть тоже улучшит.
Разработчики «VK Видео» по просьбе TJ сделали сравнение видео. Слева — ролики до улучшения, справа — после.
«Ты на пенёк сел — должен был косарь отдать!»
«Я ломал Стекло»
«Повар спрашивает повара»
Редакция TJ проверила работу технологии на культовых видео рунета
Мы загрузили их в качестве 240р, NeuroHD обработала их и улучшила до 480р. Один из роликов был в качестве 360р, его улучшили до 720р.
«Борщ с капусткой, но не красный»
«Это разборка питерская»
«Привет с Ростова»
«Ты на пенёк сел — должен был косарь отдать»
«День студента»
#нейросети #вконтакте #мемы