29 октября специализирующийся на искусственном интеллекте разработчик Алекс Джей Чампандэрд (Alex J. Champandard) из Вены опубликовал в GitHub код, который позволяет с помощью нейросети улучшить качество снимков низкого разрешения.
Как отмечает Чампандэрд, улучшение качества снимков низкого разрешения с помощью вымышленного компьютерного алгоритма стало крайне популярным штампом на телевидении и в кино.
Герои голливудских блокбастеров и детективных сериалов моментально улучшают качество размытых снимков с камер видеонаблюдения, получая возможность их увеличивать и разглядывать мельчайшие детали.
По словам разработчика, ему удалось достигнуть схожего эффекта при помощи всего лишь 340 строк кода. С помощью нейросети он научился заметно улучшать качество снимков низкого разрешения, убирая эффект пикселизации и повышая чёткость.
Чампандэрд пояснил, что хоть полученный им эффект и похож на тот, что показывают в кино и сериалах, вымысел так и остался вымыслом. В реальной жизни, если у фотографии низкое качество, то информации о мелких деталях в кадре просто неоткуда взяться: искусственному интеллекту приходится их придумывать на основе предыдущих опытов.
Нейросеть «галлюцинирует» детали на основе тестовых примеров, которые были пропущены через неё ранее.
Таким образом, в зависимости от того, с помощью каких примеров была обучена нейросеть, она лучше или хуже справляется с фотографиями определённого типа.
Сервис можно протестировать и самостоятельно. Разработчики запустили его веб-версию, в которую можно заливать фотографии с разрешением 256 на 256 или 320 на 200 точек (для попадания в экран заливки нужно нажать на ссылку с текстом Neural Enhance 4x: Photos в левом верхнем углу).
Проверка TJ показала, что наиболее наглядного результата удаётся достигнуть, если загружать изображение в разрешении 128 на 128 точек.
В последнее время нейросети всё чаще находят различные применения в области обработки и анализа изображений. Например, с их помощью уже научились распознавать размытые лица и реалистично деформировать объекты на снимках.
Мобильный химик
Справедливости ради, этот алгоритм заточен под конкретный стиль рисования, а не фотореалистичность.
Фантастический крюк
Похожего эффекта можно добиться в редакторе, да, но тут результат в деталях получше, потому что нейросеть не просто играется с резкостью и другими параметрами. Она пытается угадать недостающие детали.
Довольный калькулятор
Присмотревшись к примерам у меня появились вопросы. На большинстве картинок банально повышена резкость, кроме той, где глаза и губы. Там алгоритм очень умно "дорисовывает" детали, и это вызывает вопрос почему детали не дорисовываются на снимках с малой глубиной резкости. На мой взгляд, это обман
Непонятный якорь
Бикубическая интерполяция.
http://www.wisdom.weizmann.ac.il/~vision/SingleImageSR.html
Правый завод
При таком применении многие мелки детали размываются и заполняются одним цветом, чем теряют объём, становятся как будто нарисованными
Традиционный
бикубическая в сравнении с двумя другими по ссылке не самый лучший результат дает. но интересно, да.
Непонятный якорь
Ну так насколько интерполяция проще.
Для фотошопа еще есть платный плагин Genuine Fractals http://www.kenrockwell.com/tech/gf.htm
И такое для рисованного
https://en.wikipedia.org/wiki/Pixel_art_scaling_algorithms
А вообще тема то очень интересная. Вопрос качества лишь в том, сколько у вас в библиотеке фактур.
По сути, даже обычный шум, наложенный на изображение уже добавляет ему "разрешения", а если накладывать более-менее разумные фактурки, то это возможность дать интерполяции революционный уровень качества. Я бы на месте адоба вложил в эту технологию много денег. Для профессионалов такая штука даже более актуальна, чем для любителей.
Непонятный якорь
https://www.extremetech.com/extreme/132950-csi-style-super-resolution-image-enlargment-yeeaaaah
"The only real problem with super-resolution is that it’s computationally expensive. In the Weizmann Institute research paper, there isn’t a single mention of just how long it takes to create each super-resolution image, which suggests that the algorithm is very slow. Some research groups have reported that real-time super-resolution is possible with GPU acceleration, though."
Учитывая проблему подбора "подходящих фактурок", видимо адоб считает, что пока оно не готово для массового применения.
Наружный цвет
Пока не готово, но перспективы там огромные. :) Все методы интерполяции сегодня берут информацию из файла. Подключить внешние библиотеки будет революционным.
Наружный цвет
Хотя авторы конечно жулики в том плане, что эффектные картинки рисуют, где "исходный" файл показывают с интерполяцией без сглаживания. Надо было хоть с обычным бикубиком сравнивать.
Но потенциал крутой.
Наружный цвет
Поправлюсь, авторы вообще мудаки. :( Та же картинка с Пикадилли сделана в размере 7 мегапискелей и понять как и что делал алгоритм вообще невозможно. Никаких ярких красивых тестов, какое-то шуллерство. Либо у них руки кривые, либо они просто хотят обмануть. Я больше склоняюсь к первому варианту :)
Но это не отменяет крутой идеи. Подбирать фактурки и делать фотографии более живыми,