Почти как в сериалах: разработчик научил нейросеть улучшать качество фото низкого разрешения

29 октября специализирующийся на искусственном интеллекте разработчик Алекс Джей Чампандэрд (Alex J. Champandard) из Вены опубликовал в GitHub код, который позволяет с помощью нейросети улучшить качество снимков низкого разрешения.

Как отмечает Чампандэрд, улучшение качества снимков низкого разрешения с помощью вымышленного компьютерного алгоритма стало крайне популярным штампом на телевидении и в кино.

Герои голливудских блокбастеров и детективных сериалов моментально улучшают качество размытых снимков с камер видеонаблюдения, получая возможность их увеличивать и разглядывать мельчайшие детали.

По словам разработчика, ему удалось достигнуть схожего эффекта при помощи всего лишь 340 строк кода. С помощью нейросети он научился заметно улучшать качество снимков низкого разрешения, убирая эффект пикселизации и повышая чёткость.

Чампандэрд пояснил, что хоть полученный им эффект и похож на тот, что показывают в кино и сериалах, вымысел так и остался вымыслом. В реальной жизни, если у фотографии низкое качество, то информации о мелких деталях в кадре просто неоткуда взяться: искусственному интеллекту приходится их придумывать на основе предыдущих опытов.

Нейросеть «галлюцинирует» детали на основе тестовых примеров, которые были пропущены через неё ранее.

Алекс Джей Чампандэрд, разработчик

Таким образом, в зависимости от того, с помощью каких примеров была обучена нейросеть, она лучше или хуже справляется с фотографиями определённого типа.

Сервис можно протестировать и самостоятельно. Разработчики запустили его веб-версию, в которую можно заливать фотографии с разрешением 256 на 256 или 320 на 200 точек (для попадания в экран заливки нужно нажать на ссылку с текстом Neural Enhance 4x: Photos в левом верхнем углу).

Проверка TJ показала, что наиболее наглядного результата удаётся достигнуть, если загружать изображение в разрешении 128 на 128 точек.

В последнее время нейросети всё чаще находят различные применения в области обработки и анализа изображений. Например, с их помощью уже научились распознавать размытые лица и реалистично деформировать объекты на снимках.

Спасибо за наводку Ilya Chekalsky
{ "author_name": "Ilya Chekalsky", "author_type": "editor", "tags": [], "comments": 47, "likes": 124, "favorites": 46, "is_advertisement": false, "subsite_label": "flood", "id": 36647, "is_wide": false, "is_ugc": true, "date": "Wed, 02 Nov 2016 11:46:29 +0300", "is_special": false }
0
47 комментариев
Популярные
По порядку
Написать комментарий...

Гражданский кофе

82

А вот так нейросеть сможет?

Ответить

Чистый татарин

Гражданский
1

Не может - научим. Не хочет - заставим.

Ответить

Искренний Мурод

Гражданский
0

Это останется твоей эксклюзивной фичей до конца жизни

Ответить

Равнодушный чайник

Дамир
9

Где-то в Екатеринбурге сейчас плачет один JJ.

Ответить

Богатый магнит

18

А ведь работает!

Ответить

Правый завод

Богатый
15
Ответить

Верховный звук

9
Ответить

Железнодорожный утюг

5

Комментарий удален по просьбе пользователя

Ответить

Мобильный химик

Kat
0

Справедливости ради, этот алгоритм заточен под конкретный стиль рисования, а не фотореалистичность.

Ответить

Железнодорожный утюг

Ilya.A—Petya.A's
2

Комментарий удален по просьбе пользователя

Ответить

Мобильный химик

Kat
0

И давно эта фича появилась?

Ответить

Железнодорожный

Ilya.A…
0

Комментарий удален по просьбе пользователя

Ответить

Импортный Гоша

3
Ответить

Социалистический алмаз

Paul
27
Ответить

Часовой космос

x
6

Почему никто не постит несмешные баяны?

Ответить

Часовой космос

Georgiy
0

Теперь понял

Ответить

Комментарий удален

Сексуальный пистолет

x
0

Комментарий удален по просьбе пользователя

Ответить

Обычный кран

2

> нейросеть

> специализирующийся на искусственном интеллекте разработчик

Заебали

Ответить

Железнодорожный утюг

Иван
9

Комментарий удален по просьбе пользователя

Ответить

Обычный кран

Kat
0

Просто авторам таких заголовков надо мозги на нейросеть менять, может тогда поймут различие

Ответить

Служащий жар

Иван
7

Мы пока не можем себе такого позволить.

Ответить

Тюремный паук например

2

Уже давно существует http://waifu2x.udp.jp/

Ответить

Украинский глобус

2

Чампандэрд - это что за покемон?

Ответить

Довольный калькулятор

0

Хуета же, большинство фоторедакторов делают тоже самое без проблем

Ответить

Служащий жар

Это
9

Чё?

Ответить

Легендарный меч

Никита
68

Чё?

Четкость

Ответить

Легендарный меч

Anatoliy
16
Ответить

Фантастический крюк

Это
6

Похожего эффекта можно добиться в редакторе, да, но тут результат в деталях получше, потому что нейросеть не просто играется с резкостью и другими параметрами. Она пытается угадать недостающие детали.

Ответить

Довольный калькулятор

Вадим
0

Присмотревшись к примерам у меня появились вопросы. На большинстве картинок банально повышена резкость, кроме той, где глаза и губы. Там алгоритм очень умно "дорисовывает" детали, и это вызывает вопрос почему детали не дорисовываются на снимках с малой глубиной резкости. На мой взгляд, это обман

Ответить

Правый завод

Это
4

банально повышена резкость

Я сделаль

Ответить

Правый завод

Правый
1

Мало резкости. Надо больше.

Ответить

Традиционный колос

Это
1

блеришь небось?

Ответить

Непонятный якорь

Глаз
2

Бикубическая интерполяция.
http://www.wisdom.weizmann.ac.il/~vision/SingleImageSR.html

Ответить

Правый завод

zaednax
0

При таком применении многие мелки детали размываются и заполняются одним цветом, чем теряют объём, становятся как будто нарисованными

Ответить

Традиционный

zaednax
0

бикубическая в сравнении с двумя другими по ссылке не самый лучший результат дает. но интересно, да.

Ответить

Непонятный якорь

Глаз
0

Ну так насколько интерполяция проще.
Для фотошопа еще есть платный плагин Genuine Fractals http://www.kenrockwell.com/tech/gf.htm
И такое для рисованного
https://en.wikipedia.org/wiki/Pixel_art_scaling_algorithms

Ответить

Фантастический крюк

Это
0

Думаю, это будет тренд ближайшего будущего. Мобильное фото будут улучшать не только с точки зрения аппаратной составляющей, но и таким софтом.

Не знаю, как у Pixel, но Apple про это на презентации семёрки говорила.

Ответить

Географический Валера

1

Антишакал

Ответить

Чистый татарин

0

Наконец-то нейросеть научили что-то полезное делать.

Ответить

Наружный цвет

0

А вообще тема то очень интересная. Вопрос качества лишь в том, сколько у вас в библиотеке фактур.

По сути, даже обычный шум, наложенный на изображение уже добавляет ему "разрешения", а если накладывать более-менее разумные фактурки, то это возможность дать интерполяции революционный уровень качества. Я бы на месте адоба вложил в эту технологию много денег. Для профессионалов такая штука даже более актуальна, чем для любителей.

Ответить

Непонятный якорь

Vladimir
1

https://www.extremetech.com/extreme/132950-csi-style-super-resolution-image-enlargment-yeeaaaah
"The only real problem with super-resolution is that it’s computationally expensive. In the Weizmann Institute research paper, there isn’t a single mention of just how long it takes to create each super-resolution image, which suggests that the algorithm is very slow. Some research groups have reported that real-time super-resolution is possible with GPU acceleration, though."

Учитывая проблему подбора "подходящих фактурок", видимо адоб считает, что пока оно не готово для массового применения.

Ответить

Наружный цвет

zaednax
0

Пока не готово, но перспективы там огромные. :) Все методы интерполяции сегодня берут информацию из файла. Подключить внешние библиотеки будет революционным.

Ответить

Наружный цвет

Vladimir
0

Хотя авторы конечно жулики в том плане, что эффектные картинки рисуют, где "исходный" файл показывают с интерполяцией без сглаживания. Надо было хоть с обычным бикубиком сравнивать.

Но потенциал крутой.

Ответить

Наружный цвет

Vladimir
1

Поправлюсь, авторы вообще мудаки. :( Та же картинка с Пикадилли сделана в размере 7 мегапискелей и понять как и что делал алгоритм вообще невозможно. Никаких ярких красивых тестов, какое-то шуллерство. Либо у них руки кривые, либо они просто хотят обмануть. Я больше склоняюсь к первому варианту :)

Но это не отменяет крутой идеи. Подбирать фактурки и делать фотографии более живыми,

Ответить

Сексуальный пистолет

0

Комментарий удален по просьбе пользователя

Ответить

Типичный Валера

1
Ответить

Хороший алмаз

–1

Эту хрень нужно срочно на одноклассниках внедрять

Ответить
Обсуждаемое
Telegram
Интересно, а как Сергей Звёзда общается в корпоративном чате?
Новости
Алексея Навального задержали после возвращения в Россию
На паспортном контроле в Шереметьево.
Интернет
«Мы достойно „встретили“ самолёты из Германии в 1941-м»: реакция представителей Внуково на возвращение Навального
Аэропорт пояснил, что «выполняет свои функции» как 80 лет назад, так и сейчас.
Популярное за три дня
Интернет
Запись в подсайте Интернет
Неловко вышло
Twitter
Новости
Фото: Навального провожают в берлинском аэропорту
Журналисты ждут прибытия политика.

Комментарии

null