В MIT создали инструмент для редактирования изображений «в один клик», который может не подчиняться командам человека
Можно превратить асфальт в газон или замазать лишний объект на фото, если это не противоречит физике.
Исследователи из MIT и IBM разработали инструмент Paint Studio, который позволяет добавлять, редактировать и удалять объекты на фотографиях одним движением. Система работает с артефактами, но выдаёт правдоподобный результат.
По словам профессора MIT Антонио Торральбы, инструмент обладает «строгой индивидуальностью» и не станет выполнять действия, если посчитает, что они не подходят для изображения.
Все приложения для рисования следуют инструкциям пользователей, но наше может решить не рисовать ничего, если человек пытается поместить объект в невозможное положение. Это инструмент для рисования со строгой индивидуальностью и он открывает окно, которое позволит понять, как генеративные состязательные нейросети представляют визуальный мир.
Демонстрацию работы приложения разместили на отдельном сайте. Инструмент пока работает только с уже загруженными изображениями низкого качества, а рисовать можно ограниченным числом «кистей»: травой, деревьями, кирпичами, куполами, небом, облаками и дверьми.
Чаще всего результат выходит реалистичным, а при противоречии с реальным миром алгоритм не меняет ничего на изображении. В некоторых случаях нейросеть оставляет артефакты на картинках — алгоритм пока не совершенен.
Для создания инструмента использовали нейросеть, состоящую из двух частей. Одна генерирует примеры реалистичных фотографий, а другая пытается найти разницу между сгенерированной картинкой и реальной. Таким образом модель совершенствуется и учится выдавать изображения определённого уровня реалистичности.
#нейросети #ии #видео