«Яндекс.Маркет» выпустил приложение для поиска одежды по фотографии
25 июля «Яндекс.Маркет» запустил бесплатное приложение «Снимите одежду» для iPhone. Об этом TJ сообщили представители компании.
Приложение умеет искать вещи по фотографии, при этом пользователь может как сфотографировать понравившуюся вещь, так и загрузить уже готовый снимок. Сервис ищет похожие варианты на «Маркете» и показывает вместе с ценами, при этом каждую найденную вещь можно отложить для покупки.
Приложение работает при помощи разработанной в «Яндексе» технологии компьютерного зрения. Нейронную сеть в её составе обучали на выборке, составленной из более чем пяти миллионов картинок. Она умеет отличать друг от друга около 150 видов одежды, а также свыше 250 разных атрибутов, таких как цвет, фасон или стиль. Сравнивать найденные на «Маркете» картинки помогает ещё одна нейронная сеть, которую обучили искать похожие изображения.
В «Яндексе» подчеркнули, что приложение носит экспериментальный характер, и технология продолжает совершенствоваться.
Это не первое приложение с такой функциональностью от российских разработчиков. Основатель сервиса по доставке желаний GetMagic Дмитрий Масленников в своём фейсбуке рассказал, что за два года до релиза от «Яндекса» он выиграл хакатон Qiwi Universe в Казани с проектом Wonto, тоже задуманном как «Shazam для одежды».
В беседе с TJ создатель Wonto подчеркнул, что в «Яндексе», по всей вероятности, даже не знали о его экспериментальном приложении, и заметил, что ему интересно, сможет ли российская компания качественно реализовать идею.
Это не получилось у Аmazon, не получилось у нас. Мы хотели эту штуку в GetMagic интегрировать, но поскольку сама «Магия» заморожена, то и интеграции не вышло. Посмотрим, как «Яндекс» это реализует.
А не работает, потому что мало данных для обучения нейронной сети. Одежда — очень субъективная штука, у которой очень много нюансов, и подобные сервисы могут максимум определить цвет и общие особенности фасона — такие как длина юбки, форма выреза и рукава.
А вот мелкие детали, фурнитуру и прочий декор, который отличает одно красное платье от другого, вычленять на текущий момент нереально.
Это можно исправить, добавив ручной труд, что я и хотел реализовать. Наши операторы учились это делать — но увы, вышло так, как вышло. Но то, что мы на два года раньше «Яндекса» сделали эту штуку — это здорово.