Офтоп Никита Лихачёв
21 253

«Яндекс» встроил в «Авто.ру» нейросетевое распознавание машин по фото со смартфона

30 июня «Яндекс» обновил принадлежащий компании сервис по продаже автомобилей «Авто.ру»: в его мобильных приложениях для iOS и Android появилась возможность распознавания марки и модели машин по фотографии. Об устройстве новой функции представители компании рассказали TJ.

В закладки

Распознавание машин находится на стартовом экране мобильного приложения «Авто.ру». Можно сделать фото сразу, а можно выбрать из уже сохранённых на телефоне.

Когда фото сделано, приложение отправляет его в облачный сервис, где алгоритм занимается распознаванием машины в кадре. По словам представителей «Авто.ру», на это тратится всего 0,3 секунды, а остальное время — отправка фото на сервер и скачивание результатов — зависит от скорости мобильного интернета.

TJ проверил работу приложения в реальных условиях. Он действительно умеет определять марки машин, даже если сфотографирована всего лишь часть кузова, однако делает это корректно далеко не всегда. Пример: тайский тук-тук «Авто.ру» распознал как Honda Stepwgn.

Здесь Nissan Sunny корректно определился только при полном захвате всего кузова.

Позднее «Авто.ру» корректно определил Toyota Hilux по одной лишь части кузова, но зато Isuzu D-Max также упорно называл «Тойотой». Проблема приложения в том, что оно показывает только самый вероятный из ответов (причём сама вероятность не указана) и не даёт пользователю выбрать правильный, позволив ещё немного обучить нейросеть на новом примере.

Как утверждают в «Авто.ру», для обучения нейросети через неё уже пропустили 6 миллионов фотографий, но она знает пока чуть более 100 марок и 1000 моделей. Технология компьютерного зрения была разработана в «Яндексе», а свой мобильный сервис по распознаванию машин «Авто.ру» называют первым в мире из подобных.

Для обучения нейросети использовались реальные фотографии машин из каталога «Авто.ру», и представители сервиса отмечают, что это сыграло на пользу. На сайте публикуются снимки, сделанные на «мыльницы» и камеры телефонов, поэтому нейросеть училась распознавать машины даже в сложных условиях.

В компании объясняют новую функцию по большей части интересом пользователей к стоимости дорогих и красивых машин: теперь увидев такой автомобиль на улице можно сразу узнать и модель, и цены на неё у дилеров и частных продавцов. С другой стороны, «Авто.ру» собирается экспериментировать: компьютерное зрение будет помогать заполнять строчки объявления автоматически, учиться распознавать битые машины (и указывать эту информацию при публикации), а также выбирать наиболее «красивое» фото для обложки — последняя технология уже применяется в 10% объявлений.

В «Авто.ру» функцию распознавания машин в шутку называют заменой игры в «угадайки»: детской мальчишеской забавы по определению марки машин. Теперь эта забава может сойти на нет: сложно конкурировать даже с некомпетентным противником, но вооружённым обученной на миллионах фотографий нейросетью.

{ "author_name": "Никита Лихачёв", "author_type": "editor", "tags": [], "comments": 7, "likes": 56, "favorites": 4, "is_advertisement": false, "subsite_label": "flood", "id": 30571, "is_wide": false, "is_ugc": false, "date": "Thu, 30 Jun 2016 07:43:55 +0300" }
Офтоп
дискуссии в сообществе доступны только владельцам клубного аккаунта
С клубным аккаунтом вы сможете
создавать записи и вести дискуссии в закрытых сообществах
наслаждаться нашим сайтом без рекламы
помочь проекту и почувствовать себя лучше
Купить за 75₽

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } } ]
Оперативные новости со всего мира
Подписаться на push-уведомления