«Яндекс» встроил в «Авто.ру» нейросетевое распознавание машин по фото со смартфона
Распознавание машин находится на стартовом экране мобильного приложения «Авто.ру». Можно сделать фото сразу, а можно выбрать из уже сохранённых на телефоне.
Когда фото сделано, приложение отправляет его в облачный сервис, где алгоритм занимается распознаванием машины в кадре. По словам представителей «Авто.ру», на это тратится всего 0,3 секунды, а остальное время — отправка фото на сервер и скачивание результатов — зависит от скорости мобильного интернета.
TJ проверил работу приложения в реальных условиях. Он действительно умеет определять марки машин, даже если сфотографирована всего лишь часть кузова, однако делает это корректно далеко не всегда. Пример: тайский тук-тук «Авто.ру» распознал как Honda Stepwgn.
Здесь Nissan Sunny корректно определился только при полном захвате всего кузова.
Позднее «Авто.ру» корректно определил Toyota Hilux по одной лишь части кузова, но зато Isuzu D-Max также упорно называл «Тойотой». Проблема приложения в том, что оно показывает только самый вероятный из ответов (причём сама вероятность не указана) и не даёт пользователю выбрать правильный, позволив ещё немного обучить нейросеть на новом примере.
Как утверждают в «Авто.ру», для обучения нейросети через неё уже пропустили 6 миллионов фотографий, но она знает пока чуть более 100 марок и 1000 моделей. Технология компьютерного зрения была разработана в «Яндексе», а свой мобильный сервис по распознаванию машин «Авто.ру» называют первым в мире из подобных.
Для обучения нейросети использовались реальные фотографии машин из каталога «Авто.ру», и представители сервиса отмечают, что это сыграло на пользу. На сайте публикуются снимки, сделанные на «мыльницы» и камеры телефонов, поэтому нейросеть училась распознавать машины даже в сложных условиях.
В компании объясняют новую функцию по большей части интересом пользователей к стоимости дорогих и красивых машин: теперь увидев такой автомобиль на улице можно сразу узнать и модель, и цены на неё у дилеров и частных продавцов. С другой стороны, «Авто.ру» собирается экспериментировать: компьютерное зрение будет помогать заполнять строчки объявления автоматически, учиться распознавать битые машины (и указывать эту информацию при публикации), а также выбирать наиболее «красивое» фото для обложки — последняя технология уже применяется в 10% объявлений.
В «Авто.ру» функцию распознавания машин в шутку называют заменой игры в «угадайки»: детской мальчишеской забавы по определению марки машин. Теперь эта забава может сойти на нет: сложно конкурировать даже с некомпетентным противником, но вооружённым обученной на миллионах фотографий нейросетью.