Технологии Сергей Звезда
7 321

Два школьника из России придумали приложение VinGo на основе нейросети. Это игра в угадывание картин по эмодзи

Сервис даёт набор символов, по которому нужно угадать произведение и найти его в музее.

В закладки
Угадываешь экспонат по набору эмодзи, после чего VinGo показывает историческую справку

11-классник Александр Мамаев и 10-классник Андрей Жевлаков придумали приложение VinGo (сокращение от Vincent Van Gogh), которое с помощью нейросети позволяет превратить прогулку по музею в игру. Разработчики представили сервис по итогам четвёртого хакатона от «ВКонтакте».

В разговоре с TJ разработчики пояснили, что работа над VinGo пока не завершена, но оно уже доступно для тестирования на Github. Попробовать сервис можно только с устройств на Android. Под iOS приложение не адаптировано.

Мы сделали приложение, которое позволяет геймифицировать экскурсии. Вместо классической прогулки мы предлагаем пользователю сыграть в игру: игроку предоставляется набор эмодзи, описывающий картину, по ним он должен найти оригинал картины, находящийся в зале.

Для распознавания картин мы обучили небольшую нейронную сетку, которая работает прямо на устройстве, что позволяет не отправлять данные на сервер, а это снимает с нас задачи с масштабируемости.

Александр Мамаев
соавтор VinGo

В VinGo уже есть картины из четырёх залов Государственного Эрмитажа в Петербурге — разработчики обошли их за выходные, пока шёл хакатон. Протестировать VinGo можно, не посещая музей, а воспользовавшись сканом картины из специального архива. Нужно открыть приложение и навести камеру на монитор с открытым изображением. Затем VinGo покажет справку о картине в формате «историй».

Тестирование приложение в Эрмитаже. Видео разработчиков
Тестирование приложения у монитора. Видео TJ

Проверка TJ показала, что уже на этом этапе нейросеть VinGo быстро распознает картины. Однако есть и недостатки. Например, если навести камеру на «неправильную» картину, то приложение не подскажет, ошибся ли его пользователь или произошёл некий сбой. Также при тестировании с монитором распознавание картин работает хуже, чем в самом музее — это признают и сами разработчики. Работа над описаниями картин также не закончена, хотя в некоторых случаях она не очень-то и требуется.

Кроме того, разработчики VinGo планируют добавить «награды» для активных пользователей приложения. «Нужно сделать интересные эмоджи-ребусы для картин и краткие, при этом интересные описания для них», — рассказал Мамаев.

Главной сложностью авторы VinGo назвали получение фотографий картин в высоком качестве и исторической информации от музеев. По словам разработчиков, доступные в интернете сканы произведений не подходят, поскольку «сняты в идеальных условиях».

Пока авторы VinGo планируют создать прототип приложения на основе нескольких залов Эрмитажа, отсняв картины самостоятельно или воспользовавшись сервисами с заданиями вроде «Яндекс.Толоки». По их словам, ими заинтересовался корпоративный акселератор FunCubator, но перспективы сотрудничества с ним пока не определены.

Разработчики всерьёз не задумывались о способах монетизации VinGo, считая, что оно в первую очередь несёт «социальную функцию». «Возможно, стоит встраивать некоторую рекламу выставок, которые проходят в городах. Приложение также может послужить поводом для того, чтобы человек пришёл на выставку», — предположил Мамаев.

Мамаев — back-end разработчик, учится в городе Долгопрудный Московской области. Жевлаков — front-end разработчик, учится в городе Ковылкино, Республика Мордовия. Они познакомились во «ВКонтакте».

Команда Мамаева и Жевлакова, состоявшая только из них самих, по предварительным оценкам жюри VK Hackaton 2018 шла на первом месте. Однако перед финалом школьников дисквалифицировали, поскольку они представили работу с опозданием. В ином случае команда могла претендовать на главный приз в 500 тысяч рублей или другие награды.

У разработчиков VinGo есть спорный опыт участия в хакатоне «ВКонтакте» 2017 года. Тогда они придумали Donatelo — приложение-конструктор динамических обложек для сообществ соцсети, но в начале 2018 года закрыли проект из-за нехватки свободного времени.

#технологии #приложения

{ "author_name": "Сергей Звезда", "author_type": "editor", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438","\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f"], "comments": 13, "likes": 35, "favorites": 10, "is_advertisement": false, "subsite_label": "tech", "id": 79904, "is_wide": false, "is_ugc": false, "date": "Fri, 16 Nov 2018 17:47:26 +0300" }
Комментарии

Налоговый Макс

2

Уж лучше угадывание мемов

Дальний бас

8

Угадайте картину:
🤙🏿🌚🌚⛳💩

Правильный ответ:
я ебаный дегенерат, использующий эмодзи.

Технологии
дискуссии в сообществе доступны только владельцам клубного аккаунта
С клубным аккаунтом вы сможете
создавать записи и вести дискуссии в закрытых сообществах
наслаждаться нашим сайтом без рекламы
помочь проекту и почувствовать себя лучше
Купить за 75₽

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "ccydt", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } } ]
Не пропустите самое важное,
что происходит в интернете
Подписаться на push-уведомления