{"id":1016,"title":"\u041f\u0430\u043a\u0435\u0442 \u0441 \u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438 \u0438\u043b\u0438 \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u0430 \u00ab\u041f\u0430\u043a\u0435\u0442\u00bb? \u041e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0440\u0435\u0434\u0430\u043a\u0446\u0438\u044f","url":"\/redirect?component=advertising&id=1016&url=https:\/\/tjournal.ru\/promo\/493659-paket&placeBit=1&hash=d665c792c9ba916c0b024e1970b37a8b537b875c43a5f4e7c09b6fab2ddc8cca","isPaidAndBannersEnabled":false}

Microsoft запустила сервис, автоматически генерирующий подписи к фото Статьи редакции

Компания Microsoft запустила проект под названием CaptionBot — онлайн-приложение, которое автоматически генерирует релевантные подписи к изображениям.

Сервис способен анализировать как фотографии доступные в сети, так и снимки, загруженные с компьютера. В Microsoft уточняют, что компания будет сохранять все изображения, предложенные пользователями, для того, чтобы в дальнейшем совершенствовать систему.

CaptionBot работает на базе двух нейросетей: одна анализирует фотографии, а вторая генерирует описания к ним на английском языке. Чем больше через систему пропускают изображений с подписями, тем точнее становится её анализ.

CaptionBot легко может узнать на снимке церковь или Владимира Путина на лошади. Кроме того, система способна определить, насколько тот или иной человек похож на какую-либо знаменитость, а также распознать эмоции на лицах.

«Я думаю, это старая церковь»
«Я думаю, что это мужчина на лошади с нейтральным выражением лица. Я на 98% уверен, что это Владимир Путин»
«Я думаю, это мужчина, стоящий рядом с деревом»

Однако часто система ошибается. Например, во время проверки TJ она не смогла опознать Apple Store, девушку, играющую на барабанах, «отправила на кухню», а молодого человека в футболке описала как «мужчину в галстуке».

«Я не уверен, но я думаю, что это мужчина в очках и галстуке с нейтральным выражением лица. Это вы? Я думаю, вы на 50% похожи на Джеймса Фрейна»
«Я не уверен, но думаю, что это женщина, которая с нейтральным выражением лица готовит на плите»
«Я не могу описать это фото»

Microsoft — не первая крупная IT-компания, показавшая подобную технологию за последнее время. В 2014 году аналогичное решение представила Google, а в начале апреля 2016-го Facebook запустил функцию автоматической подписи снимков для незрячих.

0
33 комментария
Популярные
По порядку
Написать комментарий...
Маленький бокал

это наверно была бетка, а вы смеялись

Ответить
29
Развернуть ветку
Маленький бокал
Ответить
10
Развернуть ветку
Маленький бокал
Ответить
103
Развернуть ветку
Маленький бокал

нечаянно засмеялся в офисе как умственно отсталый попугай, теперь все думают я странный.

Ответить
6
Развернуть ветку
Маленький бокал

They think you are dibiloid.

Welcome to TJ, bro.

Ответить
0
Развернуть ветку
Маленький бокал

Хаха, не справилась программа буржуйская!

Ответить
9
Развернуть ветку
Маленький бокал

And he seems 😭.

Ответить
7
Развернуть ветку
Маленький бокал

Предпоследняя картинка, разумеется, лучшая.

Ответить
5
Развернуть ветку
Маленький бокал

Подруга поняла, что от судьбы не уйти.

Ответить
28
Развернуть ветку
Маленький бокал

То бот-расист, то нейросеть-сексист :/

Ответить
3
Развернуть ветку
Маленький бокал
Ответить
5
Развернуть ветку
Маленький бокал

Майкрософт молодцы. Запилил нейронную сеть, а теперь пусть тысячи хомячков ее обучат.

Ответить
3
Развернуть ветку
Маленький бокал

with a cake

Ответить
6
Развернуть ветку
Маленький бокал

Там нет обратной связи, так что мы ее не обучаем.

Ответить
0
Развернуть ветку
Маленький бокал

Ай не, есть голосовалка

Ответить
0
Развернуть ветку
Маленький бокал
Ответить
3
Развернуть ветку
Маленький бокал

Microsoft создала искусственного Капитана Очевидность. CaptainBot.

Ответить
2
Развернуть ветку
Маленький бокал

И это офигенно круто. Машина учится понимать смысл.

Ответить
3
Развернуть ветку
Маленький бокал
Ответить
2
Развернуть ветку

Комментарий удален

Развернуть ветку
Маленький бокал
Ответить
1
Развернуть ветку
Маленький бокал

Круто, все фотки хорошо подписывает. Даже на абстрактную фигню старается написать что-то.

Ответить
0
Развернуть ветку
Маленький бокал

Вот потыкайте сами https://commons.wikimedia.org/wiki/Special:Random/File, всё очень плохо. В половине случаев вообще никаких идей, в четверти он предлагает вариант, но совсем неправильно, а ещё в четверти лишь отчасти опознаёт какие-то элементы (как на вашем снимке выше).
Я два десятка случайных изображений перебрал, скармливая всё подряд, не поставил ни одной пятёрки.

Ответить
0
Развернуть ветку
Маленький бокал

Результаты от @ya
1. "Эту картинку можно понимать как запрос "крутицкое подворье в москве"
2. "Эту картинку можно понимать как запрос "путин на коне"
3. "Эту картинку можно понимать как запрос "безысходность деревья"
4. Похоже, ты хочешь найти "мужские бороды"
5. Наверное, люди назвали бы это "барабанщик(drummer)"
6. Пользователи обычно находят такое по запросу типа "restaurant". Похоже?

Ответить
0
Развернуть ветку
Маленький бокал

А скормите изображения из моего коммента ниже, а? https://tjournal.ru/26480-microsoft-zapustila-servis-avtomaticheski-generiruushii-podpisi-k-foto#comment1260432

Ответить
0
Развернуть ветку
Маленький бокал
Ответить
0
Развернуть ветку
Маленький бокал

I think it is dron from Scandinavia.

Ответить
0
Развернуть ветку
Маленький бокал

no. its killermachine schoolboy from Tagil city

Ответить
0
Развернуть ветку
Маленький бокал
Ответить
0
Развернуть ветку
Маленький бокал

Потыкал случайные изображения с Wikimedia Commons (https://commons.wikimedia.org/wiki/Special:Random/File).
Вот у вас с Путиным всё норм, а у меня мужика с голым торсом принял за женщину и засмущался, высушенный побег из гербария, смешную деревянную скульптуру, рок-группу с явно видимой гитарой и даже простой сельский пейзаж вообще не смог описать, химическую схему принял за футбольный мяч. Кое-как опознал камни и воду на голландской дамбе, а с газетой меня рассмешил.
https://commons.wikimedia.org/wiki/File:Cobra_Gold_2012_120214-M-VG363-121.jpg
https://commons.wikimedia.org/wiki/File:Neuchâtel_Herbarium_-_Euonymus_europaeus_-_NEU000041526.jpg
https://commons.wikimedia.org/wiki/File:Squire_Waterton_out_of_his_lookout_-_geograph.org.uk_-_719803.jpg
https://commons.wikimedia.org/wiki/File:Serious_Black_Rockharz_2015_11.jpg
https://commons.wikimedia.org/wiki/File:Boggy_ground_-_geograph.org.uk_-_1598590.jpg
https://commons.wikimedia.org/wiki/File:Carb_-_tab5.gif
https://commons.wikimedia.org/wiki/File:De_Roode_Klif.jpg
В-общем, где-то четыре балла по десятибальной шкале, не выше.

Ответить
0
Развернуть ветку
Маленький бокал

commons.wikimedia.org/wiki/File:Cobra_Gold_2012_120214-M-VG363-121.jpg

Похоже, ты хочешь найти "даниэль кормье"

commons.wikimedia.org/wiki/File:Neuchâtel_Herbarium_-_Euonymus_europaeus_-_NEU000041526.jpg

091450

commons.wikimedia.org/wiki/File:Squire_Waterton_out_of_his_lookout_-_geograph.org.uk_-_719803.jpg

Наверное, люди назвали бы это "скворечник на дереве"

commons.wikimedia.org/wiki/File:Serious_Black_Rockharz_2015_11.jpg

"Эту картинку можно понимать как запрос "бригадный подряд"

commons.wikimedia.org/wiki/File:Boggy_ground_-_geograph.org.uk_-_1598590.jpg

Ты хочешь поискать "земельный участок"?

commons.wikimedia.org/wiki/File:Carb_-_tab5.gif

Ты хочешь поискать "как сделать октаэдр"?

commons.wikimedia.org/wiki/File:De_Roode_Klif.jpg

Пользователи обычно находят такое по запросу типа "giant s causeway". Похоже?

Ответить
0
Развернуть ветку
Маленький бокал

Короче, очередной Artificial Stupidity(

Ответить
0
Развернуть ветку
Маленький бокал

кто не понял, тот поймёт

Ответить
0
Развернуть ветку
Маленький бокал
Ответить
0
Развернуть ветку
Читать все 33 комментария
null