«Один мужчина, борода»: во время сбоя Инстаграма и Фейсбука пользователи увидели точные текстовые описания своих фото

Для многих стало открытием, что искусственный интеллект соцсетей «видит» каждый пост и делает это довольно точно.

В закладки
Аудио

3 июля в работе Фейсбука, Инстаграма и WhatsApp произошёл крупный сбой — пользователи на протяжении нескольких часов не могли зайти в приложения и получить доступ к новостным лентам. Также все три сервиса (WhatsApp и Instagram принадлежат Facebook) не открывали изображения и аватарки.

Из-за сбоя пользователи могли наблюдать в Фейсбуке и веб-версии Инстаграма необычную картину — вместо фото появились довольно точные текстовые описания. К примеру, снимок девушки с собакой так и обозначался набором тегов: «На этом изображении может находиться девушка и собака».

Пользователи стали делиться в Твиттере пересказами собственных страниц. На это обратили внимание и читатели TJ.

Big Data в инстаграме случайно приоткрыла мне свой зловещий оскал https://t.co/SQGsIVVUey
Инстаграм решил не загружать мне мои же фотографии, а просто их описать https://t.co/Y57SmkNCQt
зачем вам фотографии когда у вас есть описание фотографий
(с)великий инстаграм https://t.co/daIPAEfQ09
Спасибо, ФБ, но, может, картинка все-таки лучше? https://t.co/T90VpwzEH9
Пока инстаграм лагает, он показал теги фотографий, которые он сам присваивает. И тут за нами следят, ну куда же деться от вас #instagramdown https://t.co/JXGaC9WORZ

В соцсетях шутили, что Инстаграм и Фейсбук развивают воображение, а также, что именно так будут работать сервисы при автономном рунете.

У меня теперь текстовый инстаграм, который помогает развивать воображение. https://t.co/RFnpP0wSTf
Так будет выглядеть Инстаграм. когда его заблокирует РКН https://t.co/7K4ADeYhmd
Альт-текст для изображений на фейсбуке выглядит почти как описание товаров с AliExpress. https://t.co/x9vCXy1t0N
Следите за нами в нашем красочном инстаграме: http://instagram.com/aviasales/ https://t.co/BUv0KETln7

Что это за теги вместо фото

Издание The Verge объясняет: если вкратце, то набор тегов — то, как каждую фотографию каждого пользователя видит искусственный интеллект, встроенный в Инстаграм и Фейсбук. Системы машинного зрения анализируют каждый снимок, разбивая его на объекты. В некоторых случаях алгоритмы Фейсбука могут даже точно определить, какой именно пользователь изображён на фото.

Facebook использует систему «чтения» изображений в своих сервисах как минимум с 2016 года. В 2018 году Instagram запустил функцию пересказа содержимого фотографий для слабовидящих — по сути зачитывается набор тегов.

Для тех, кто погружён в сферу технологий, подобные текстовые описания в соцсетях не являются чем-то новым. Программисты даже делали расширения для Chrome, раскрывающие наборы тегов. Но крупный сбой Фейсбука и Инстаграма показал обычно «невидимую» часть работы нейросетей широкому кругу людей.

На фоне скандалов с Facebook и приватностью СМИ и пользователи задались вопросом, для чего в соцсетях могут собирать подобный тип данных. В The Verge предположили, что информацию могут передавать рекламодателям. Журналисты обратились за комментарием в Facebook, но не получили ответа.

При этом редакция издания отметила: «Независимо от того, как используют данные, это увлекательный взгляд за кулисы крупнейшей в мире операции по сбору данных».

Несколько примеров для сравнения

Oh yeah! I forgot Facebook uses machine learning to tag our photos with what it sees in the picture.

To be fair, "one person, beard" is pretty much a spot-on description of me. https://t.co/fCpydUxtpz
Редактор TechCrunch пошутил: «Один мужчина, борода — довольно безошибочное описание меня»
Аватарка редактора TechCrunch, которую описывал алгоритм
FB's broken AI photo recognition tool left one person out. It's either me or Judas https://t.co/L7bB4uC7tZ
«Распознавание снимков от Facebook пропустило одного человека. Это либо я, ибо Иуда»
Спокуха, инстаграм просто тестит новую шпионскую прогу, отсюда и глюки! Посмотреть пока фото нельзя, а вот прочесть можно🤦 https://t.co/BpnVm1duwi
самое время подписываться на мой инстаграм, раз он сам подогнал описание: https://www.instagram.com/olegnikishkin/ https://t.co/41omaCj4UR
Вчерашний сбой в Инстаграме показал, что местная нейросеть работает в целом неплохо. https://t.co/OiDf2Jeqij

#соцсети #facebook #instagram #нейросети

{ "author_name": "Женя Кузьмин", "author_type": "editor", "tags": ["\u0441\u043e\u0446\u0441\u0435\u0442\u0438","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","instagram","facebook"], "comments": 37, "likes": 49, "favorites": 19, "is_advertisement": false, "subsite_label": "internet", "id": 104918, "is_wide": false, "is_ugc": false, "date": "Thu, 04 Jul 2019 14:45:54 +0300" }
{ "id": 104918, "author_id": 20443, "diff_limit": 1000, "urls": {"diff":"\/comments\/104918\/get","add":"\/comments\/104918\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/104918"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 214343, "last_count_and_date": null }
37 комментариев

Популярные

По порядку

Написать комментарий...
40

Вы: расставляете красиво булочку с маком и чашечку свежесваренного кофе, чтобы на фото красиво смотрелась вся эта композиция, выбираете цвета, фильтры, экспозицию, чтобы передать настроение
Нейросеть для слабовидящих: На данном изображении может находиться: еда

Ответить
9

Уже много месяцев это. Можно смотреть в коде элемента на сайте что инстаграм подумал о вашем фото, они это туда в схему заносят, видимо для SEO продвижения и для своих штук.

Ответить
0

Ты читал статью, ало?

Ответить
5

Это и сейчас можно посмотреть в браузере к каждой фото

Ответить
4

Я бы от такой нейронки к подсайту "фото" не отказался. )

Ответить
4

>На данном изображении может находиться: Кенчанский

Ответить
3

Всем кому интересна тема преобразования картинок в текст, вот что нужно загуглить:
Yolo v3

Все намного проще, чем может показаться :)

Ответить
0

а что у нас есть по распознаванию номеров машин?

Ответить
1

Тут все еще Open CV мне кажется все юзает в продакшене, но я не уверен, с нейронками точно сложнее будет

Ответить
–5

Ого! Это же та самая зловещая штука, которую меня просят завести нытики с TJ! Она оказывается ещё и не работает! Во дают западные разработчики программного обеспечения!

Ответить
6

Идеально же: ты будешь туда постить свои охуенные истории, но приложение не будет работать и никто их не увидит. WIN WIN SITUATION!

Ответить
0

Мне этот вариант не нравится. Я просто продолжу постить свои фото сюда.

Ответить
0

Ну кроме тегов для рекламы, детектирование объектов можно использовать как сервис для слепых.

Ответить
5

так это ж есть в тексте тоже(

Ответить
3

точно(

Ответить
4

Инстаграм для слепых это конечно мощно. Достаточно просто подписаться на тот сатирический аккаунт, где вместо фоток постят текстовое описание.

Ответить
1

Предлагаю еще тупее - вместо текста ставить точки системой Браиля. Вот умора будет.

Ответить
2

Бачок с бигдатой потик

Ответить
2

Ну это как бы alt-теги, которые по стандарту html должны быть заполнены у изображений, как раз для случаев, когда картинка не загрузилась или документ открывается скринридером

Ответить
0

Точнее alt-аттрибуты тега img

Ответить
2

Для обывателя, вообще, что то связанное с компьютером, кажется дичайшей магией.

Ответить
1

Блин, а где упоминание местного форса этого машинного описания обложки фб Лихачева?

Ответить
1

я вот помнил что-то такое, но не нашел

Ответить
0

Автор наверно удалился вместе с постом

Ответить
1

делает это довольно точно.

шутите чтоль? Посмотрел для некоторых фоток описание. Селфи из далека в холле он подписал "в помещении". Спасибо, кэп!

Ответить
1

Дети — это не люди. Так Фейсбук сказал.

Ответить
1

И тут за нами следят, ну куда же деться от вас

выложить фото в публичный доступ
@
возмущаться что их смотрят

Ответить
1

У AviaSales удивило описание фотки: "Чё-то про Мальту")

Ответить
0

Они вообще молодцы)

Ответить
0

Тот момент, когда на самом деле это теги под фото для слабовидящих, хех

Ответить
0

сбор данных лол

Ответить
0

Фото на весь интернет - нормально. Текст описывающий то что изображено на фото - ах уж этот дрянной фейсбук!

Ответить
0

Разрабам инсты и фб самим стыдно за это говно, вот и прикрыли описаниями)

Ответить
0

Так даже лучше

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "ccydt", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } } ]
Узнавайте важные новости первыми
Подписаться на push-уведомления