«Один мужчина, борода»: во время сбоя Инстаграма и Фейсбука пользователи увидели точные текстовые описания своих фото Статьи редакции
Для многих стало открытием, что искусственный интеллект соцсетей «видит» каждый пост и делает это довольно точно.
3 июля в работе Фейсбука, Инстаграма и WhatsApp произошёл крупный сбой — пользователи на протяжении нескольких часов не могли зайти в приложения и получить доступ к новостным лентам. Также все три сервиса (WhatsApp и Instagram принадлежат Facebook) не открывали изображения и аватарки.
Из-за сбоя пользователи могли наблюдать в Фейсбуке и веб-версии Инстаграма необычную картину — вместо фото появились довольно точные текстовые описания. К примеру, снимок девушки с собакой так и обозначался набором тегов: «На этом изображении может находиться девушка и собака».
Пользователи стали делиться в Твиттере пересказами собственных страниц. На это обратили внимание и читатели TJ.
(с)великий инстаграм https://t.co/daIPAEfQ09
В соцсетях шутили, что Инстаграм и Фейсбук развивают воображение, а также, что именно так будут работать сервисы при автономном рунете.
Что это за теги вместо фото
Издание The Verge объясняет: если вкратце, то набор тегов — то, как каждую фотографию каждого пользователя видит искусственный интеллект, встроенный в Инстаграм и Фейсбук. Системы машинного зрения анализируют каждый снимок, разбивая его на объекты. В некоторых случаях алгоритмы Фейсбука могут даже точно определить, какой именно пользователь изображён на фото.
Facebook использует систему «чтения» изображений в своих сервисах как минимум с 2016 года. В 2018 году Instagram запустил функцию пересказа содержимого фотографий для слабовидящих — по сути зачитывается набор тегов.
Для тех, кто погружён в сферу технологий, подобные текстовые описания в соцсетях не являются чем-то новым. Программисты даже делали расширения для Chrome, раскрывающие наборы тегов. Но крупный сбой Фейсбука и Инстаграма показал обычно «невидимую» часть работы нейросетей широкому кругу людей.
На фоне скандалов с Facebook и приватностью СМИ и пользователи задались вопросом, для чего в соцсетях могут собирать подобный тип данных. В The Verge предположили, что информацию могут передавать рекламодателям. Журналисты обратились за комментарием в Facebook, но не получили ответа.
При этом редакция издания отметила: «Независимо от того, как используют данные, это увлекательный взгляд за кулисы крупнейшей в мире операции по сбору данных».
Несколько примеров для сравнения
To be fair, "one person, beard" is pretty much a spot-on description of me. https://t.co/fCpydUxtpz
Уже много месяцев это. Можно смотреть в коде элемента на сайте что инстаграм подумал о вашем фото, они это туда в схему заносят, видимо для SEO продвижения и для своих штук.
Всем кому интересна тема преобразования картинок в текст, вот что нужно загуглить:
Yolo v3
Все намного проще, чем может показаться :)
Тут все еще Open CV мне кажется все юзает в продакшене, но я не уверен, с нейронками точно сложнее будет
Достаточный единорожек88
Идеально же: ты будешь туда постить свои охуенные истории, но приложение не будет работать и никто их не увидит. WIN WIN SITUATION!
Ну кроме тегов для рекламы, детектирование объектов можно использовать как сервис для слепых.
Инстаграм для слепых это конечно мощно. Достаточно просто подписаться на тот сатирический аккаунт, где вместо фоток постят текстовое описание.
Предлагаю еще тупее - вместо текста ставить точки системой Браиля. Вот умора будет.
Ну это как бы alt-теги, которые по стандарту html должны быть заполнены у изображений, как раз для случаев, когда картинка не загрузилась или документ открывается скринридером
Для обывателя, вообще, что то связанное с компьютером, кажется дичайшей магией.
Блин, а где упоминание местного форса этого машинного описания обложки фб Лихачева?
делает это довольно точно.
шутите чтоль? Посмотрел для некоторых фоток описание. Селфи из далека в холле он подписал "в помещении". Спасибо, кэп!
Тот момент, когда на самом деле это теги под фото для слабовидящих, хех
Фото на весь интернет - нормально. Текст описывающий то что изображено на фото - ах уж этот дрянной фейсбук!