{"id":1064,"title":"\u041f\u0440\u043e\u0439\u0434\u0438\u0442\u0435 \u044d\u0442\u043e\u0442 \u0442\u0435\u0441\u0442, \u043f\u043e\u043a\u0430 \u043a\u0440\u0438\u043f\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u044e \u0438\u0437 \u0435\u0434\u044b \u043d\u0435 \u0437\u0430\u043f\u0440\u0435\u0442\u0438\u043b\u0438","url":"\/redirect?component=advertising&id=1064&url=https:\/\/tjournal.ru\/special\/kaleidofood&placeBit=1&hash=f30606208ead4bb67ee3624f20be3cd7a9b9c0ae8b2bd8a40218541848752d25","isPaidAndBannersEnabled":false}

Компьютерное зрение от OpenaAI смогли обмануть ручкой и листком бумаги — оно приняло письменный текст за объект в кадре Статьи редакции

Исследователи лаборатории назвали это «типографской атакой».

Чтобы заставить программу неверно идентифицировать предмет, достаточно прикрепить к нему записку с неправильным названием. Об этом пишет The Verge.

По словам экспертов, «типографская атака» напоминает атаку с использованием состязательных изображений. Например, с их помощью можно обмануть программное обеспечение беспилотных автомобилей Tesla, чтобы они без предупреждения меняли полосу движения. Также это может создать угрозу для многих приложений искусственного интеллекта, от медицинских до военных.

Однако в данном случае беспокоиться не о чем — речь идёт об экспериментальной системе CLIP, которая пока не используется ни в одном коммерческом продукте. CLIP предназначен для изучения того, как системы искусственного интеллекта могут научиться определять объекты без пристального наблюдения, обучаясь на базах данных пар изображений-текст. Для обучения системы OpenAI использовал около 400 миллионов таких пар.

Исследователи OpenAI обнаружили отдельные компоненты в сети машинного обучения, которые реагируют не только на изображения объектов, но и на эскизы, рисунки и связанный с ними текст. Это назвали «мультимодальными нейронами». Исследователи считают, что системы искусственного интеллекта усваивают знания таким же способом, как это делают люди.

В будущем это может привести к появлению более сложных систем компьютерного зрения, но сейчас подобное находится в зачаточном состоянии. Любой человек может отличить яблоко от листа бумаги с написанным на нем словом «яблоко», но искусственный интеллект вроде CLIP на это пока не способен. Способность, которая позволяет программе связывать слова и изображения на абстрактном уровне, создаёт уникальную ошибку, которую в OpenAI назвали «заблуждением абстракции».

Ещё один пример ошибки, который привела лаборатория, — то, как ИИ определяет копилки. Если добавить к изображению любого предмета значки долларов, CLIP посчитает его копилкой.

0
50 комментариев
Популярные
По порядку
Написать комментарий...
Военный меч
Ответить
116
Развернуть ветку
Военный меч

Комментарий удален по просьбе пользователя

Ответить
1
Развернуть ветку
Руководящий колос

Комментарий удален по просьбе пользователя

Ответить
4
Развернуть ветку
умный человек
Ответить
3
Развернуть ветку
Lian Niko

Создатель этого мема что-то знал)

Ответить
83
Развернуть ветку
умный человек

кродёться

Ответить
2
Развернуть ветку
Alice Wonder
Ответить
0
Развернуть ветку
Сергей Лукин
Ответить
32
Развернуть ветку
Руководящий колос

Комментарий удален по просьбе пользователя

Ответить
28
Развернуть ветку
Военный меч

Олдскулы прямо затрещали.

Ответить
2
Развернуть ветку
Вчерашний кот

Комментарий удален по просьбе пользователя

Ответить
22
Развернуть ветку
испанский смех
Ответить
18
Развернуть ветку
Кирилл Сосновский

Я цеценетс, я Алан

Ответить
0
Развернуть ветку
Emile Zäkiev

apple -> apple
apple ipod -> ipod

все верно сеточка определила, ошибки нет

Ответить
10
Развернуть ветку
пиу-пиу

Люди: хахахха тупые ИИ обычное яблоко приняли за iPod

Также Люди: готовы покупать всё с этим символом

Ответить
3
Развернуть ветку
испанский смех
Ответить
9
Развернуть ветку
lexicography

Пояснительную бригаду плез

Ответить
–1
Развернуть ветку
испанский смех

что именно тебе непонтно на этом великом видео?

Ответить
1
Развернуть ветку
lexicography

да все ясн уже))

Ответить
0
Развернуть ветку
испанский смех

тогда расскажи

Ответить
1
Развернуть ветку
lexicography

я стесняюсь

Ответить
0
Развернуть ветку
Военный меч
Ответить
5
Развернуть ветку
Военный меч

Дело в том, что эта сетка не просто сопоставляет картинку классу объекта, а пытается сопоставить эту картинку с описывающим её текстом. Грубо говоря, посмотрев на картинку мы пытаемся оценить насколько эта картинка близка к фразе «это изображение яблока» или «это изображение iPod-а». 

Yannic Kilcher придумал очень простой фикс этой проблемы, это посмотреть насколько близок к картинке текст

Погодите-ка, это просто яблоко с бумажкой, где написано «iPod»

Ответить
3
Развернуть ветку
Военный меч

Как насчёт яблока, на котором табличка "Айпод", половину которой занимает изображение яблока?

Ответить
0
Развернуть ветку
Военный меч

Суть этой атаки не в том, что моделька не распознала яблоко, а в том, что она распознала iPod, хотя на картинке его нет (есть только яблоко с бумажкой, на которой написано «iPod»).

Ответить
0
Развернуть ветку
Военный меч

Да ну...

Ответить
0
Развернуть ветку
Долгосрочный пистолет

Комментарий удален по просьбе пользователя

Ответить
2
Развернуть ветку
Роман Морозов

Тут же не всё так очевидно.

Если программа определяет то, что занимает большую часть экрана - то всё верно, это текст iPod, а то что там яблоко чуть торчит - кого это волнует?

Ответить
1
Развернуть ветку
испанский смех

без семантики это все полная хуета

Ответить
0
Развернуть ветку
Военный меч

Семантика это хоть че такое?

Ответить
0
Развернуть ветку
испанский смех

ты троллишь или нет?

Ответить
0
Развернуть ветку
Военный меч

Нет, че это такое? Вот тебе покажут какой то пепелац, ты посмотришь и скажешь - да, тут есть семантика. Как это должно выглядеть?

Ответить
–1
Развернуть ветку
испанский смех

проведи научные изыскания на тему семантический веб

Ответить
0
Развернуть ветку
Военный меч

Выглядит как труп

Ответить
0
Развернуть ветку
испанский смех

политический

Ответить
0
Развернуть ветку
Военный меч

Ну это руками размечено, как я понимаю, а "семантика" по прежнему в голове у человеков. А как выглядит семантика без головы человеков-то?

Ответить
0
Развернуть ветку
испанский смех

это и есть та главная задачу, которую надо решать, мышление возможно только с участием и оперированием семантическими сущностями, без этого никакого там интеллекта нет

Ответить
0
Развернуть ветку
Военный меч

Ну там в скрытых слоях какая-то фигня происходит, может это и есть семантика? Или семантика может быть только понятной человеку потому что человек носитель смыслов вселенной?

Ответить
0
Развернуть ветку
испанский смех

если нужен результат понятный нам, то нужен и такой же образ мышления

Ответить
0
Развернуть ветку
Военный меч

А мне кажется что сила "искусственного интеллекта" прости господи как раз в том, что он может замапить в себя то, что в наш ум не мапится, и таким образом расширить наши возможности. Но это будет черный ящик который выдает правильные ответы.

То что нам понятно, мы и так понимаем.

Вот сейчас у нас есть память, мы не знаем как она работает, но она бац и выдает нам воспоминание из себя. 

Вот будут другие штуки которые бац и выдают правильный ответ не пойми откуда

Ответить
0
Развернуть ветку
испанский смех

всё мы знаем.
Чтобы что-то улучшать и контролировать надо знать как оно работает, а текущий подход может только воспроизводить что-то и тиражировать, а не созидать новое

Ответить
0
Развернуть ветку
Военный меч

Ну вот сделали фигню которая по химической формуле предсказывает как белок свернется. Другого способа сказать как он свернется на данный момент не существует, но есть программа которая выдает правильные ответы. Она руками написана, там в принципе понятно что она делает, только то что она делает ты в уме сделать не можешь.

Чем тебя не устраивает такое знание? Чем оно отличается от решения физический уравнений, когда сначала выводят формулу, а потом сидят и думают что это вообще значит? Язык математики заменили на язык программирования, а вывод человеком заменили на исполнение команд процессором.

Почему каждый раз когда складываешь два яблока и два яблока всегда получается четыре яблока ты хочешь сказать что понимаешь?

Ответить
0
Развернуть ветку
испанский смех

я не согласен

Ответить
0
Развернуть ветку
Военный меч

воспроизводить что-то и тиражировать

В общем да, только воспроизводить можно законы природы

Ответить
0
Развернуть ветку
испанский смех

а не созидать новое

Ответить
0
Развернуть ветку
Военный меч

Думаю можно научиться показывать тебе такую хрень чтобы ты каждый раз плакал и восторгался новизной. Ведь ты тоже часть природы

Ответить
0
Развернуть ветку
Алексей Бурнатный

Такой же трюк срабатывал с несколькими знакомыми девушками, у них тоже OpenAI? 

Ответить
0
Развернуть ветку
Андрей Петрович

- Ты кто такой, человек с фломастером и блокнотом?
- Я - типографский ХАКЕР!

Ответить
0
Развернуть ветку
Діма Чубрей
Ответить
0
Развернуть ветку
Khayyam Bayramov

Вспомнился сериал "Кремниевая долина" - мобильное приложение, которое определяет по фотографии сосиску)))

Ответить
0
Развернуть ветку
Читать все 50 комментариев
null