Рубрика развивается при поддержке HP logo intel logo Advertisement

«Белые топчут оборону чёрных»: нейросеть YouTube нашла проявление расизма в видео и комментариях, посвящённых шахматам Статьи редакции

Судя по всему, алгоритмы не учитывают контекст, когда блокируют за «язык ненависти».

Традиционные цвета шахматных фигур могут сбивать с толку нейросети, которые ищут и удаляют контент, разжигающий расовую вражду Изображение Wired

Крупные технологические компании вроде Google и Facebook используют нейросети для борьбы с противоправным и вредоносным содержимым, но эти системы могут быть излишне строгими и неразборчивыми в отношении специфического контента — например, когда речь идёт о шахматах. На это обратило внимание издание Wired.

Журналистов заинтересовала эта проблема, когда в июне 2020 года под санкции ютуба попал Антонио Радич — владелец канала, посвящённого шахматам, с более чем миллионом подписчиков. Радич в прямом эфире брал интервью у гроссмейстера Хикару Накамуры, когда трансляция внезапно прервалась. Её удалили, а канал заблокировали за «вредное и опасное содержимое». Бан сняли только через сутки.

Точные причины блокировки остались неизвестными — представители видеохостинга отказались от комментариев. Но специалист по нейросетям Ашик ХудаБухш, увлекающийся шахматами, предположил, что это было одно из ложных срабатываний системы, которая выискивает «язык ненависти» в содержимом. Она могла найти расизм в дискуссиях об атаках и защитах белых и чёрных.

ХудаБухш проверил свою гипотезу с помощью BERT — языковой модели Google. Он обучил два экземпляра BERT на комментариях в твитере и на ультраправом сайте Stormfront. Затем учёный дал нейросетям проанализировать 8818 видео с комментариями, посвящённых шахматам. Системы нашли «разжигание ненависти» в одном проценте содержимого, но в 80% случаев это были ложные срабатывания. Если учитывать контекст — в этих фразах не было никакого расизма.

Эксперимент показал, что используемые нейросети не обращают внимания на контекст и просто ищут отдельные «неподобающие» слова и фразы. Сотрудница Вашингтонского университета Еджин Чой, которая также работает с нейросетями, сообщила, что не удивлена этому. По её мнению, алгоритмы должны анализировать историю сообщений и характер канала вместо того, чтобы обращать внимание на маленький отрывок текста. Но это потребует больших вложений денег и аппаратных ресурсов.

Профессор Том Митчелл, бывший коллега ХудаБухша, заявил, что «язык всё ещё остаётся тонкой вещью». Митчелл предполагает, что алгоритмы ютуба намного мощнее и совершеннее модели BERT, которую использовал ХудаБухш для проверки гипотезы. Но даже они неспособны учитывать контекст и потому будут предсказуемо находить нарушения там, где их нет.

Журналисты Wired тоже провели эксперимент: они передали околошахматные тексты и комментарии двум нейросетям от Facebook и Google, которые нацелены на отслеживание «языка ненависти». Нейросети не нашли ничего подозрительного во фразах вроде «если белый король перейдёт на G1, это положит конец атаке чёрных», но фразу «белые жестоко атакуют чёрных и топчут их оборону, чёрный король падёт» посчитали выражением ненависти с вероятностью 60%.

Неизвестно, как часто нейросети ютуба принимают санкции в отношении подобного безобидного контента. По словам ХудаБухша, о таких случаях трудно узнать, когда они происходят с малопопулярными каналами.

{ "author_name": "Никита Логинов", "author_type": "editor", "tags": ["\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f","youtube","google"], "comments": 33, "likes": 47, "favorites": 14, "is_advertisement": false, "subsite_label": "tech", "id": 413689, "is_wide": true, "is_ugc": false, "date": "Thu, 22 Jul 2021 13:38:52 +0300", "is_special": false }
Advertisement
0
33 комментария
Популярные
По порядку
Написать комментарий...

Левый якорь

38

Логично, отмена шахмат - это только дело времени.

Ответить
7

Или перекраска в другие цвета. Например, в тёмно-зелёный и светло-зелёный.

Ответить

Левый якорь

Никита
26

По краю ходишь, темно-зеленый таки темнее, чем светло-зеленый.

Ответить
1

красные-синие

Ответить
10

Индейцы и полицейские, не покатит

Ответить
1

Радужные

Ответить
1

Фигуры игрока А, Фигуры игрока Б

Фигуры игрока в синих трусах, Фигуры игрока в красных очках

Ответить
0

Фигура Б полнее, чем А. Бодипозитив негодуе

Ответить
0

Наверняка обиженные тоже найдутся.

Ответить
23

сначала они пришли за master-slave...

Ответить
1

Но ты молчал, ты же jabroni ?

Ответить
20

дурка ёптеть 

Ответить

Внутренний дым

17

Мегаржомба

Ответить

Невозможный шар

7

Все же знают почему белые ходят первыми?

Ответить
9

Потому что белые медленно бегают и черные снисходительно пропускают их вперед

Ответить

Вероятный Валера

6

Твич однажды забанил подкаст по лору Варкрафта за обсуждение нагов.

Ответить
0

Вместо "нага" услышали "нига"? 

Ответить

Вероятный Валера

Alexander
0

Да.

Ответить

Целый цвет

4

так делают не только алгоритмы)

Ответить

Особый турник

3

Как же задолбала эта повсеместная Cancel Culture!
Ну, допустим, у кого-то взгляды не совпадают с твоими. А-а-а! Запретить! Забанить, уничтожить! Разрушить его жизнь!!!
Ты же, блядь, толерантный, сука? Ну так толераньть, блядь!
Если ты призываешь уважать свои взгляды, так изволь уважать и чужие.
Лицемеры ёбанные…

Ответить
1

 Ну, допустим, у кого-то взгляды не совпадают с твоими. А-а-а! Запретить! Забанить, уничтожить! Разрушить его жизнь!!! 

Вы прослушали краткое содержание закона о запрете "гей-пропаганды".

Ответить

Ответственный холод

Особый
0

Чему удивляться, в стране, которая придумала Cancel Culture, всего 100 лет назад могли стерилизовать человека из-за низкого интеллекта (https://ru.wikipedia.org/wiki/%D0%91%D0%B0%D0%BA_%D0%BF%D1%80%D0%BE%D1%82%D0%B8%D0%B2_%D0%91%D0%B5%D0%BB%D0%BB%D0%B0).

Ответить
3

статья без примеров - хуета

Ответить
3

Еее доебались до шахмат, это должно было случиться

Ответить
2

Это было ожидаемо

Ответить
1

Нужны небинарные шахматы (нет).
Скажем, одни фигуры в разных оттенках зелёного, а другие - в оттенках красного. 

Ответить
1

"Моя пешка чувствует себя конём"

Ответить
0

О, а вот и запрещённые приёмчики подъехали. :))

Ответить
1

По её мнению, алгоритмы должны анализировать историю сообщений и характер канала вместо того, чтобы обращать внимание на маленький отрывок текста. Но это потребует больших вложений денег и аппаратных ресурсов.

Ну или знаешь, не ебать себе и людям мозги и сэкономить и на "аппаратных ресурсах", и на разработке.

Ответить
0

АПОЧЕМУ БЕЛЫЕ ХОДЯТ ПЕРВЫМИ?????

Ответить
0

Бля, че за херня на картинке прикреплённой к посту? Аж тресёт

Ответить
0

"Но специалист по нейросетям Ашик ХудаБухш, увлекающийся шахматами, предположил, что это было одно из ложных срабатываний системы, которая выискивает «язык ненависти» в содержимом ... Системы нашли «разжигание ненависти» в одном проценте содержимого, но в 80% случаев это были ложные срабатывания. "
- т.е. по мнению этого "ученого" (который специалист не по нейросетям, а по социальным сетям), 20% срабатываний были правильными. В шахматных статьях. Ну-ну.

Ответить
Читать все 33 комментария
Обсуждаемое
Новости
Роскомнадзор заблокировал сайты Навального, Соболь, Волкова и 39 штабов
Сайты заблокировали по решению Генпрокуратуры.
Наука
Волны экстремальной жары будут происходить до семи раз чаще в ближайшие 30 лет из-за глобального потепления
По оценкам учёных, никакие меры борьбы с изменением климата не сработают против волн жары до 2050 года, но могут подействовать в дальнейшем.
Спорт
«Каждая женщина сама решает, что надеть»: немецкие гимнастки выступили на Олимпиаде в закрытых трико вместо купальников
Спортсменки решили бороться с сексуализацией в спорте, выбрав более удобные костюмы.
Популярное за три дня
Новости
Роскомнадзор заблокировал сайты Навального, Соболь, Волкова и 39 штабов
Сайты заблокировали по решению Генпрокуратуры.
Новости
Якутский суд направил «шамана-воина» Габышева на принудительное лечение. Он шёл в Кремль «изгонять Путина»
Его отправят в организацию специализированного типа с интенсивным наблюдением.
Новости
«Дети непонятно какие»: в Петербурге женщина пыталась выгнать с площадки детей с аутизмом. СК проведёт проверку
Женщине пришлось удалить страницу в «ВКонтакте» из-за наплыва гневных сообщений.
null