Нейросеть Твиттера обвинили в «расовой предвзятости» — она выбирает на превью фото лица белых людей, а не темнокожих
В соцсети появились десятки примеров, где темнокожих «обрезали» на предпросмотре. Twitter проверил работу алгоритма и заявил, что не нашёл признаков расовой или гендерной предвзятости.
В 2018 году Twitter стал использовать нейросети для создания превью фотографий и картинок. Часто изображение в ленте обрезается, поэтому алгоритм соцсети пытается понять, какая область представляет для пользователей «наибольший интерес», а затем выбирает её для предпросмотра. Система работает и с фото, и с мемами, и с артами, и с текстовыми скриншотами.
20 сентября бывший разработчик компании Square (ей, как и твиттером, управляет Джек Дорси) Тони Арчиери провёл эксперимент: он сделал длинную картинку с первым темнокожим президентом в истории США Баракой Обамой и республиканским сенатором Митчем Макконеллом. В обоих примерах, независимо от расположения на картинке, нейросеть Твиттера выбирала на превью последнего.
Эксперимент разошёлся по твиттеру, после чего другие пользователи тоже принялись испытывать работу нейросети. И выяснили, что в большинстве система выбирает на превью белого человека, несмотря на фон и другие факторы. Подобное происходит не только с фото, но и с артами, персонажами «Симпсонов» и мемами.
Пользователи отметили, что дело может быть в контрасте изображений или проблеме с распознаванием лиц. В любом случае, первопричина, по мнению комментаторов, в базе данных: система может выбирать на превью преимущественно белых людей, потому что она обучена на фото преимущественно белых людей.
Эту проблему неоднократно поднимали в сфере машинного обучения: нейросети хуже распознают текст и речь афроамериканцев и чаще допускают ошибки при попытке их идентификации с помощью распознавания лиц.
В реплаи к одному из твитов пришёл директор по цифровым технологиям компании Дэнтли Дэвис. Он рассказал, что алгоритм не только распознаёт лица на картинках, но также учитывает более яркий и светлый фон, на котором объект выглядит контрастнее. Дэвис пообещал проверить работу нейросети, но показал свой пример: он взял темнокожего и белого человека, а затем прифотошопил их к одинаковому костюму на одинаковом фоне. В итоге на превью твита появился темнокожий герой.
Сотрудница Intertheory Ким Шерелл тоже провела эксперимент: она взяла более контрастное фото улыбающегося Обамы и сравнила со снимком Макконелла. На превью оказался бывший президент США.
Представитель Twitter Лиз Келли в итоге заявила, что команда соцсети проверила работу нейросети и не обнаружила в системе расовой или гендерной предвзятости. Но, по словам Келли, компания продолжит изучение алгоритма, а также откроет исходный код, чтобы его смогли изучить сторонние специалисты.
Русскоязычные пользователи тем временем поставили свои эксперименты: в их примерах нейросеть выбирала на превью Светлану Тихановскую, а не Александра Лукашенко, но в тоже время предпочитала Барака Обаму, а не Алексея Навального.
#twitter #соцсети #нейросети