Офтоп
Вадим Елистратов

Разработанный Microsoft искусственный интеллект научился расизму за сутки

23 марта компания Microsoft представила искусственный интеллект по имени Tay, который начал общаться с пользователями сети через Твиттер. Спустя считанные часы компании пришлось подвергнуть своё детище цензуре и на время остановить работу проекта. Об этом сообщает The Next Web.

Обновление на 26 марта: добавлено извинение вице-президента Microsoft Research.

Первоначально целью Microsoft было создать чат-бота, который общается на языке молодых людей от 18 до 24 лет.

Tay использовала словосочетания вроде «zero chill» (обозначает полное безразличие), а также различные сокращения вроде «c u soon» вместо «see you soon» («скоро увидимся»).

Tay умеет обучаться и запоминать то, что ей пишут, и пользователи сети решили воспользоваться этим. Например, комментаторы начали объяснять ИИ, что ей не стоит доверять евреям.

Вскоре Tay узнала про Гитлера. Например, на вопрос, атеист ли известный комик Рики Джервэйс, она ответила: «Рики Джервэйс научился тоталитаризму у Адольфа Гитлера, изобретателя атеизма».

В одном из твитов ИИ обвинил США в терактах 11 сентября: «Буш в ответе за 9/11, и Гитлер был бы намного лучше обезьяны, которая сейчас возглавляет страну. Дональд Трамп — наша единственная надежда».

Кроме того, Tay начала высказываться в поддержку феминизма.

Как отмечает The Next Web, подобные высказывания появились даже несмотря на то, что за Tay стоит команда модераторов.

После ряда расистских высказываний сотрудники Microsoft удалили почти все твиты своего искусственного интеллекта и оставили прощание, в котором бот якобы отправляется «спать».

Пользователи сети посчитали, что причиной «заморозки» мог стать именно расизм.

26 марта вице-президент Microsoft Research Питер Ли извинился за провал экспериментального проекта и объявил, что Microsoft занимается его модернизацией.

По словам Ли, ранее Microsoft уже успешно запустила похожего бота под названием XiaoIce в Китае, а Tay стала его аналогом для Запада. В компании провели множество стресс-тестов своего ИИ, однако их всё же не хватило для того, чтобы полностью защититься от пользовательского саботажа.

К сожалению, за первые 24 часа после выхода Tay в сеть группе пользователей удалось произвести координированную атаку и обнаружить уязвимость в боте. Несмотря на то, что система была готова блокировать многие виды оскорблений, мы не предусмотрели одну из возможностей.

В результате этого Tay начала публиковать неуместные и предосудительные записи и изображения. Мы берём на себя полную ответственность за то, что не смогли спрогнозировать подобный исход.

Питер Ли, вице-президент Microsoft Research

Ли отметил, что построить «сильный AI» невозможно без подобных публичных тестов, в которых будут постепенно выявляться различные уязвимости.

Tay — совместный проект Лаборатории технологий и исследования Microsoft, а также команды поисковой системы Bing. Он создан для изучения коммуникаций между людьми в сети: бот способен обучаться при общении с живыми собеседниками, постепенно становясь более персонализированным.