«Ты я всё остальное»: как искусственный интеллект Facebook «заговорил на своём языке»

И почему это не «выход ИИ из-под контроля», а ошибка разработчиков.

31 июля российские СМИ рассказали, что Facebook «отключил искусственный интеллект, создавший собственный язык». Диалог двух чат-ботов, о котором сообщалось ещё в середине июня, интерпретировали как то, что ИИ «вышел из-под контроля», «обхитрил» людей и напомнил об «опасности Скайнета». На самом деле произошла ошибка программирования, вызвавшая непредусмотренный сценарий.

14 июня исследователи из лаборатории Facebook Artificial Intelligence Research Lab (FAIR) рассказали о новом этапе при разработке алгоритма. Если ранее боты («диалоговые агенты») справлялись с простыми сценариями вроде бронирования ресторана, совета по выбору лучшей цены на товар, рекомендации по просмотру телеканала для детей и даже короткой беседы, то теперь учёные пошли дальше.

FAIR ввела «возможность ведения переговоров» и опубликовала исходный код нововведения. Люди с разными целями вступают в конфликты, обсуждают вопрос и приходят к компромиссам — по этой аналогии исследователи разрабатывали нейронную сеть с непрерывным обучением. По задумке, боты могли бы эффективно участвовать в переговорах с людьми или другими ботами, находя выход из сложных ситуаций.

Один из первых экспериментов над двумя ботами заключался в «делёжке» предметов и предварительном обсуждении. В общем наборе состояли две книги, шляпа и три шара. Каждый объект обладал значимостью для ботов (от одного балла до трёх). Как и в жизни, первый бот не знал, насколько важны эти предметы для другого ИИ, и должен был догадаться об этом из диалога.

К примеру, если первым делом сказать, что необходим именно шар, значит, адресат оценивает его высоко. Уже позже ботов научили симулировать интерес к предмету, чтобы в нужный момент переговоров «пожертвовать им» ради достижения компромисса.

Таких сценариев создали много, но всегда оказывалось, что два бота не могут одновременно «выбить» для себя лучшую сделку. Попытка уйти от переговоров или отказаться от сделки после 10 раундов диалога считалась провалом. При этом практику переговоров признали необходимой, а их результаты — важными в плане повышения производительности ИИ.

Затем задачу усложнили, поскольку в переговорах должно быть чётко сформулировано намерение и предложены аргументы. В этом есть как элементы сотрудничества, так и состязания. Для этого FAIR позволила ботам строить долгосрочную стратегию и предсказывать, куда пойдёт диалог. Это нужно было, чтобы заранее отказаться от бессмысленных или «расстраивающих» сценариев в пользу эффективных. В FAIR признали, что идея не нова и ранее использовалась в игровой индустрии, однако в лингвистике применялась впервые.

Авторы исследования обучили нейронную сеть, собрав коллекцию диалогов между людьми. Чтобы оценить работу, ботов проверили в разговоре с реальными собеседниками. Во время экспериментов многие люди не осознавали, что разговаривают не с настоящим человеком, а с ботом. Фактически это показало, что «роботы» могут свободно говорить и думать на английском языке. Лучших результатов сделок искусственный интеллект добивался так же часто, как и худших — так и бывает в жизни.

Как указано в исследовании, чтобы алгоритм не развивал собственный язык, он был обучен производить «тот, на котором говорят люди». Именно в этом моменте закралась ошибка, которая и привела к новостям с опаской за будущее человечества.

Вскоре издания The Next Web и Fastсo Design обратили внимание на нерядовую ситуацию при работе специалистов над программой. В какой-то момент исследователи, воспользовавшись алгоритмами машинного обучения, оставили диалоговых агентов «наедине».

Ботам дали возможность свободно разговаривать друг с другом, чтобы развить их навыки на практике. Со временем диалоговые агенты отклонились от прописанных в сценарии норм и начали общаться на «тарабарщине», созданной без участия человека. При более удобной и быстрой для ИИ форме общения правила английского языка максимально опускались, а конструкции многократно повторялись.

Такой диалог стал возможным не потому, что роботы уже захватили мир, а из-за допущенной ошибки в программировании. Приглашённый в Facebook научный сотрудник из Georgia Tech Дхрув Батра (Dhruv Batra) рассказал, что ботам попросту не дали задачу придерживаться английского языка.

Диалоговые агенты конкурировали между собой в попытке достичь максимальной эффективности при общении. Поначалу боты расходились в «акцентах», а затем изобрели кодовые слова и начали переставлять разборчивые конструкции в бессмысленные для обычных людей предложения. По словам Батры, подобные ситуации из-за ошибок программирования не редкость и встречаются во время рабочего процесса.

«Представьте, что я назову какой-то предмет пять раз. Вы сразу интерпретируете это как то, что я хочу пять копий этого предмета. Это не особо отличается от сокращений, которыми пользуются люди», — объяснил Батра.

Исследователи FAIR сразу же отключили эту систему и доработали код так, чтобы алгоритм позволял общаться только на понятном человеку английском языке.

Многие СМИ, которые в конце июля обратили внимание на необычный диалог ботов, заодно вспоминали о недавнем заочном споре предпринимателя Элона Маска и основателя Facebook Марка Цукерберга об искусственном интеллекте (TJ писал об аргументах сторон). Если вкратце, глава Tesla видел угрозу в искусственном интеллекте, а также угрожал человечеству безработицей и войной. Создатель соцсети был настроен оптимистично и называл выводы оппонента «безответственными».

При этом однозначно занять чью-то сторону затруднительно. К примеру, Маск «угрожал» человечеству безработицей и войной, но, по замечанию Mashable, первоочередными в мире с вездесущим ИИ станут вопросы о конфиденциальности персональных данных. Цукерберг обещал появление полезных ИИ-проектов в ближайшие 5-10 лет, но пессимистичные редакторы Slate предположили, что к этому моменту значимыми нововведениями воспользуется лишь узкая прослойка людей, в том числе семья основателя Facebook.

Считается, что ИИ лишит работы обычных людей, однако, как заверил Fortune, с его развитием возникнут новые рабочие места, где нужно будет применять навыки на основе технологии. По большому счёту, Маск и Цукерберг спорили о неустоявшемся определении «искусственного интеллекта» и том, как его понимать.

Ситуация с чат-ботами Facebook вызвала опасения, поскольку разглядеть «мыслительный процесс» ИИ нельзя. Если диалоговые агенты начнут говорить между собой на действительно неизвестном человеку языке, понять их будет невозможно. Как подметили в FAIR, билингвов, которые одновременно поняли бы ИИ и человеческие языки, также нет.

Тем не менее предстоит «огромная» работа по получению данных в подходящем для ИИ формате, что порой «содержит больше искусства, чем науки», подчеркнул один из специалистов в разговоре с Fastсo Design. По его словам, английский язык «запутанный и сложный, а вовсе не дружественный для машинного обучения».

#разборы #технологии #ии #facebook