Эксперты по искусственному интеллекту подписали открытое письмо о защите человечества от машин Статьи редакции

Базирующаяся в Бостоне волонтёрская организация «Институт будущего жизни» (Future of Life Institute или FLI) предложила экспертам по искусственному интеллекту подписать открытое письмо с обещанием защитить человечество от машин.

Текст под заголовком «Научно-исследовательские приоритеты для создания надёжного и полезного искусственного интеллекта» был опубликован на сайте FLI 11 января, однако его уже успели подписать профессора Массачусетского технологического института, основатели компании Deep Mind, приобретённой Google в начале 2014 года, создатели суперкомпьютера IBM Watson, участники группы Microsoft Research и другие эксперты области.

Письмо-манифест состоит из трёх абзацев и вывода. В первых двух из них FLI даёт краткий обзор последним достижениям в области искусственного интеллекта вроде машинного перевода, распознавания речи или автоматической классификации изображений, и отмечает, что технология может принести человечеству в будущем огромную пользу. По мнению организации, на определённом этапе мир, придуманный людьми, начнут заполнять объекты, придуманные роботами.

Однако в конце письма FLI подводит к мысли, что учёные слишком озабочены развитием способности искусственного интеллекта эффективно решать конкретные задачи и не задумываются о том, что он может в определённый момент начать выбирать себе цели самостоятельно и отказаться от человеческого вмешательства.

Мы рекомендуем расширить исследования в направлении повышения надёжности и полезности систем искусственного интеллекта: они должны делать то, что мы хотим, чтобы они сделали.

Из текста открытого письма FLI

В 2014 году проблема искусственного интеллекта всё чаще начала попадать в заголовки СМИ. В июне знаменитый учёный Стивен Хокинг заявил, что человечество проиграет в битве с роботами, а в последующие несколько месяцев эту тему неоднократно поднимал Элон Маск.

Глава Tesla Motors рассказал, что занимается искусственным интеллектом (он вкладывает средства в компанию Deep Mind), чтобы следить за этим крайне опасным изобретением. Маск сравнил эту технологию с ядерным оружием и даже предполагал, что человечество может быть лишь «биологическим загрузчиком» для роботизированных форм жизни, которые начнут править планетой в будущем.

0
48 комментариев
Популярные
По порядку
Написать комментарий...
Нужный корабль

Нам в ближайшее время ничего не угрожает

Ответить
19
Развернуть ветку
Нужный корабль

Как быстро жизнь наша мчится!
Но мне не понятно кое-что в ней:
Народ компьютеров умных боится,
А надо бояться безумных людей.

Ответить
1
Развернуть ветку
Нужный корабль

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.

Ответить
11
Развернуть ветку
Нужный корабль

0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.

Вот еще, как дополнение. Этой логикой, кстати, пользовалась красная королева в Обители Зла.

Ответить
8
Развернуть ветку
Нужный корабль

Хм, если честно, не знал про такой. Но, как я понял, он вытекает из первого?

Эти законы это хорошо, главное, чтобы не вышло как в фильме "Я робот".

Ответить
1
Развернуть ветку
Нужный корабль

Так именно в цикле "Я, робот" Азимов и сформулировал три закона робототехники.

Ответить
1
Развернуть ветку
Нужный корабль

75 лет прошло, а роботов так и нет. Ну то есть, по улицам толпами не ходят

Ответить
1
Развернуть ветку
Нужный корабль

существует ряд сдерживающих факторов
в мире и так наблюдается перенаселение некоторых районов, еще роботов там не хватало)

Ответить
1
Развернуть ветку
Нужный корабль
Ответить
1
Развернуть ветку
Нужный корабль

Кстати, да. Что робот сделает в ситуации, в которой, в зависимости от его действия или бездействия, умрут разные люди?

Ответить
0
Развернуть ветку
Нужный корабль

Перегорит, это ж вроде у Азимова было.

Ответить
1
Развернуть ветку
Нужный корабль

Да да, я тоже сразу о Азимове подумал, опередил свое время он точно

Ответить
3
Развернуть ветку
Нужный корабль

Кстати, эти законы были написаны 1942 году, только задуматься, вот 75 лет как.

Ответить
2
Развернуть ветку
Нужный корабль

и как ваши впечатления от 2017-го?

Ответить
15
Развернуть ветку
Нужный корабль

Комментарий удален по просьбе пользователя

Ответить
6
Развернуть ветку
Нужный корабль

Комментарий удален по просьбе пользователя

Ответить
11
Развернуть ветку
Нужный корабль

Комментарий удален по просьбе пользователя

Ответить
4
Развернуть ветку
Нужный корабль

Точно! Даёшь трансгуманизм!

Ответить
–1
Развернуть ветку
Нужный корабль

Я конечно все понимаю, но упарываться в понедельник с самого утра это жесть.
Чем мы лучше дельфинов и шимпанзе?!
Ну например, сейчас эти ошибки эволюции ждут когда ракета станет многоразовой и сможет садиться на водную платформу, а также подумывают колонизировать другую планету.

Ответить
1
Развернуть ветку
Нужный корабль

Комментарий удален по просьбе пользователя

Ответить
1
Развернуть ветку
Нужный корабль

Сорри. Не смотрю сериалы, поэтому пикча мне ничего не сказала.

Ответить
3
Развернуть ветку
Нужный корабль

Именно этот стоит посмотреть, тем более там всего 8 серий.

Ответить
3
Развернуть ветку
Нужный корабль

Человечество! Помни о судьбе Кворианцев!

Ответить
6
Развернуть ветку
Нужный корабль

Комментарий удален по просьбе пользователя

Ответить
4
Развернуть ветку
Нужный корабль

Не от искусственного интелекта нужно защищаться. А от криворуких программистов. Были уже статьи о том что из за быдлокода в прошивке автомобилей тойоты люди разбивались.

Ответить
1
Развернуть ветку
Нужный корабль

Я проанализировал данные об отзывах производителями своих автомобилей за последние 3 года, и вот что мне удалось обнаружить. По данным сайта testauto.ru:
отзывов автомобилей марки Toyota всего - 30;
отзывов автомобилей марки Toyota из-за неполадок в ПО - 2;
отзывов автомобилей из-за неполадок в ПО всего - 9 (+ 3xHonda, Audi, Subaru, BMW, Chevrolet); информации о пострадавших нет.
Так что либо Вы преувеличиваете "заслуги" "криворуких программистов", либо Вы фантазёр. Быть может, Вы сможете отыскать те статьи?

Ответить
6
Развернуть ветку
Нужный корабль

Отыскал статью. http://www.interface.ru/home.asp?artId=35034

Ответить
1
Развернуть ветку
Нужный корабль

Я ознакомился со статьёй. Более того, пробираясь сквозь дебри ссылок, я сумел отыскать стенографический протокол судебного заседания, в котором были зафиксированы показания одного из свидетелей обвинения по делу Bookout (той самой пострадавшей) vs. Toyota - Майкла Барра - эксперта в сфере разработки встраиваемых компьютерных систем, члена экспертной группы. Стенографический протокол довольно объёмный. Признаться честно, до конца я его так и не дочитал, однако прочитанного для меня достаточно, чтобы сделать определённые выводы (хоть я и не эксперт в сфере разработки встраиваемых компьютерных систем, однако к разработке ПО имею непосредственное отношение). В общем, Вы были правы. Инциденты действительно были. В конце концов, Toyota сама призналась, что на протяжении нескольких лет знала о проблеме и скрывала это:
http://news.yahoo.com/toyota-pay-1-2b-settle-criminal-probe-193237658--finance.html
Более подробно о проблемах с самопроизвольным ускорением автомобилей Toyota можно почитать здесь: http://en.wikipedia.org/wiki/2009%E2%80%9311_Toyota_vehicle_recalls
Стенография находится здесь, если кому-нибудь захочется вникнуть в детали:
http://www.safetyresearch.net/Library/Bookout_v_Toyota_Barr_REDACTED.pdf

Ответить
1
Развернуть ветку
Нужный корабль

Пойду-ка я на всякий случай бункер вырою. А то фиг его знает, научился ли в наше время Коннор чему-нибудь за свои 30 лет...

Ответить
1
Развернуть ветку
Нужный корабль

Бункер уже не актуально. Пойду себе файрволл напрограммирую, поставлю Linux, Tor и VPN куплю за биткоины.

Ответить
1
Развернуть ветку
Нужный корабль

А от ядерных бомбардировок Скайнета ты тоже Линухой защищаться будешь?

Ответить
2
Развернуть ветку
Нужный корабль

Он Скайнет под себя перепишет.

Ответить
4
Развернуть ветку
Нужный корабль

программирование микроСкайнетов

Ответить
1
Развернуть ветку
Нужный корабль

человечество проиграет в битве с роботами

Ответить
1
Развернуть ветку
Нужный корабль

"Из переулка выскочили еще две паукообразные металлические машины, ростом поменьше и не такие свирепые на вид. Не успел я ахнуть, как одна из них быстро почистила мне ботинки, а другая выстирала и выгладила носовой платок. Подъехала большая белая цистерна на гусеницах и, мигая многочисленными лампочками, опрыскала меня духами.

Вдруг по улице с криком побежал человек. За ним гнался паукообразный механизм. Судя по крикам преследуемого, это был самопрограммирующийся кибернетический робот на тригенных куаторах с обратной связью, которые разладились и... "Ой-ой, он меня сейчас расчленит!.." Странно, никто даже бровью не повел. Видимо, никто не верил в бунт машин."

(c) АБС, "Понедельник начинается в субботу". Когда заводят речь о защите человечества от машин, мне вспоминается сразу этот отрывочек.

Ответить
1
Развернуть ветку
Нужный корабль

Кажется, мне пора начать перечитывать эту классику, а то уже не помню, где там такое было.

Ответить
1
Развернуть ветку
Нужный корабль

Это где главный герой испытывал изобретение НИИЧАВО - машину времени в виде мотоцикла для путешествия в описанные писателями прошлое и будущее. А перечитать - это да, там каждый раз что-нибудь очень своевременное обнаруживается.

Ответить
2
Развернуть ветку
Нужный корабль

Забоялись Скайнета

Ответить
0
Развернуть ветку
Нужный корабль

Очередное проявление ксенофобии, только и всего

Ответить
2
Развернуть ветку
Нужный корабль

Комментарий удален по просьбе пользователя

Ответить
1
Развернуть ветку
Нужный корабль

Комментарий удален по просьбе пользователя

Ответить
0
Развернуть ветку
Нужный корабль

Это где главный герой испытывал изобретение НИИЧАВО - машину времени в виде мотоцикла для путешествия в описанные писателями прошлое и будущее. А перечитать - это да, там каждый раз что-нибудь очень своевременное обнаруживается.

Ответить
0
Развернуть ветку
Нужный корабль

Я там что-то слышал про три закона роботехники.

Ответить
–1
Развернуть ветку
Нужный корабль

Не обновил страницу. Черт.

Ответить
2
Развернуть ветку
Нужный корабль

Все больше уверен в том, что человечество до "скайнета" не доживет. Грустно

Ответить
–2
Развернуть ветку
Нужный корабль

Ага, тут либо Нибиру, либо Энтео доконает эту планету

Ответить
2
Развернуть ветку
Нужный корабль

Комментарий удален по просьбе пользователя

Ответить
2
Развернуть ветку
Нужный корабль

Не знаю, каким оружием будет вестись Третья мировая война, но в Четвёртой в ходу определённо будут камни. » — Эйнштейн

Ответить
1
Развернуть ветку
Читать все 48 комментариев
null