Нейросеть GPT-3 от OpenAI пишет стихи, музыку и код. Почему она пока далека от настоящего ИИ, но способна поменять мир Материал редакции

Алгоритм выдаёт текст, который лишь кажется осмысленным, и на самом деле просто связывает уже созданные людьми данные.

В закладки
Слушать

В мае 2020 года OpenAI представила третью версию языковой модели GPT, которая позволяет генерировать текст, который не всегда можно отличить от того, что написал бы человек. В июле доступ к нейросети начали выдавать отдельным желающим, которых одобрили в компании, а разработчики в соцсетях начали восторгаться возможностям системы.

TJ рассказывает, в чём отличия GPT-3, на что способна нейросеть и почему пока далека от настоящего ИИ, но уже может всерьёз изменить жизнь людей.

Что такое GPT-3 и чем она отличается от предшественников

На момент написания этого материала GPT-3 представляла собой самую сложную языковую модель. Среди других подобных алгоритмов её выделяет «натренированность»: система обучена на 1,5 триллионах слов, а её самая крупная версия занимает около 700 гигабайт.

GPT-3 генерирует текст на основе 175 миллиардов параметров — это значение отражает её вычислительную мощность. В зависимости от количества параметров система лучше или хуже оценивает данные и придаёт каким-то из них большее значение, а каким-то меньшее.

Точность работы системы в зависимости от параметров и количества примеров контекста

Суть работы нового алгоритма по сравнению с прошлой версией не изменилась. Нейросеть анализирует огромные массивы данных из интернета и на их основе пытается предсказать текст слово за словом, но ей всё равно нужна точка отсчёта — какой-то запрос, с которым можно работать.

Причём, чем больше входных данных дать системе и чем больше у неё будет попыток, тем убедительнее может получиться текст. Например, если дать ей начало известной поэмы в стиле одного автора, она сможет продолжить её в стиле другого.

GPT-3 продолжает подход OpenAI, заложенный в GPT и GPT-2. Обе первые версии системы были адаптацией Transformer — алгоритма Google, который впервые применили в 2017 году. Его ключевой функцией было «внимание» — возможность вычислять вероятность появления того или иного слова среди других слов.

OpenAI развивала свои модели вокруг этой функции, постоянно наращивая количество параметров. В 2019 году GPT-2 уже работала с 1,5 миллиардами параметров и угодила в скандал. Тогда алгоритм научили генерировать фейковые новости и не стали сразу выпускать в открытый доступ, опасаясь вреда, который он может нанести.

В GPT-3 параметров стало в сто раз больше, а для обучения авторы использовали вдвое больше данных, чем в GPT-2. В OpenAI утверждают, что это позволило добиться «мета-обучения»: например, нейросети не нужно каждый раз переобучаться, чтобы закончить предложение — если дать ей пример, она продолжит завершать все незаконченные предложения.

GPT-3 нельзя свободно использовать: пока OpenAI даёт доступ только отдельным разработчикам и исследователям в рамках закрытого бета-теста — для этого нужно заполнить объёмную заявку и дождаться её рассмотрения. Но даже после окончания тестирования нейросеть не выпустят в открытый доступ — её планируют продавать для бизнеса по подписке.

Дизайн, музыка, истории — что уже может GPT-3

Хотя доступ к системе получили лишь немногие желающие, меньше чем за месяц алгоритм успели протестировать в самых разных сценариях: от написания песен, до создания кода и музыкальных аранжировок. По словам одного из испытавших систему разработчиков, в большинстве случаев система выдаёт убедительный результат если не с первой, то со второй или третьей попытки.

В основном, с помощью GPT-3 генерировали обычный текст: истории, песни, пресс-релизы и техническую документацию. Но один из разработчиков пошёл дальше и попросил нейросеть написать текст о самой себе — получилась статья с заголовком «GPT-3 от OpenAI может стать величайшим явлением после Bitcoin».

В материале автор рассказывал, что обучил нейросеть на собственных постах с форума bitcointalk, а потом публиковал записи, сгенерированные алгоритмом, и этого никто не заметил. Но в конце разработчик признался, что история выдумана и её написала GPT-3, хоть и не с первой попытки.

Другие разработчики обнаружили, что GPT-3 может генерировать любой вид текстовой информации, в том числе табулатуры для гитары и компьютерный код. Так разработчик Шариф Шамим показал, что система может работать с HTML-разметкой вместо естественного языка и создавать вёрстку по текстовым запросам. Например, можно сказать, какая кнопка и оформление должны быть у сайта — и нейросеть их визуализирует.

This is mind blowing.

With GPT-3, I built a layout generator where you just describe any layout you want, and it generates the JSX code for you.

W H A T https://t.co/w8JkrZO4lk

Помимо этого, с помощью GPT-3 Шамим создал простой генератор приложений на основе React. Достаточно написать, что должна делать программа: алгоритм сам переведёт запрос в несложный код.

I built a todo list app simply by describing it to GPT-3.

It generated the React code for a fully functioning app within seconds.

I'm becoming more impressed and aware of its capabilities every single day. https://t.co/QGrClar03s

Другой разработчик создал плагин для Figma на основе GPT-3, который позволяет создавать дизайн, просто давая нейросети текстовое описание.

This changes everything. 🤯

With GPT-3, I built a Figma plugin to design for you.

I call it "Designer" https://t.co/OzW1sKNLEC

Некоторые спрашивали у GPT-3 сложные технические вопросы, и получали корректные пояснения. Так один из разработчиков задал вопрос на медицинскую тематику, указал нейросети на корректный ответ и получил от неё развёрнутое пояснение, почему именно этот вариант ответа верный.

So @OpenAI have given me early access to a tool which allows developers to use what is essentially the most powerful text generator ever. I thought I’d test it by asking a medical question. The bold text is the text generated by the AI. Incredible... (1/2) https://t.co/4bGfpI09CL

Один из разработчиков создал полнофункциональный поисковый движок на основе GPT-3. Он выдаёт конкретный ответ на любой вопрос и позволяет сразу узнать подробности в Википедии или в другом ресурсе, связанном с вопросом.

I made a fully functioning search engine on top of GPT3.

For any arbitrary query, it returns the exact answer AND the corresponding URL.

Look at the entire video. It's MIND BLOWINGLY good.

cc: @gdb @npew @gwern https://t.co/9ismj62w6l

В одном из примеров американский студент две недели публиковал в блог тексты об успехе и мотивации, сгенерированные GPT-3. Из любопытства он запустил продвижение блога и получил 26 тысяч посетителей, из которых почти никто не догадался, что тексты написаны алгоритмом, а тех, кто догадался, минусовали другие пользователи.

Авторы бесплатной текстовой квест-игры AI Dungeon также получили доступ к GPT-3 и обновили приложение. Они утверждают, что после этого игроки получили полную свободу действий: система корректно реагирует на все запросы и придумывает мир на их основе.

Среди других примеров — чат-бот для изучения языков, который позволяет разговаривать на выбранном языке и корректирует пользователя, если тот допускает грамматическую или стилистическую ошибку. Помимо этого, система может корректно рассчитывать химические реакции, поговорить о боге и позволяет обращаться к SQL с помощью запросов на естественном языке и не только — разработчики создали отдельный сайт, на котором собирают примеры использования GPT-3.

Another 🤯moment using GPT-3.

Created a bot for people learning a new language that:
- Chats with you in your language of choice.
- Corrects you when you make a grammar (and even style) mistake.

Even works well with 🇪🇸/🇫🇷 (and I'm sure many more).

cc @gdb https://t.co/McCQuTQ3yP

GPT-3 — не настоящий искусственный интеллект, но способен всерьёз повлиять на мир

В последние годы искусственным интеллектом стало принято называть практически всё, что касается нейросетей и алгоритмов машинного обучения — так проще и многим журналистам, и пользователям, которые не связаны с разработкой. Однако на самом деле до настоящего ИИ человечеству ещё далеко, а в GPT-3 нет, собственно, «интеллекта».

Хотя многие первые пользователи GPT-3 говорили, что алгоритм пишет текст, неотличимый от человеческого, и выдаёт осмысленные предложения, на самом деле внутри это всё тот же генератор текста по запросу — со всеми достоинствами и недостатками. Многие ошибочно считают, что система «понимает» контекст: на самом деле она оценивает связи между отдельными словами и расставляет наиболее вероятные слова друг за другом.

Универсальность и аккуратность GPT-3 — результат хорошей работы инженеров, а не «ума» алгоритма. В лучшем случае нейросеть умело бросает пыль в глаза, выдавая текст, похожий на человеческий, но даже таким примерам не хватает глубины проработки: это больше похоже на копирование и вставку готовой информации, нежели на осмысленный подход.

Как отметил исследователь в области ИИ Джулиан Тогелиус, зачастую GPT-3 ведёт себя как студент, который не подготовился к экзамену заранее и теперь несёт всякую чушь в надежде, что ему повезёт. «Немного известных фактов, немного полуправды, и немного откровенной лжи, соединённые воедино, на первый взгляд кажутся стройной историей», — пояснил разработчик.

Отсутствие «интеллекта» в подобных GPT-3 моделях подтверждается и исследованиями. В 2019 году команда учёных из Школы Пола Аллена и Вашингтонского университета выяснила, что даже самые лучшие языковые алгоритмы можно легко поставить в ступор, задавая всё более абсурдные вопросы.

В результате исследователи пришли к выводу, что ни одна нейросеть просто не понимает контекст беседы, поэтому не может нормально реагировать на глупые вопросы. По их данным, производительность людей в продолжении фраз составляет 95%, а у машин — ниже 50% для любой модели, включая Google Bert, похожий на GPT-2.

Как отметили учёные, основная задача осталась нерешённой. Машины всё ещё не могут делать логические выводы из текста и выводить одно из другого, как люди.

В этом смысле GPT-3 не слишком превосходит, к примеру, «нейрокомментарии», которые тоже могли продолжить фразу за пользователей. Иногда везло и получалось смешно, но чаще — абсурдно и неуместно: до нормального варианта можно было кликать достаточно долго.

Исследователи считают, что подход в наращивании параметров и данных для обучения моделей сам по себе может оказаться неверным. По оценкам учёных, если не улучшить сами алгоритмы, достижение человеческой производительности в написании текстов займёт у машин примерно 100 тысяч лет.

С критикой согласны и создатели GPT-3: авторы проекта с самого анонса писали, что у системы есть недостатки — в том числе в достижении значимой точности понимания связей между двумя предложениями. По их словам, система справляется с такими вещами «чуть лучше, чем случайно».

Как поясняли в OpenAI, создатели сами не до конца понимают, почему у GPT-3 не получается справиться с некоторыми задачами, несмотря на увеличение числа параметров. В конце концов авторы проекта пришли к выводу, что расширение модели с помощью большого количества данных и попытки предсказать язык могут быть в корне неверным подходом.

После начала закрытого тестирования GPT-3 один из сооснователей OpenAI Сэм Альтман даже попытался успокоить шумиху вокруг нейросети. Он пояснил, что команде приятно получить столько внимания, но у системы «есть серьёзные недостатки и иногда она делает глупые ошибки».

Искусственный интеллект изменит мир, но GPT-3 это лишь очень ранний проблеск. Нам ещё многое нужно понять.

Сэм Альтман
сооснователь OpenAI

Однако недостатки GPT-3 не влияют на полезность нейросети как прикладного инструмента. Хотя алгоритм пока не может заменить человека, он может серьёзно упростить жизнь людям в целом.

Даже по первым примерам от небольшой части разработчиков видно, как много разных применений можно найти GPT-3 и сколько сложных задач она может облегчить. Уже в 2020 году OpenAI запустит коммерческую версию инструмента, а значит совсем скоро обычные пользователи столкнутся с продуктами на его основе.

Сложно сказать, насколько далеко зайдёт внедрение системы, но её можно будет использовать почти в любой деятельности: от обучения языкам и программированию до упрощения ежедневной рутины. Например, легко представить, что через год достаточно будет «скормить» этот материал какому-нибудь боту на основе GPT-3 и получить в ответ десять вариантов заголовка лучше, чем нынешний за доли секунды — останется лишь выбрать самый подходящий.

Выпускающий редактор TJ. По работе писать на damir@tjournal.ru. Личные соцсети: Twitter — для коротких быстрых мнений Facebook — для работы Instagram — красивые (и не очень) фоточки из жизни
{ "author_name": "Дамир Камалетдинов", "author_type": "editor", "tags": ["\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u043c\u043d\u0435\u043d\u0438\u044f","\u043a\u043e\u043b\u043e\u043d\u043a\u0438","\u0438\u0438","openai"], "comments": 25, "likes": 75, "favorites": 125, "is_advertisement": false, "subsite_label": "tech", "id": 195331, "is_wide": false, "is_ugc": false, "date": "Sat, 08 Aug 2020 14:06:41 +0300", "is_special": false }
Объявление на TJ
0
25 комментариев
Популярные
По порядку
Написать комментарий...
15

Я поэт. Зовусь я цветик.
От меня вам всем приветик

Ответить

Показательный Даниль

13

ведёт себя как студент, который не подготовился к экзамену заранее и теперь несёт всякую чушь в надежде, что ему повезёт. «Немного известных фактов, немного полуправды, и немного откровенной лжи, соединённые воедино, на первый взгляд кажутся стройной историей»

Я так экзамен по физике сдал на 4

Ответить

Чрезвычайный химик

Показательный
0

я английский

Ответить
0

А я - исторрию на 5 ! Эффективность , по факту!

Ответить

Религиозный рак

3

скорее бы сильный ИИ уже, а не вот это вот всё

Ответить

Религиозный рак

Религиозный
19

нейросети конечно довольно много умеют, но это лишь один из многих методов машинного обучения, а на них все так дрочат, как будто это уже ИИ. Напоминает карго-культ

Ответить

Вечный меч

Религиозный
6

Я думаю это саязанно с ебанными маркетологами, которые решили это называть искусственным интеллектом 

Ответить

Нижний холод

Вечный
0

С тем, что они называют искусственным интеллектом, всё намного хуже

Ответить

Блестящий кот

0

Ура текст от дамира

Ответить
13

Я так же радуюсь, когда они, наконец, выходят

Ответить

Мокрый будильник

Дамир
0

Донатишь сам себе небось втихаря)

Ответить
2

Как тебе такое, Нейротекст?

Ответить
7

GPT-3 может стать величайшим творением после Нейротекста

Ответить
2

Ещё одна шараебская нейронка которая изменит мир, ага.

Ответить
2

Суть работы нового алгоритма по сравнению с прошлой версией не изменилась. Нейросеть анализирует огромные массивы данных из интернета и на их основе пытается предсказать текст слово за словом, но ей всё равно нужна точка отсчёта — какой-то запрос, с которым можно работать.

Тут типа применяется коллаборативная фильтрация, что в корне неверный подход, для генерации осмысленных текстов нужна семантика

Ответить
0

Среди других примеров — чат-бот для изучения языков, который позволяет разговаривать на выбранном языке и корректирует пользователя, если тот допускает грамматическую или стилистическую ошибку.

Вот это идеальный кейс для такого подхода

Ответить
1

Вот недавно был робот, который сочиняет песни, поёт и играет ещё на каком-то инструменте. У него уже есть альбом на spotify

Ответить

Заработный пёс_анон

1

Технически если машина тест Тьюринга проходит, то это и есть ИИ, потому что как отличить имитацию от просто тупого человека?
Иногда читаешь в интернете вроде бы "живых людей" и хватаешься за голову - и эти существа одного вида со мной! Так что если стандартный набор реакций у сети достаточен - это уже хорошо.

Ответить

Жесткий колос

0

Другой разработчик создал плагин для Figma на основе GPT-3, который позволяет создавать дизайн, просто давая нейросети текстовое описание.

где плагин-то? ссылку дайте глянуть

Ответить
0

И бота бы разговорного заодно

Ответить
0

Мальвина была бы недовольна

Ответить
0

Интересная статья, полезные ссылки. Спасибо.
Вы пишите - В результате исследователи пришли к выводу, что ни одна нейросеть просто не понимает контекст беседы
Интересно Ваше мнение - существуют ли сейчас алгоритмы, которые понимают или смогут понять в ближайшем будущем контекст беседы?

Ответить
0

Хочу сказать, что GPT-3 действительно хорош. Вот пример статьи о машинном обучении, написанной GPT-3. Если бы я этого не знал, то просто сказал бы, что хорошая статья. Кстати, первое изображение там тоже создано при помощи AI. 

Ответить
0

Я в своё время писал о GPT-2. На то время это был прорыв в ИИ для создания текста. Я делал много экспериментов с ним, но добиться хорошего качества текста было достаточно трудно. GPT-3 конечно на голову выше.

Ответить
Обсуждаемое
Новости
Сбербанк стал Сбером, показал новые отделения, банкоматы, устройства и подписку. Главное с конференции компании
Голосовой помощник с тремя характерами, «умная» колонка с экраном, новое название и логотип и другие анонсы.
Технологии
Epic Games, Spotify и владелец Tinder создали коалицию против правил Apple
Участники коалиции выступали против Apple самостоятельно, но теперь решили объединить свои усилия.
Новости
Полиция Вьетнама изъяла более 300 тысяч использованных презервативов. Их стирали и продавали повторно
За килограмм обработанных презервативов работница склада получала 17 центов.
Популярное за три дня
Новости
Белорусы вышли на акции протеста после инаугурации Лукашенко. Их начали разгонять водомётами и задерживать
Есть сообщения о раненых.
Новости
В Костромской области уборщица случайно выиграла выборы. Она утверждает, что была техническим кандидатом
Теперь она должна вступить в должность, но «с документами ни разу делов-то не имела».
Интернет
Как устроен Gone Wild — самый известный NSFW-раздел Reddit, где тысячи людей каждый день публикуют обнажённые фото
В эпоху OnlyFans продолжает жить огромное сообщество, которое убеждено — нюдсы в интернете должны быть бесплатными.
null