Рубрика развивается при поддержке
Advertisement

Сбер выложил в открытый доступ первую русскоязычную модель для обучения нейросети GPT-3 Статьи редакции

Её можно обучить на русской литературе, новостях и «Википедии».

Сбер выложил в открытый доступ русскоязычную модель для генерации текстов GPT-3 Large с 760 миллионами параметров. Об этом на «Хабре» рассказал управляющий директор департамента SberDevices Сергей Марков.

В русскоязычный обучающий корпус суммарным объёмом свыше 600 Гб вошли русская литература, русская и английская «Википедии», новостные сайты и сайты с вопросами и ответами, публичные разделы Pikabu, материалы научно-популярного сайта 22century.ru и банковского «Банки.ру», а также корпус Omnia Russica. Чтобы научить GPT-3 обрабатывать программный код, Сбер включил в обучающий корпус модели данные из GitHub и StackOverflow.

«Если в оригинальном корпусе, использованном OpenAI, соотношение английского и других языков составляет 93:7, то в нашем случае соотношение русского и других языков составляет примерно 9:1», — подчеркнул Марков.

В компании отметили, что это первый обучающий корпус на русском языке. Проектом занимались SberDevices, SberCloud, занимающийся сопровождением суперкомпьютера «Кристофари», и команда AGI NLP.

В мае 2020 года OpenAI представила третью версию языковой модели GPT. Она способна не только генерировать тексты (в том числе стихи, шутки и литературные пародии), но и исправлять грамматические ошибки, вести диалоги и писать программный код.

0
61 комментарий
Популярные
По порядку
Написать комментарий...
Параллельный жар

По заголовку я сначало подумал, что "Сбер выложил в открытый доступ... персональные данные пользователей". ред.

52

одно другого не отменяет

3
Параллельный жар

Ты думаешь под "шумок" слили?

1

Комментарий удален по просьбе пользователя

1

сбер не туда воюет. надо было всю лирику круга и лесоповала, например, помимо пушкина и тургенева, как трейн грузить - уже бы изъяснялись на русскоязычном

1

Сбер не успел запуститься, как уже ведет себя как кусок говна. Оформил у них карту, а сотрудник втихаря подключил платные услуги, хоть и я отказался от всех, смотрю, сняли 60р. Пишу в поддержку приложения, а там тупейший и бесполезнейший бот, который выдает "я вас не понял" и пул вопросов, которые я должен выбрать и задать. Причем они отключили возможность вообще связаться с человеком

2

Пора бы уже читать научиться. И хотя-бы слова в предложения связывать. 

–1
Параллельный жар

Кажись кто-то приколов не понимает...

0

У редакторов TJ не возникает неприятного предчувствия своей скорой ненужности?)

4

Лишь бы у комментаторов не возникало такого предчувствия 

56

Комментаторов будет заменить ещё проще, чему я доказательство

0

Кто я?
@кто это

0

alexferman еще известен как: alexferman, pedobear

2
Параллельный жар

Pedobear? Я так и знал!

4

@кто это

0

Я не знаю других имен Космический кот

–1
Параллельный жар

Комментарий удален по просьбе пользователя

0

Я не знаю других имен Кто это

0

Педофильская нейросеть! 😱😱😱

прошу прощения

0

Днем светит Солнце

0
Параллельный жар

Комментарий удален по просьбе пользователя

0

Так а мы уже это проходили!

0

Комментарий удален по просьбе пользователя

4
Параллельный жар

@Артём Мазанов уведомление

0

Комментарий удален по просьбе пользователя

0
Параллельный жар

И это не новость ИА "Панорама" ред.

1

Комментарий удален по просьбе пользователя

2

По-моему, всё дело в мощности нейронной сети. Не вычислительной мощности компов, на которых гоняют нейронки, а именно самих нейронок.

1

Комментарий удален по просьбе пользователя

1

Да и что такое мощность нейронки?

Количество слоёв и связей. Насколько я знаю, у нынешних нейронок 3 слоя всего.

0

Комментарий удален по просьбе пользователя

1

Вроде наоборот, при большем количестве слоёв нейронка "шизеет" или просто не может ничему обучиться. Наверное ты прав, дело в структуре (модели)

2

при большом количестве слоев, сеть может переобучиться (overfitting), это значит что на данных которых она обучалась она будет работать идеально, а на новых очень плохо.
По поводу слоев, 3 - это очень мало. Например, в семействе ResNet101 - сто один конволюционный слой (который чаще всего используется для работы с изображениями.
На данный момент нейронки отлично справляются с +- механическими задачками типа классификации, детектирование, перевод текста, но проблемы возникают когда сеть видеть что-то новое, и она всегда даст ответ (чаще всего не правильный) тогда как человек может засомневаться.

1

Количество слоёв нейронной сети это не тот параметр, которого "достигают". Это как количество гвоздей между двумя деталями. Можешь сделать столько, сколько захочется.

0
Параллельный жар

Намекаешь на бунт?

0

От батарей никто не отпустит всё равно ))

0

Вот и ответ:
______________
ruGPT:
У редакторов TJ не возникает неприятного предчувствия своей скорой ненужности?) А вот у авторов текстов из TJ возникает. И у всех, даже тех, что на сайте.

0
Параллельный жар

В русскоязычный обучающий корпус суммарным объёмом свыше 600 гигабайтов вошли русская литература, русская и английская «Википедии», новостные сайты и сайты с вопросами и ответами, публичные разделы Pikabu, материалы научно-популярного сайта 22century.ru и банковского «Банки.ру», а также корпус Omnia Russica

Понятно, скачали интернет 

3

По-моему, сайты с вопросами и ответами и "Пикабу" они зря включили, нейросеть от этого не поумнеет

4

(Видел мем, где примерно на такой вопрос лучшим ответом было что-то вроде "дофига" или "очень большое число", но не нашёл. Киньте в комменты, если у вас есть, плиз)

2

Примеры из README не впечатляют:

Context: на словах ты лев толстой
ruGPT2048: а в сущности, - ты тоже не дурак, просто так же, как и твой человек, то есть твоя "жизнь", а также как и ты думаешь по-настоящему "ты" и есть твои "жизнь" или "выбор" в отношении твоего положения.

Context: как же джокер ты хитер
ruGPT2048: или автор книги по бизнесу!

Context: на словах ты лев толстой
ruGPT2Large: на словах ты лев толстой кожи, а в деле — просто тряпка!

2

лев толстой кожи 😂
сбер НЛП отдел, учите лучше вашу сетку 
влейте ей ещё дамп с голосовых помощников ваших, может поможет  ред.

0
Параллельный жар

Ну всё, теперь халявных подписок лишится и золотой состав TJ. Надо только дообучить её на дампе срачей Меглина с Пихто. @Denis Shiryaev подсуетишься?

1
Параллельный жар

Золотой состав - это дыня с багажником? Тут и нейросеть не нужна, хватит обычного рандома.

0

Пикабу хорошему не научит

1

Сделайте статью какие проекты будут сделаны(на русском языке).

1
Параллельный жар

Комментарий удален по просьбе пользователя

0
Параллельный жар

Комментарий удален по просьбе пользователя

0

Погас свет. Чё дальше?

0
Параллельный жар

Комментарий удален по просьбе пользователя

0

Хз где он, не видно ничё

1
Параллельный жар

Комментарий удален по просьбе пользователя

0

Ну маам

1

Ждем текстовую РПГ на русском)

0

Сбер, российская компания, выложила в открытый доступ исходники с документацией на английском. Нет, читать мы это умеем, просто заметил странность

0

это комментарий на нейросети сбера?
впечатляет

0

Раньше была доступна демка. Сейчас похоже лавочку прикрыли. Кто-нибудь владеет чем-то похожим? Напишите мне в личку или oganer@gmail.com

0
Читать все 61 комментарий
null