Технологии

«Яндекс» выложил в открытый доступ YaLM 100B — нейросеть для генерации и обработки текстов на 100 млрд параметров Статьи редакции

Она может выдавать ответы на русском и английском языках.

Это самая большая GPT-подобная модель, доступная всем желающим, рассказали TJ в «Яндексе». «Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей», — рассказал генеральный директор «Яндекс. Технологий» Пётр Попов.

YaLM 100B содержит 100 миллиардов параметров — больше, чем какая-либо и существующих моделей для русского языка, отметили в «Яндексе». Модель определяет принцип построения текста запроса и генерирует новый, опираясь на законы лингвистики и свои знания о мире. YaLM может создавать описания товаров и видео, слоганы для рекламных кампаний, стихи, поздравления в разных стилях речи.

Модель обучали на суперкомпьютерах «Яндекса». В 2021 году исследователи сочли их самыми производительными в России и Восточной Европе, включив в мировой рейтинг Top500. В процессе обучения YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках.

Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.

Редакторы TJ уже протестировали YaLM 100B. Вот примеры её ответов

0
101 комментарий
Написать комментарий...
мангуст

вопросик. у tj есть своя ферма видеокарт или шо?

The model is supposed to run on multiple GPUs with tensor parallelism. It was tested on 4 (A100 80g) and 8 (V100 32g) GPUs, but is able to work with different configurations with ≈200GB of GPU memory in total
Ответить
Развернуть ветку
Adel Prokurov

ТЖ работает на серверах ФСБ РФ

Ответить
Развернуть ветку
Читать все 101 комментарий
null