«Яндекс» выложил в открытый доступ YaLM 100B — нейросеть для генерации и обработки текстов на 100 млрд параметров

Она может выдавать ответы на русском и английском языках.

Это самая большая GPT-подобная модель, доступная всем желающим, рассказали TJ в «Яндексе». «Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей», — рассказал генеральный директор «Яндекс. Технологий» Пётр Попов.

YaLM 100B содержит 100 миллиардов параметров — больше, чем какая-либо и существующих моделей для русского языка, отметили в «Яндексе». Модель определяет принцип построения текста запроса и генерирует новый, опираясь на законы лингвистики и свои знания о мире. YaLM может создавать описания товаров и видео, слоганы для рекламных кампаний, стихи, поздравления в разных стилях речи.

Модель обучали на суперкомпьютерах «Яндекса». В 2021 году исследователи сочли их самыми производительными в России и Восточной Европе, включив в мировой рейтинг Top500. В процессе обучения YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках.

Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.

#новости #яндекс #нейросети #суперкомпьютеры