«Яндекс» выложил в открытый доступ YaLM 100B — нейросеть для генерации и обработки текстов на 100 млрд параметров Статьи редакции
Она может выдавать ответы на русском и английском языках.
Это самая большая GPT-подобная модель, доступная всем желающим, рассказали TJ в «Яндексе». «Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей», — рассказал генеральный директор «Яндекс. Технологий» Пётр Попов.
YaLM 100B содержит 100 миллиардов параметров — больше, чем какая-либо и существующих моделей для русского языка, отметили в «Яндексе». Модель определяет принцип построения текста запроса и генерирует новый, опираясь на законы лингвистики и свои знания о мире. YaLM может создавать описания товаров и видео, слоганы для рекламных кампаний, стихи, поздравления в разных стилях речи.
Модель обучали на суперкомпьютерах «Яндекса». В 2021 году исследователи сочли их самыми производительными в России и Восточной Европе, включив в мировой рейтинг Top500. В процессе обучения YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках.
Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.
вопросик. у tj есть своя ферма видеокарт или шо?
The model is supposed to run on multiple GPUs with tensor parallelism. It was tested on 4 (A100 80g) and 8 (V100 32g) GPUs, but is able to work with different configurations with ≈200GB of GPU memory in totalТЖ работает на серверах ФСБ РФ