Нейросеть научили разделять вокал и фоновую музыку в песнях Материал редакции

Теперь можно самому создать партию для караоке из любой известной песни.

В закладки
Аудио

Стриминговый сервис Deezer запустил инструмент Spleeter, который позволяет разделить музыку на составляющие. Библиотека на основе нейросетей доступна всем желающим бесплатно — её опубликовали на GitHub.

Одну песню можно разделить максимум на пять составляющих: вокал, бас, ударные, пианино и всё остальное. Для этого достаточно загрузить в Spleeter любой аудиофайл, в ответ он выдаст несколько файлов.

Разделение звука в Spleeter на примере Дэвида Боуи

Как рассказал разработчик Энди Байо, Spleeter работает на модели TensorFlow, которую обучили на «десятках тысяч песен». По словам Байо, пока сервис работает неидеально: на дорожках остаются некоторые артефакты, а вокал иногда становится похож на робоголос, но это всё равно лучше других решений.

Для использования Spleeter понадобятся некоторые технические навыки. Пользователям, которые никогда не использовали Python и инструмент TensorFlow, придётся загрузить несколько программ, чтобы всё заработало. Кроме того, взаимодействовать с Spleeter нужно через командную строку — у библиотеки пока нет графического интерфейса.

В Deezer пояснили, что это не первый раз, когда люди используют машинное обучения для автоматизации подобных задач, а разработка компании основана на огромном количестве предыдущих исследований. В разговоре с The Verge представители сервиса отметили, что натренировали систему на 20 тысячах композиций разных жанров с заранее изолированным вокалом.

Компания не собирается превращать Spleeter в потребительский инструмент. Однако так как библиотеку выпустили с открытым исходным кодом — сторонние разработчики могут её доработать.

Spleeter разработали в первую очередь для использования внутри Deezer. С помощью инструмента сервис решает сложные задачи вроде распределения композиций по категориям, транскрибирования и распознавания языка.

Другие примеры использования Spleeter можно посмотреть в блогах TJ.

{ "author_name": "Дамир Камалетдинов", "author_type": "editor", "tags": ["\u0441\u0442\u0440\u0438\u043c\u0438\u043d\u0433","\u043d\u043e\u0432\u043e\u0441\u0442\u0438","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u043c\u0443\u0437\u044b\u043a\u0430"], "comments": 35, "likes": 44, "favorites": 67, "is_advertisement": false, "subsite_label": "tech", "id": 124543, "is_wide": false, "is_ugc": false, "date": "Wed, 06 Nov 2019 16:23:04 +0300", "is_special": false }
0
{ "id": 124543, "author_id": 50011, "diff_limit": 1000, "urls": {"diff":"\/comments\/124543\/get","add":"\/comments\/124543\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/124543"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 214344, "last_count_and_date": null }
35 комментариев
Популярные
По порядку
Написать комментарий...
9

С какого года эта штука в стандартном драйвере Realtek?

Ответить
2

С момента появления Мозиллы. То есть, до нашей эры. 

Ответить
0

Комментарий удален по просьбе пользователя

Ответить
20

Я заметил до Ширяева, он спиздил пост у меня из черновика

Ответить
10

Комментарий удален по просьбе пользователя

Ответить
2

Интересно, когда нейросеть научат различать гомосексуалов и не гомосексуалов в армии? Чтоб не было конфликтов интересов. Всем же вроде понятно, что не гомосексуалам не место в армии. 

Ответить
1

Надо тогда всех через эту прогу прогнать. Чисто для смеха. Включая руководство страны. Вдруг окажется, что Самый главный - пидр?! Вот поржем 🤭 хоть и недолго. 

Ответить
0

Пидр не пидр, но в реку как пидара бросали, судя по книжке Коржакова.

Ответить
0

их и среди гетеросексуалов завались. 

Ответить
2

Хорошая новость. Может я наконец вернусь к сочинению ремиксов.

Ответить
1

Не стоит вскрывать эту тему

Ответить
2

Дамир Камалетдинов как всегда принес на сайт интересную и релевантную новость ура

Ответить
2

Заголовок гуманитария

Ответить
2

«десятках тысячах песен»
В руский язык не могем

Ответить
1

Ох блять, наконец-то!

Ответить
1

Все, пиздец, оставили без работы

Ответить
1

Так это уже давно научились делать!

Ответить
1

Посоны, напишите бота плес

Ответить
0

Теперь можно становиться диджеем и делать мешапы 

Ответить
1

Чтобы тебя завалили исками 😭

Ответить
1

я буду в андерграунде 

Ответить
0

че бы им нейросеть не научить рекомендации делать как в спотифае..

Ответить
0

Попробовал, установил, ну такое, в целом неплохо, но изначальное качество звука будто гасит жестко

Ответить
0

как установил ?

Ответить
0

всмысле как? там тутор на гитхабе три команды всего, один менеджер пакетов и все

Ответить
0

Вроде все сделал как в мануале, но на этапе первой же команды получаю ошибку:
$ spleeter separate -h
bash: 
spleeter: command not found 
если есть возможность запилить пошаговую с картинками буду очень признателен)

Ответить
0

Над сначало зайти в сплитер, если ты через конда ставил там в туторе ж написано:
conda activate spleeter-cpu

Ответить
0

установил miniconda
установил git, скопировал репозиторий
а conda activate spleeter-cpu куда писать? в anaconda powershell или git bash? или я вообще что то не то сделал?)

Ответить
0

export PATH="/home/username/miniconda/bin:$PATH" – вписать в консоле надо, где путь будет - твой путь до миниконды, найди по поиску где у тебя в библиотеке она и потом conda activate spleeter-cpu там же в консоле

Ответить
0

у меня закрались подозрения что вы подумали что у меня линух, у меня 10ка если что))

Ответить
0

Тогда, Б-г в помощь((( для того и стал макодрочером в 2к12, чтобы вот так заходить на гитхабики и в две команды все компилить/билдить и тд, а не с бубном денсить , ну может я преувеличиваю, там еще есть альтернативная установка через pip, как я видел, может попроще будет

Ответить
0

понял, спасибо)
придется линух поднимать на виртуалке)

Ответить
0

Как всегда не без причуд выходит – после обработки audio_example папка с результатами не появляется, а другие файлы, засунутые в папку, так вообще найти не может

Ответить
–4

Прочитал статью и ничо не понял, можно на карточках обьяснить?

Ответить
Обсуждаемое
Новости
Зоозащитница пожаловалась на ветеринара, спасающего животных от эвтаназии
В Челябинске прокуроры проверяют обращение зоозащитницы, которая пожаловалась на местного ветеринара. По словам женщины, доктор не делает эвтаназию питомцам по просьбе хозяев, а, наоборот, спасает кошек и собак.
Новости
В Сиэтле арестовали капитана полиции — он пытался заплатить проститутке, но та оказалась его коллегой под прикрытием
Они даже работали в одном департаменте.
Технологии
Пользователь «Хабра» рассказал, как взломал Wi-Fi в «Сапсане» и получил доступ к данным пассажиров
Он успел сделать это за одну поездку от скуки из-за отсутствия интернета.
Популярное за три дня
Истории
«Великий смог» Великобритании
Экологическая катастрофа 1952 года, повлекшая за собой смерти тысяч людей.
Интернет и мемы
пожалуста
Животные
Урегулирование важных вопросов

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "Article Branding", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cfovy", "p2": "glug" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Баннер в ленте на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "ccydt", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } }, { "id": 20, "label": "Кнопка в сайдбаре", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "chfbk", "p2": "gnwc" } } } ]