Рубрика развивается при поддержке
Advertisement

Нейросеть научили разделять вокал и фоновую музыку в песнях Статьи редакции

Теперь можно самому создать партию для караоке из любой известной песни.

Стриминговый сервис Deezer запустил инструмент Spleeter, который позволяет разделить музыку на составляющие. Библиотека на основе нейросетей доступна всем желающим бесплатно — её опубликовали на GitHub.

Одну песню можно разделить максимум на пять составляющих: вокал, бас, ударные, пианино и всё остальное. Для этого достаточно загрузить в Spleeter любой аудиофайл, в ответ он выдаст несколько файлов.

Разделение звука в Spleeter на примере Дэвида Боуи

Как рассказал разработчик Энди Байо, Spleeter работает на модели TensorFlow, которую обучили на «десятках тысяч песен». По словам Байо, пока сервис работает неидеально: на дорожках остаются некоторые артефакты, а вокал иногда становится похож на робоголос, но это всё равно лучше других решений.

Для использования Spleeter понадобятся некоторые технические навыки. Пользователям, которые никогда не использовали Python и инструмент TensorFlow, придётся загрузить несколько программ, чтобы всё заработало. Кроме того, взаимодействовать с Spleeter нужно через командную строку — у библиотеки пока нет графического интерфейса.

В Deezer пояснили, что это не первый раз, когда люди используют машинное обучения для автоматизации подобных задач, а разработка компании основана на огромном количестве предыдущих исследований. В разговоре с The Verge представители сервиса отметили, что натренировали систему на 20 тысячах композиций разных жанров с заранее изолированным вокалом.

Компания не собирается превращать Spleeter в потребительский инструмент. Однако так как библиотеку выпустили с открытым исходным кодом — сторонние разработчики могут её доработать.

Spleeter разработали в первую очередь для использования внутри Deezer. С помощью инструмента сервис решает сложные задачи вроде распределения композиций по категориям, транскрибирования и распознавания языка.

Другие примеры использования Spleeter можно посмотреть в блогах TJ.

0
36 комментариев
Популярные
По порядку
Написать комментарий...
Принятый супер_стар

С какого года эта штука в стандартном драйвере Realtek?

9

С момента появления Мозиллы. То есть, до нашей эры. 

2

Комментарий удален по просьбе пользователя

0

Я заметил до Ширяева, он спиздил пост у меня из черновика

20

Комментарий удален по просьбе пользователя

10

Комментарий удален по просьбе пользователя

3

Интересно, когда нейросеть научат различать гомосексуалов и не гомосексуалов в армии? Чтоб не было конфликтов интересов. Всем же вроде понятно, что не гомосексуалам не место в армии. 

2

Надо тогда всех через эту прогу прогнать. Чисто для смеха. Включая руководство страны. Вдруг окажется, что Самый главный - пидр?! Вот поржем 🤭 хоть и недолго. 

1

Пидр не пидр, но в реку как пидара бросали, судя по книжке Коржакова.

0

их и среди гетеросексуалов завались. 

0

Хорошая новость. Может я наконец вернусь к сочинению ремиксов.

2

Не стоит вскрывать эту тему

1

Заголовок гуманитария

2

«десятках тысячах песен»
В руский язык не могем

2

Ох блять, наконец-то!

1

Все, пиздец, оставили без работы

1
Принятый супер_стар

Так это уже давно научились делать!

1

Посоны, напишите бота плес

1

Теперь можно становиться диджеем и делать мешапы 

0

Чтобы тебя завалили исками 😭

1

я буду в андерграунде 

1

че бы им нейросеть не научить рекомендации делать как в спотифае..

0

Попробовал, установил, ну такое, в целом неплохо, но изначальное качество звука будто гасит жестко

0
Ударный фонарь

как установил ?

0

всмысле как? там тутор на гитхабе три команды всего, один менеджер пакетов и все

0

Вроде все сделал как в мануале, но на этапе первой же команды получаю ошибку:
$ spleeter separate -h
bash: 
spleeter: command not found 
если есть возможность запилить пошаговую с картинками буду очень признателен)

0

Над сначало зайти в сплитер, если ты через конда ставил там в туторе ж написано:
conda activate spleeter-cpu

0

установил miniconda
установил git, скопировал репозиторий
а conda activate spleeter-cpu куда писать? в anaconda powershell или git bash? или я вообще что то не то сделал?)

0

export PATH="/home/username/miniconda/bin:$PATH" – вписать в консоле надо, где путь будет - твой путь до миниконды, найди по поиску где у тебя в библиотеке она и потом conda activate spleeter-cpu там же в консоле

0

у меня закрались подозрения что вы подумали что у меня линух, у меня 10ка если что))

0

Тогда, Б-г в помощь((( для того и стал макодрочером в 2к12, чтобы вот так заходить на гитхабики и в две команды все компилить/билдить и тд, а не с бубном денсить , ну может я преувеличиваю, там еще есть альтернативная установка через pip, как я видел, может попроще будет

0

понял, спасибо)
придется линух поднимать на виртуалке)

0

Как всегда не без причуд выходит – после обработки audio_example папка с результатами не появляется, а другие файлы, засунутые в папку, так вообще найти не может

0
Принятый супер_стар

Прочитал статью и ничо не понял, можно на карточках обьяснить?

–4
Читать все 36 комментариев
null