В MIT научили нейросеть воссоздавать лицо по голосу человека

Модель хорошо угадывает пол, но часто ошибается с возрастом.

В закладки

Учёные из Массачусетского технологического института (MIT) создали нейросеть Speech2Face, которая может создавать примерное изображение лица человека по голосу. Результат зависит от особенностей речи и чаще всего далёк от исходного.

Алгоритм состоит из трёх частей: одна создаёт нейтральное выражение лица человека, другая воссоздаёт спектрограмму речи и определяет особенности, а третья генерирует лица.

Для тренировки нейросети учёные использовали более миллиона коротких видео от ста тысяч разных людей. Чтобы создать лицо нейросеть сначала определяет пол и возраст человека, а также выясняет национальность по наличию акцента.

В конце эксперимента исследователи сравнили получившиеся лица с реальными людьми, говорившими на записях. Как оказалось, алгоритм работает не слишком точно: например, он определяет возраст с точностью до десяти лет. А из-за особенностей обучающей выборки, лучше всего нейросеть изображает людей с европеоидной и азиатской внешностью.

Однако по словам учёных, они не стремились к точному восстановлению внешности человека по голосу. Вместо этого исследователи хотели выделить лишь некоторые важные параметры вроде пола, возраста и расы. Авторы проекта уверены, что их работа будет полезна для изучения связи голоса с внешностью, а определённых параметров хватит для создания, например, анимационных аватаров.

#нейросети

Спасибо за наводку exwaifu
{ "author_name": "exwaifu", "author_type": "self", "tags": ["\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438"], "comments": 22, "likes": 40, "favorites": 10, "is_advertisement": false, "subsite_label": "tech", "id": 99218, "is_wide": false, "is_ugc": false, "date": "Tue, 28 May 2019 13:50:27 +0300" }
{ "id": 99218, "author_id": 214447, "diff_limit": 1000, "urls": {"diff":"\/comments\/99218\/get","add":"\/comments\/99218\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/99218"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 214344, "last_count_and_date": null }
22 комментария

Популярные

По порядку

Написать комментарий...
16

Лихачев

Ответить
0

У тебя что-то с левым глазом

Ответить
2

VR-очки не протёр

Ответить
0

AR
После порно

Ответить
5

Интересный факт, что тренировали на ютубе и без дополнительной разметки – то есть нейронка сама сопоставляла звук и лица

Ответить
0

Нет инфы, лежит ли код на вещах, вроде paperswithcode? Оч интересно посмотреть однако

Ответить
0

Пока кода нет, но думаю опубликуют

Ответить
–1

У гугла видел разделение звуковой дорожки на разные для всех говорящих людей.

Ответить
3

Такое же наебалово, как и бот Ширяева.

Ответить
0

Ширяева не видели?

Ответить
1

Теперь научим нейросеть определять лица по текстам и найдём Деда

Ответить
0

Оказалось, модель хорошо угадывает пол человека, но редко может определить возраст

судя по фотке результат впечатляющий.

Ответить
0

Она определяет не размер члена, Вова.

Ответить
2

зай, а при чём здесь член? Полёт мысли у тебя очень странный

Ответить
0

Там разброс ±10 лет.

Ответить
0

эт нормально

Ответить
0

Прикол в шутерах теперь в дискорд постить лица особо отличившихся нытиков)))

Ответить
0

Чтобы далеко не ходить - t.me/loss_function_porn

Ответить
–2

Комментарий удален по просьбе пользователя

Ответить
–1

У тебя унылое лицо, не пались.

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "ccydt", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } } ]
Не пропустите самое важное,
что происходит в интернете
Подписаться на push-уведомления