Google разработала алгоритм перевода устной речи Translatotron, способный сохранять интонацию и голос говорящего

Нейросеть переводит речь напрямую, пропуская этап конвертации аудио в текст.

В закладки

Google разработала алгоритм Translatotron, который напрямую переводит устную речь на разные языки, минуя конвертацию в текст. Система также умеет сохранять голос и интонацию пользователя. Об этом компания сообщила в своём блоге.

В существующих переводчиках, включая Google Translate, при устном переводе звук сначала конвертируется в текст, а потом обратно в аудио. Основное отличие Translatotron в том, что он пропускает этот этап и работает напрямую со звуком — система создаёт «слепок» исходной речи и преобразует её.

Схема работы Translatotron Google

Подобный алгоритм позволяет увеличить скорость перевода, сократить число ошибок в распознавании речи и при переводе слов, которые не нужно переводить, например, имён. Специалисты Google отмечают, что Translatotron — первая система прямого перевода без конвертации в текст.

Кроме того, алгоритм научили сохранить интонации и паузы говорящего, чтобы сделать звучание перевода более естественным. Нейросеть также может сохранять исходный голос, но эта система обучена на меньшем количестве данных, поэтому варианты перевода получаются немного разными. Посмотреть примеры переводов алгоритма можно в репозитории Google на GitHub.

#новости #google #нейросети

{ "author_name": "Дарья Лейзаренко", "author_type": "editor", "tags": ["\u043d\u043e\u0432\u043e\u0441\u0442\u0438","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","google"], "comments": 12, "likes": 30, "favorites": 15, "is_advertisement": false, "subsite_label": "tech", "id": 97408, "is_wide": false, "is_ugc": false, "date": "Thu, 16 May 2019 14:33:47 +0300" }
{ "id": 97408, "author_id": 217590, "diff_limit": 1000, "urls": {"diff":"\/comments\/97408\/get","add":"\/comments\/97408\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/97408"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 214344, "last_count_and_date": null }
12 комментариев

Популярные

По порядку

Написать комментарий...
–15

Труп в конвульсиях. Пацики давно проиграли конкуренцию яндексу.

Ответить
13

Вот ты и нашёл моего твинка.

Ответить
2

Ну яндекс хотя бы переводит не только через английский, в этом плане в ряде случаев намного выигрышнее получается

Ответить
0

Щас ребята пояснят, что лучше гугл, чем товарищ майор будет читать их переводы.

Ответить
0

Ага. Улыбнись, разомни musculus buccinator

Ответить
0

Ну так-то SpeechKit яндекса на данный момент и правда даёт пососать всем конкурентам в плане синтеза/распознавания речи.

Ответить
1

а где это затестить можно?

Ответить
0

Вернули мне мой две тысячи седьмой

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "ccydt", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } } ]
Оперативные новости со всего мира
Подписаться на push-уведомления