«Ублюдок, ты, маленькая задница»: как автоперевод видео в «Яндекс.Браузере» справляется с мемами и вирусными роликами

Компания представила автоматическую озвучку англоязычных роликов с помощью нейросети. TJ протестировал её на вирусных видео из прошлого.

7 сентября «Яндекс» запустил автоматический перевод любых англоязычных видео на YouTube, Vimeo, TikTok, Twitter, Facebook и «ВКонтакте». С помощью сразу нескольких технологий сервис распознаёт речь, превращает его в структурированный текст, определяет пол говорящего и синтезирует соответствующую озвучку к ролику.

Прототип функции показали ещё в июле, но тогда она работала только в «Яндекс.Браузере», а для перевода было доступно ограниченное число роликов. Теперь перевод доступен также в приложениях «Яндекса» на iOS и Android и работает практически для всех роликов с указанных платформ, кроме лицензионного контента (хотя при переводе отдельных сцен из фильмов и сериалов проблем не возникает).

Хотя переводчик лучше всего справляется с лекциями и официальными выступлениями из-за чёткой структуры текста, сразу после анонса пользователи стали тестировать новую опцию, создавая озвучку для десятков роликов разных жанров.

Один из самых популярных примеров — сцена из фильма «Кровь и бетон», ставшая мемом из-за цитаты «Ублюдок, мать твою, а ну иди сюда...». С новой озвучкой главный герой лишился доли экспрессии, а набор ругательств хотя и стал скромнее, почти не потерял в разнообразии.

Пользователь «Пикабу» под ником patheri опробовал функцию также на вирусном ролике, пародирующем вступление к порнофильму: девушка пытается намекнуть сантехнику на «прочистку её труб» и «оплату другим способом», но того заботит только работа.

Некоторые пользователи с помощью нейросети попытались исправить пиратский перевод GTA: San Andreas. Местами получилось лучше: например, теперь Цезарь предлагает не «охладить траханье», а «остыть нахрен» и не обращается к «углепластику». Однако, из-за акцента персонажей и большого количества сленга смысл иногда всё равно теряется, а «homies» («братки») могут превратиться в «Холмса» и обращаться друг к другу на «вы».

Редакция TJ решила продолжить эксперименты и опробовать новую функцию ещё в нескольких видео — в основном, в мемах и вирусных роликах прошлого.

Мемный потенциал GTA: San Andreas не ограничивается низкокачественным переводом на русский: в игре есть множество культовых сцен, которые надолго запомнились игрокам. Одна из таких — заказ Биг Смоука в местном фастфуде. Нейросеть справилась почти без проблем, немного запутавшись в цифрах и числах и назвав соус «погружением».

С мотивационной речью Шайи Лабафа переводчик справился почти идеально, сохранив посыл актёра. Но возникла другая проблема: когда Лабаф переходил на крик, нейросеть определяла его голос как женский и пару раз «меняла пол».

Неплохой результат переводчик показал и во вступлении к гей-порно «Лорды раздевалки», ставшему основой для гачи-фандома. Актёры Ван Даркхолм и Марк Вульф произносят реплики чётко и громко, позволяя нейросети «Яндекса» распознать каждое слово.

«Двойная радуга» — вирусный ролик эпохи раннего YouTube. В 2010 году американец Пол Васкес заснял полную двойную радугу в национальном парке Йосемите. Видео разошлось за счёт эмоциональной реакции оператора — такие же впечатления нейросеть передать не смогла, но разобрала большую часть слов даже при переходе Васкеса на крик.

В 2017 году в сети разошлась запись фристайла рэпера и комика Big Shaq — помимо привычных для рэпа оскорблений оппонентов, он зачитал несколько математических примеров и рассказал, что «настоящим мужикам не жарко в куртке». Из-за манеры исполнения и несвязных строк шансов было мало, но некоторые отдельные фразы «Яндекс» перевёл почти точно.

Ещё один из ранних вирусных роликов — «Вы когда-нибудь мечтали?», в котором мальчик пытается процитировать Геркулеса из одноимённого мультфильма. Он путается в словах и после 20 секунд попыток сразу переходит к развязке. Нейросеть неплохо распознала все варианты глаголов, но озвучила мальчика женским голосом.

В культовой сцене из «Комнаты» Томи Вайсо, как и на протяжении всего фильма, проговаривает реплики практически без эмоций — автоматическая озвучка тут отлично подходит. Однако нейросеть снова не сразу определила пол героя, поэтому первое предложение он произнёс женским голосом.

Последнее видео в подборке снова из раннего YouTube — герой ролика в слезах защищает Бритни Спирс и просит оставить певицу в покое. Нейросеть и в этот раз неплохо разобрала слова, но во многих местах заменила Бритни на Британию: получилось скорее серьёзное геополитическое заявление.

В целом, нейросеть «Яндекса» справляется со своей основной функцией — с её помощью пользователи, которые не знают английского, могут смотреть видео, улавливая большую часть их смысла. Тем не менее, пока переводчик работает не идеально: помимо очевидных проблем с переводом сложных конструкций и отсутствия эмоций, нейросеть заметно ускоряет речь для попадания в темп говорящего и не всегда правильно определяет его пол.

Представители «Яндекса» пообещали в будущем развивать сервис, расширяя функционал и добавляя новые языки и голоса для озвучки. В компании хотят помочь пользователям преодолеть языковой барьер и предоставить доступ к большому количеству нового контента.

#нейросети #яндекс #мемы #видео