Яндекс запустил функцию закадрового перевода англоязычных видео

Яндекс запустил функцию закадрового перевода англоязычных видео. Видео можно перевести на YouTube, Vimeo, TikTok, Twitter, Facebook и «ВКонтакте». Перевод работает в Яндекс.Браузере для десктопов и Android, а также в приложении Яндекс для Android и iOS. Перевод закадровый, есть мужской и женский голос.

Перевод происходит в несколько этапов. Яндекс распознаёт речь, превращает её в текст и с помощью нейронных сетей разбивает на предложения. После определения пола говорящего, система переводит предложения на русский язык и синтезирует голос. Если интересна техническая часть вопроса, Яндекс написал статью на хабре, где описывает чуть подробнее как происходит машинный перевод и синтез речи. Непростой задачей является совмещение перевода с видеорядом, так как в русском языке предложения длиннее, чем в английском. Об этом тоже Яндекс пишет в статье. 

Для того, чтобы посмотреть видео в русской озвучке, нужно нажать на кнопку в плеере и немного подождать, так как процесс перевода занимает несколько минут. Когда всё будет готово, придёт уведомление.

Разработка этой технологии стала поводом для судебного разбирательства с сервисом AllMyBlog, который обвинил Яндекс в использовании чужой идеи.

Как это все работает можно пощупать самому в Яндекс.Браузере или посмотреть видео юзеров которые уже опробовали, например: