«Яндекс» научился переводить видео с китайского языка

Китайская трансляция на мониторе компьютера. Фото chudo.tech.

В «Яндекс Браузере» появилась функция перевода видео с китайского на русский язык, пишет издание «Ведомости» со ссылкой на пресс-службу компании.

Процесс перевода видео с китайского на русский проходит в несколько этапов. В первую очередь нейросеть превращает устную речь в письменный текст с учетом тонов, от которых в китайском зависит смысл слов — на значение влияет то, как произносится тот или иной слог, и контекста. «Яндекс» различает все четыре тона и 6500 иероглифов. Чтобы обучить нейросеть этому, разработчики выбрали из 1,5 млн роликов 100 тысяч видео с лучшими субтитрами на севернокитайском языке.

О том, что «Яндекс» запустил многоголосый закадровый перевод видео, компания сообщала в середине октября 2022 г. В начале августа «Яндекс» добавил возможность синхронного перевода прямых трансляций. Как рассказывал руководитель приложения «Яндекс» и «Яндекс Браузер» Дмитрия Тимко, при синхронном переводе задействованы сразу четыре нейросети: одна распознает аудио и превращает его в текст, другая – определяет пол спикера по биометрии, третья — расставляет знаки препинания и выделяет смысловые фрагменты, а четвертая — переводит.