Яндекс Браузер сгенерирует субтитры для любых русскоязычных видео в интернете

Яндекс Браузер научился создавать субтитры для видео и трансляций на русском языке с помощью встроенной нейросети. Новая функция работает на любых сайтах: от видеохостингов и социальных сетей до страниц телеканалов и загруженных в облачные хранилища роликов — достаточно нажать всего одну кнопку, и Браузер начнёт показывать субтитры. Это пригодится в ситуациях, когда нужно соблюдать тишину, а наушников под рукой нет, или когда в помещении слишком шумно. Кроме того, автоматическая генерация субтитров поможет комфортно просматривать видео людям с нарушениями слуха.

Обычно включить субтитры в видеоплеере сайта можно только когда владелец веб-ресурса или автор видео предусмотрел такую возможность. Яндекс Браузер снимает это ограничение при просмотре русскоязычных роликов.

Разрабатывая технологию, специалисты Яндекса решили сложную задачу: значительно сократили объём оперативной памяти компьютера пользователя, которая потребляется при генерации субтитров. Исходная версия нейросети использовала 800 мегабайт и создавала слишком большую нагрузку на вычислительные ресурсы компьютера. После оптимизации потребление памяти удалось сократить до 150 мегабайт. Это позволило запускать нейросеть прямо в Браузере, даже на обычных ПК с невысокой мощностью.

Генерация субтитров работает в Яндекс Браузере для Windows и Linux. В macOS новая функция появится до конца сентября. В настройках можно выбрать размер шрифта и изменить прозрачность фона, чтобы субтитры не сливались с изображением на заднем плане.

Илья Шибанов,
руководитель Яндекс Браузера

Просмотр видео с субтитрами — растущий сценарий, особенно важный для работы и потребления контента в шумных местах, но не только. Мы провели исследование и выяснили, что около 40% пользователей включают субтитры просто потому, что им так удобнее. Для глухих и слабослышащих людей это и вовсе один из немногих способов ознакомиться с содержанием звуковой дорожки роликов. Пока Яндекс Браузер генерирует субтитры только для видео на русском, но мы уже работаем над тем, чтобы добавить больше языков и сделать технологию доступной на мобильных устройствах.

Генерация субтитров дополняет набор технологий Яндекс Браузера для удобной работы с видео. В нём уже есть режим «Картинка в картинке», позволяющий совмещать просмотр роликов с веб-сёрфингом, и перевод роликов с шести иностранных языков с многоголосой закадровой озвучкой на русском.

Подробнее о том, как устроена технология автоматической генерации субтитров в Яндекс Браузере, можно прочитать в блоге Яндекса на Хабре.