Алиса AI покажет окружающий мир незрячим пользователям

Яндекс адаптировал Live-режим в мобильном приложении «Алиса AI» для незрячих и слабовидящих пользователей. Теперь они могут в режиме реального времени спрашивать у нейросети о том, что их окружает — с какой стороны расположен вход в нужный магазин, какое сообщение отображается на дисплее стиральной машины и так далее. Обновление было представлено на молодёжном фестивале Яндекса Young Con, который проходит сегодня в Москве.

В Live-режиме Алиса AI помогает людям с особенностями зрения ориентироваться в пространстве и решать повседневные задачи. Например, она подскажет, есть ли повреждения на полученной посылке, уточнит, что за лекарство стоит на столе или опишет, какие продукты есть в холодильнике и что можно приготовить из них на ужин. Чтобы воспользоваться функцией, достаточно запустить Live-режим, навести камеру смартфона на нужную область и задать голосом интересующий вопрос.

Анатолий Попко,
менеджер проектов по цифровой доступности в Яндексе

В Яндексе мы постоянно работаем над тем, чтобы передовые технологии были доступны для всех и меняли жизнь людей к лучшему. Камера смартфона, усиленная искусственным интеллектом, — это инструмент, благодаря которому незрячему человеку становится проще самостоятельно ориентироваться в пространстве и не зависеть от посторонней помощи в бытовых ситуациях.

В основе Live-режима — мультимодальная нейросеть Яндекса  Alice AI VLM. Она позволяет Алисе AI распознавать объекты, попавшие в объектив камеры смартфона, и описывать их пользователю. Общаться с Алисой AI в Live-режиме можно голосом, уточняя детали в ходе диалога. История общения сохраняется в чате. Включить функцию можно, выбрав её в меню приложения или сказав, например, «Алиса, запусти Live-режим».

Live-режим доступен бесплатно в мобильном приложении «Алиса AI» для устройств на Android и iOS. Запустить функцию голосом могут пока только пользователи Android, в ближайшее время такая возможность появится и у владельцев iOS.

Изображения — на Яндекс Диске.

Об инклюзии в Яндексе

Яндекс системно развивает инклюзию и делает сервисы доступнее для людей с особенностями здоровья. Сегодня 20 сервисов компании — среди них чат с Алисой AI, Такси, Почта, Браузер, Книги и Музыка — адаптированы для незрячих и слабовидящих пользователей, Алиса может понимать голосовые запросы пользователей с особенностями речи, а в продуктах появляются инклюзивные функции. Например, специальные опции в Яндекс Go или тифлокомментарии в Кинопоиске. Также компания адаптирует процессы найма и рабочие места для людей с инвалидностью в разных сферах. Узнать больше о доступности в сервисах Яндекса можно на отдельной странице.

О фестивале Young Con

Young Con — ежегодный фестиваль Яндекса про старт карьеры в ИТ. В этом году в нём участвуют 10 тысяч школьников, студентов и начинающих специалистов со всей страны. Кроме того, в этот раз фестиваль впервые стал площадкой для технологических анонсов Яндекса.