Яндекс представил смарт-функции — новую технологию для управления ТВ Станциями с помощью Алисы

На YaC 2024 Яндекс впервые показал смарт-функции — технологию, которая меняет опыт взаимодействия пользователей с умным телевизором. Теперь Алиса в ТВ Станциях выполняет команды, которым её не обучали заранее, обрабатывает многосоставные запросы для управления устройством и контентом на нём и лучше понимает контекст экрана.

Как работают смарт-функции

В основе работы смарт-функций лежит языковая модель YandexGPT 4 с технологией вызова функций: это значит, что Алиса использует генеративную нейросеть не только для развёрнутых ответов в диалоге, но и для выполнения пользовательских команд. YandexGPT позволяет ей понимать, из чего состоит запрос, и самостоятельно решать, как его исполнить. Иными словами — позволяет «думать».

В ТВ Станциях новая технология призвана улучшить опыт пользователей. ТВ — традиционно непростая категория для управления голосом за счёт наличия экрана, собственного интерфейса и разнопланового контента. Это создаёт для виртуального ассистента сложный контекст, который нужно учитывать. Смарт-функции позволяют Алисе работать с этим контекстом эффективнее, а ТВ Станциям — стать AI TV с интуитивным голосовым управлением.

Марьяна Гланштейн,
руководитель продукта Станций и ТВ Станций Яндекса

Под AI TV традиционно понимают улучшение изображения и звука при помощи искусственного интеллекта. Это важные направления и в нашей работе, но мы начали с другого — переосмыслили голосовое управление телевизором с помощью ассистента. Запросы к Алисе должны быть такими же простыми, как просьбы к реальному человеку. Благодаря смарт-функциям это стало возможно в ТВ Станциях с Алисой.

Ранее Алиса могла обработать и выполнить те команды, которым её заранее обучили. Теперь можно не «подгонять» формулировки под известные ей сценарии: Алиса больше не ограничена уже заложенными командами. Ассистент поймёт запрос пользователя в различных формах и проанализирует, что сейчас на экране. Если Алиса не знает, как осуществить запрос целиком, она разделит его на составные части и выполнит пошагово.

Смарт-функции позволяют ассистенту понять, к каким известным сценариям обратиться, чтобы выполнить неизвестную команду. Например, пользователь может сказать: «Алиса, выключи телевизор, когда закончится этот матч». До появления смарт-функций Алиса ответила бы, что «этого пока не умеет», так как подобной задаче её не обучали. Теперь нейросеть сама разложит запрос на два действия — посмотрит, сколько осталось до конца, и поставит таймер выключения на это время. По отдельности эти команды Алисе известны, поэтому она справится с запросом.

Как изменится опыт пользователей

Искать, выбирать и взаимодействовать с контентом на ТВ Станции станет удобнее. Смарт-функции значительно сократят количество команд, которые нужно сказать Алисе для получения результата. Например, раньше добавить сериал в «Буду смотреть» можно было только поочерёдными запросами: сначала «Алиса, найди», а потом «Алиса, добавь». Теперь ассистент понимает, что действия могут состоять из шагов. Это позволяет пользователю пропустить лишние запросы. Например, можно сразу добавить сериал в «Буду смотреть», минуя поиск и карточку фильма на экране.

По тому же принципу станет проще взаимодействовать с ТВ-каналами: теперь не обязательно открывать конкретный канал, чтобы узнать его программу передач. Можно просто спросить у Алисы, что идёт там сейчас и что будет дальше — она поймет, что необходимо предоставить информацию, при этом не закрывая контент, который воспроизводится сейчас. Если следующая программа уже не интересна — можно попросить выключить, когда закончится матч или шоу.

Более того, в одном запросе можно озвучить сразу несколько команд. Например, листая рекомендации, попросить «Алиса, добавь „Барсукот“ в „Буду смотреть“, а сейчас включи „Три кота“». Если в запросе будут разного типа задачи, например одна про контент, а другая — про звук, Алиса тоже разложит их на понятные для неё части и выполнит: «Алиса, включи первый фильм на громкости 20».

Новая функциональность на всех ТВ Станциях повысит качество взаимодействия как с самим устройством, так и с различными типами контента. В будущем использование YandexGPT для принятия решений позволит Алисе в Станциях или ТВ Станциях выполнять ещё более сложные задачи, требующие сразу несколько этапов взаимодействия в том числе с устройствами умного дома и другими сервисами Яндекса.

О ТВ Станциях Яндекса

Яндекс ТВ Станции — это умные телевизоры Яндекса, объединившие в себе технологии умных колонок с Алисой на YandexGPT и смарт-ТВ. Они открывают доступ к поиску и управлению любым контентом, а также всем возможностям Яндекс Станций. Телевизоры представлены тремя моделями: это ТВ Станция Бейсик, самый доступный телевизор в модельном ряду, ТВ Станция с технологией локального затемнения Local Dimming, а также флагманская ТВ Станция Про с антибликовым экраном и мощным звучанием.

О YandexGPT

YandexGPT — нейросеть, которая умеет создавать и перерабатывать тексты, предлагать новые идеи и учитывать контекст беседы. Она доступна в виртуальном ассистенте Алисе, работает в Поиске, Нейро, Браузере и других сервисах Яндекса. YandexGPT обобщает информацию из отзывов на товары в Поиске, помогает создавать описания товаров для Маркета, составлять рекламные объявления и не только. Её можно также использовать в своих продуктах с помощью API.