Яндекс выложил в открытый доступ новую версию модели YandexGPT 5 Lite — она ускорит IT-разработку и научные исследования

Яндекс открыл доступ к Instruct-версии собственной модели YandexGPT 5 Lite из последнего и самого мощного семейства нейросетей компании. Её можно использовать как в некоммерческих, так и в коммерческих целях. Например, она пригодится разработчикам и исследователям: можно сразу внедрить её в собственный проект. Instruct-модель не слишком требовательна к вычислительным ресурсам, и её можно протестировать на личном компьютере без спецоборудования.

Помимо предварительного этапа обучения на больших объёмах данных, новая модель прошла дополнительный этап настройки — alignment (с англ. — выравнивание). В результате она научилась решать конкретные задачи по промптам — запросам или инструкциям. Это отличает её от другой опенсорс-версии YandexGPT 5 Lite — Pretrain, которая не проходила этап alignment и которую нужно дообучать под свои задачи. Instruct-версия имеет базовые этические настройки. Разработчики могут улучшить их, чтобы модель соответствовала конкретным требованиям.

По результатам международных тестов и их адаптаций для русского языка (MMLU, IFEval, RuFacts и других), YandexGPT 5 Lite Instruct вплотную приблизилась к аналогу — китайской модели Qwen2.5-7B-Instruct — и превосходит её в таких сценариях, как задачи классификации и разметки текстов, знание русской культуры и фактов, умение отвечать в заданном формате. По данным замеров Яндекса методом слепого сравнения (Side by Side, SBS), модель в 62% случаев превосходит Qwen2.5-7B-Instruct и сравнима по качеству ответов с GPT-4o Mini в решении стандартных задач сервисов Яндекса.

Чтобы у пользователей было ещё больше возможностей в применении YandexGPT 5 Lite, Яндекс обновил её лицензию. Теперь можно использовать модель в любых целях, включая коммерческие — если объём выходных токенов не превышает 10 млн в месяц. Это касается и Instruct-версии. Например, такого числа токенов хватит для создания и поддержки чат-ботов на небольших и средних сайтах, для генерации описаний товаров в интернет-магазинах с ограниченным ассортиментом, для автоматизации ответов клиентам в сервисных центрах или для анализа отзывов пользователей на площадках с умеренным трафиком.

Модель включает 8 млрд параметров и поддерживает контекст до 32 тыс. токенов. Компактность и качество модели, совместимость с библиотекой llama.cpp и поддержка GGUF-формата (GPT-Generated Unified Format) позволяют запускать её даже на персональных компьютерах. Подробнее про модель — на Хабре.

Разработчикам и исследователям Instruct-версия уже доступна бесплатно на Hugging Face. Пользователи могут протестировать её возможности в чате с Алисой — каждому доступно до 5 бесплатных запросов в день, а если есть опция Про, то запросов можно делать сколько угодно. Модель уже доступна и бизнесу — через API в Yandex Cloud. Бизнес-клиенты могут дообучить модель для своих задач и использовать для сценариев, когда ответ нужен максимально быстро: например, для генерации ответов голосовых помощников.

Яндекс также обновил свой API для сервиса Foundation Models, включающий YandexGPT 5 Pro и YandexGPT 5 Lite, — он стал совместим с OpenAI API. Теперь модели Яндекса можно использовать с библиотеками OpenAI на Python, JavaScript и других языках программирования. Это позволит без изменений в коде переключаться в своих приложениях между нейросетями Яндекса, OpenAI и других ИИ-разработчиков. Также модели YandexGPT теперь проще интегрировать с популярными решениями для работы с ML-технологиями: например, с платформой для запуска ИИ-ассистентов AutoGPT и с инструментом для создания приложений на базе нейросетей LangChain.

В феврале Яндекс также выложил в открытый доступ Pretrain-версию YandexGPT 5 Lite. Эта модель предназначена для дообучения под конкретные задачи. На её основе независимые разработчики уже создали более десятка квантизованных моделей. После квантизации модель становится менее требовательной к вычислительным ресурсам и запускается на менее мощных компьютерах.