Яндекс

Яндекс разработал и выложил в опенсорс свою библиотеку YaFSDP — она до 25% ускоряет обучение больших языковых моделей

Библиотека Яндекса рассчитана в первую очередь на большие языковые модели, хотя она подходит и для других нейросетей — например, таких, которые генерируют изображения. YaFSDP позволяет сократить расходы на оборудование для обучения моделей — это особенно важно для стартапов и, к примеру, научных проектов.

Яндекс разработал и открыл для всех библиотеку YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым с исходным кодом. Библиотека даёт ускорение до 25% — результат зависит от архитектуры и параметров нейросети. С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения. Теперь YaFSDP могут использовать компании, разработчики и исследователи по всему миру.

Одна из сложностей в обучении больших языковых моделей — это недостаточная загрузка каналов коммуникации между графическими процессорами. YaFSDP это решает. Библиотека оптимизирует использование ресурсов GPU на всех этапах обучения: pre-training (предварительное), supervised fine-tuning (с учителем), alignment (выравнивание модели). Благодаря этому YaFSDP задействует ровно столько графической памяти, сколько нужно для обучения, при этом коммуникацию между GPU ничто не замедляет.

Яндекс разработал YaFSDP в процессе обучения своей генеративной модели нового поколения YandexGPT 3. Компания уже протестировала библиотеку на сторонних нейросетях с открытым исходным кодом. Например, если бы YaFSDP использовалась применительно к модели LLaMA 2, этап предварительного обучения на 1024 графических процессорах сократился бы с 66 до 53 дней.

Исходный код YaFSDP уже есть на GitHub. Посмотреть подробности замеров можно в репозитории GitHub, а почитать про разработку библиотеки — на Хабре. Все опенсорс-решения Яндекса доступны на отдельной странице.

Контакты:

Пресс-служба Яндекса
Евгений Привалов
Тел.: +7 495 739-70-00
E-mail: pr@yandex-team.ru

ООО «Яндекс»

Основной офис в России: Москва

Основной офис
119021, Москва, ул. Льва Толстого, 16
Коммерческий отдел
Отдел по связям с инвесторами
Отдел по связям с общественностью
Корпоративный секретарь
Отдел устойчивого развития

Яндекс Н.В.

Адрес регистрации головной компании в Амстердаме

Schiphol Boulevard 165, 1118 BG Schiphol, The Netherlands