Исследователи Yandex Research показали, как запускать большие языковые модели в распределённой сети пользовательских ПК

В программу одной из самых авторитетных международных конференций по машинному обучению NeurIPS 2023 вошло исследование команды Yandex Research о системе Petals. Учёные Яндекса создали его совместно с коллегами из Университета Вашингтона и Hugging Face. Исследование демонстрирует экономически эффективный подход к запуску и тонкой настройке больших языковых моделей (LLM) благодаря использованию распределённой сети компьютеров с графическими ускорителями потребительского класса.

Petals — это система с открытым исходным кодом, которая делает работу с большими нейронными сетями доступной не только корпорациям с суперкомпьютерами, но и небольшим командам исследователей. Система делит модель на несколько блоков и размещает их на разных серверах, которые могут находиться в любой точке планеты. Все желающие могут присоединиться к одному из них, чтобы поделиться вычислительной мощностью своей видеокарты. Волонтёры могут подключаться и отключаться в любой момент — это не повлияет на происходящие в сети процессы.

Помимо доклада о Petals в программу NeurIPS 2023 вошли ещё семь исследований учёных из команды Yandex Research:

• Новый алгоритм ускоренной адаптации диффузионных генеративных сетей под пользовательские изображения. С ним процесс может проходить до восьми раз быстрее.
• Новый алгоритм прореживания передовых трансформерных моделей для компьютерного зрения. Он убирает часть менее эффективных параметров, уменьшает размер модели и ускоряет её работу без потери качества.
• Новая метрика для квантификации степени гетерофильности заданного графа. Определять наличие гетерофильности необходимо для выбора более подходящей модели.
• Оценка устойчивости передовых моделей графовых нейросетей к различным сдвигам в распределении обучающих и тестовых данных.
• Работа, которая показывает, что дизайн и протокол обучения модели можно создать таким образом, что подсказки разработчика в области нейро-алгоритмического обоснования (NAR) больше не будут нужны. Нейросеть может научиться эффективно приближать классические алгоритмы без них.
• Новая схема распределённой оптимизации для задач вариационных неравенств. Подход радикально снижает количество передаваемых по сети данных, что приводит к ускорению работы модели.
• Анализ стохастического градиентного спуска (один из основных методов обучения нейросетей) с нижними оценками на его сложность — на примере задачи с вариационными неравенствами.

О Yandex Research

Yandex Research — команда исследователей, которая изучает фундаментальные вопросы в области искусственного интеллекта. Инженеры-исследователи Яндекса занимаются обработкой естественного языка, компьютерным зрением, нейросетями и не только. Команда Yandex Research создаёт решения, которые будут внедрены в продукты компании и принесут пользу людям. Благодаря ей Яндекс стал одной из лидирующих технологических компаний по числу научных публикаций на NeurIPS, ICML и других главных международных конференциях по машинному обучению.