Яндекс позволит организациям-партнёрам вместе обучать нейросети и раздельно хранить данные

Такую возможность даёт федеративное машинное обучение — Яндекс вместе с ИСП РАН и Сеченовским университетом первыми в России опробовали его на практике для задач медицины. Федеративный подход позволяет организациям, например банкам или медицинским учреждениям, участвовать в партнёрских проектах, не передавая наружу свои чувствительные данные.

Яндекс вместе с Институтом системного программирования имени В. П. Иванникова РАН и Сеченовским университетом первыми в России на практике применили федеративное машинное обучение. Его также называют совместным, поскольку оно предназначено для проектов, где есть несколько участников с собственными наборами данных, или датасетами. Федеративный подход позволяет участникам коллективно обучать модели, никому не передавая свои данные. Это открывает новые возможности для партнёрств в сфере искусственного интеллекта. Теперь в них смогут участвовать компании из отраслей, где имеют дело с чувствительной информацией: например, финансов, медицины или промышленности.

Как это работает

Сперва модель обучается на каждом из датасетов участников проекта. На центральный сервер передаются не сами датасеты, а результаты их обработки — к примеру, изменения в весах модели. На них затем обучается глобальная модель. Таким образом, датасеты на протяжении всего процесса обучения не покидают контуры организаций — и никто, кроме владельцев, не может получить к ним доступ.

Яндекс, ИСП РАН и Сеченовский университет Минздрава России, используя федеративный подход, создали нейросеть, которая по данным электрокардиограмм выявляет фибрилляцию предсердий — одну из наиболее распространённых патологий сердца. Технология делает это с высокими показателями чувствительности и специфичности. Для обучения использовались два независимых датасета с электрокардиограммами: от Сеченовского университета и от ИСП РАН. Оба партнёра провели раунды обучения на своей стороне, а затем передали результаты в общий контур.

Проект реализовали эксперты из Центра технологий для общества Yandex Cloud. За техническую составляющую проекта отвечали инженеры Yandex Cloud и ИСП РАН. В Yandex Cloud продумали этапы реализации, предложили стек технологий, создали унифицированную среду для обучения и рассчитали необходимый объём ресурсов. В ИСП РАН разработали модель и адаптировали её под опенсорсный фреймворк федеративного обучения. Сеченовский университет дал экспертную оценку качества модели.

В будущем воспользоваться федеративным машинным обучением смогут клиенты Yandex Cloud. Новый подход позволит участвовать в совместных проектах организациям, которые раньше не могли сотрудничать из-за рисков, связанных с передачей чувствительных данных. Это, в свою очередь, повысит качество итоговых моделей — чем больше партнёров в проекте, тем больше данных для обучения. Кроме того, федеративный метод будет полезен и партнёрам, которых разделяют большие расстояния — например, когда речь идёт о трансграничной передаче данных.

О центре технологий для общества Yandex Cloud

Центр технологий для общества Yandex Cloud создан для реализации масштабных социально значимых инициатив с помощью решений и сервисов Яндекса. 

Приоритеты центра — проекты в области науки и образования, здравоохранения, экологии, культуры. Yandex Cloud выступает в таких проектах технологическим партнёром: анализирует потенциал реализации, определяет ИТ-архитектуру проекта, бесплатно предоставляет доступ к технологиям и консультации экспертов, оказывает маркетинговую и PR-поддержку. Отбор проектов происходит на сайте центра, подать заявку может любой желающий.

Критерии для отбора проектов:

·   Проект помогает решить проблему, значимую для большого количества людей в России.

·   Результаты можно переиспользовать в похожих проектах и решениях, в том числе в коммерческих целях.

·   Описаны цели и сроки реализации (не более 1 года).

·   Задачу проекта возможно решить с помощью технологий Яндекса.