Новый метод децентрализованной оптимизации, предложенный учёными Университета Иннополис, МФТИ и ИСП РАН, позволяет обучать глубокие и генеративно-состязательные нейросети в реальных условиях, где соединения между серверами могут прерываться. Это особенно актуально при координации беспилотных автомобилей, которые обмениваются информацией на ходу, а также в процессе обучения общей ИИ-модели на данных из нескольких организаций, когда интернет-соединение работает с перебоями. Подробнее — в ТАСС Науке.
Исследователи сосредоточились на задачах стохастической (вероятностной) негладкой оптимизации и предложили метод, позволяющий эффективно настраивать сложные ИИ-алгоритмы в условиях, когда данные распределены по разным компьютерам, а каналы связи между ними ненадежны и постоянно меняют свои параметры. Это важно для федеративного обучения, роботизированных систем и интернета вещей, где множество устройств должны обучаться одновременно.
Максим Дивильковский, специалист Центра научных исследований Университета Иннополис: «Мы расширили существующую теорию, которая была применима для стабильных гладких задач или статических сетей. Наша работа охватывает более общий и сложный случай — негладкие математические функции, которые часто встречаются в задачах машинного обучения, и динамические сети с переменной топологией. Мы доказали, что наш алгоритм достигает теоретически оптимальной скорости сходимости, то есть его теоретически невозможно улучшить».
Метод исследователей строится в том, что математическая задача разделяется на две части: гладкую, отвечающую за коммуникации между компьютерами и ускоряемую методом Нестерова, и негладкую, ответственную за обучение самой модели. При этом вместо глобального усреднения по всей сети, требующего идеальной связи, эксперты предложили использовать локальный обмен только с доступными в данный момент сетями-соседями.
На практике метод учёных позволит сделать обучение ИИ-алгоритмов устойчивым к разрывам сетей: алгоритм продолжит корректно работать, даже если связь между узлами временно пропадёт. Предложенный метод оптимален с точки зрения требуемых вычислений и обменов данными для достижения необходимой точности и подходит как для задач обычной оптимизации, так и для более сложных седловых задач, которые лежат в основе современных генеративных моделей искусственного интеллекта.
Статья «Стохастическая децентрализованная оптимизация негладких выпуклых и выпукло-вогнутых задач в сетях с изменяющейся во времени топологией» опубликована в сборнике материалов одной из престижных конференций по искусственному интеллекту и машинному обучению AAAI. Исследование выполнено при поддержке Министерства экономического развития Российской Федерации.
