Вторая международная конференция по вычислительной оптимизации в Абу-Даби объединила 400 исследователей из 15 стран. Они представили результаты фундаментальных разработок по ИИ, машинному обучению и большим языковым моделям.
Лучшей научной работой, представленной на международной конференции ICOMP 2025, стала статья «Нормы Ки Фана и не только: двойственные нормы и комбинации для оптимизации матриц». В ней Александр Виноградов (МФТИ), Даниил Меркулов (Sber AI4Science), Иван Оселедец (Институт AIRI) и соавторы исследовали использование матричных норм для оптимизации функций весовых матриц, что влияет на ускорение обучения больших языковых моделей, таких как ChatGPT.
Команда учёных выяснила, что правильно настроенный F-Muon работает почти так же хорошо, как и сложный оригинальный Muon, но при этом он проще и эффективнее. Это ставит под сомнение старый подход: так ли необходимо каждый раз искать идеальное, «самое точное» решение, если можно найти почти такое же хорошее, но гораздо быстрее? То есть исследователи нашли способ сделать процесс обучения больших ИИ-моделей менее затратным и более гибким, не жертвуя качеством. Их научная работа открывает возможности для создания ещё более мощных и эффективных алгоритмов искусственного интеллекта.
Ещё один значимый доклад об «Адаптивных регуляризованных методах Ньютона с неточным гессианом» сделали Александр Безносиков (МФТИ), Александр Шестаков (Университет ИИ Мохаммеда бин Зайда), Андрей Семёнов (Федеральная политехническая школа Лозанны), Дмитрий Камзолов (Тулузская школа экономики), Александр Гасников (Университет Иннополис) и Мартин Такач (Университет ИИ Мохаммеда бин Зайда). По словам учёных, метод Ньютона — мощный и популярный математический инструмент для поиска оптимального решения, однако он не всегда находит лучшее из них и каждый шаг требует сложных вычислений, что затратно по времени и ресурсам. В статье исследователи представили новый алгоритм, преодолевающий эти недостатки, критически важные для современной оптимизации.
Предложенный учёными подход может работать с упрощёнными и быстрыми версиями тех сложных вычислений, которые требует метод Ньютона. В некоторых случаях ему достаточно базовой информации. Метод можно настроить под специфику конкретной задачи для большей эффективности. В отличие от классического метода Ньютона, он гарантированно находит решение как для простых, так и для сложных задач, то есть имеет глобальную сходимость. Эксперименты подтвердили, что новый метод работает не хуже, а в чём-то даже лучше других современных подходов ньютоновского типа, но при этом лишён их ключевых недостатков.
Об «Оптимизации в римановом пространстве: эффективной римановой оптимизации с бесцикловым уменьшением дисперсии» на ICOMP 2025 рассказали исследователи Научно-технологического университета имени короля Абдаллы Григорий Малиновский, Юрий Демидович и Петер Рихтарик. Команда учёных работала над улучшением алгоритмов оптимизации для сложных задач, где данные лежат не на обычной плоскости, а на искривлённых поверхностях — римановых многообразиях. Чтобы ускорять расчёты, учёные использовали не все данные сразу, а случайные небольшие партии — это называется стохастической оптимизацией. При этом существующие методы для таких задач применяли неэффективную схему с двумя вложенными циклами, а чтобы схема работала хорошо, нужно заранее угадать правильную длину внутреннего цикла, что на практике очень сложно, так как требуемые параметры обычно неизвестны.
Исследователи создали новые методы Riemannian Loopless SVRG и Riemannian PAGE, которые избавились от неудобной двухцикловой структуры. Вместо этого на каждом шаге алгоритм с помощью «подбрасывания монетки» решает, какие вычисления произвести, что делает алгоритм проще и удобнее. На основе этого подхода удалось создать эффективный алгоритм Riemannian MARINA для распределённых систем, где важно сэкономить трафик между серверами. Этот алгоритм теоретически доказано сокращает объём передаваемых данных.
Александр Гасников, ректор Университета Иннополис: «На ICOMP 2025 отобрали больше 40 статей — это исследования по вычислительной оптимизации — фундаментальной области для работ с искусственным интеллектом. В этом году мы не только сохранили, но и усилили высокие стандарты отбора: каждая статья прошла строгую экспертизу, что гарантирует исключительный уровень научной дискуссии. Научный совет Альянса в сфере ИИ в 2024 году запустил ICOMP в Иннополисе как международную площадку, где представлены лучшие научные работы по вычислительной оптимизации. Прошедшая в Абу-Даби конференция и уровень отобранных статей закрепили за ICOMP статус ключевого события для учёных, специализирующихся в области оптимизации и ИИ».
ICOMP 2025 организовал Университет Иннополис совместно с Фондом «Сколково», Университетом искусственного интеллекта Мохаммеда бин Зайда MBZUAI и Альянсом в сфере ИИ. Генеральным партнёром конференции выступил Сбер, партнёром — «АТОМДАТА».
