AIRI и Сколтех: ENOT Метод обучения генеративных моделей

Основная статья: Генеративный искусственный интеллект

2024: Представление метода ускорения обучения генеративных моделей до 10 раз

Ученые из Института AIRI и Сколтеха предложили подход к решению обширного класса сложных вычислительных задач на основе Оптимального Транспорта (ОТ), применимых в машинном обучении и математическом моделировании. Метод позволит ускорить обучение моделей от 3 до 10 раз. Об этом AIRI сообщил 5 декабря 2024 года.

Методы оптимального транспорта все чаще используются при обучении генеративных моделей для синтеза искусственных данных, например — изображений или текстов. Еще одно значимое применение — адаптация моделей к данным из новых источников, что особенно актуально в медицине, где работа часто связана с небольшими и разрозненными выборками. Однако существующие методы решения задач ОТ при помощи нейросетей сталкиваются с рядом проблем, таких как высокая нестабильность обучения и необходимость сложных промежуточных преобразований.

Ключевым плюсом предложенного учеными метода, реализованного на фреймворке JAX и получившего название ENOT, стало внедрение энтропийной регуляризации. Это позволило достичь значительного ускорения вычислений — от 3 до 10 раз — и улучшения целевых метрик качества работы моделей. Первоначально эксперименты проводились на двумерных данных, а позднее метод был протестирован на задачах генерации изображений, переносе стиля и реконструкции трехмерных объектов, что подтвердило его универсальность.

Что касается практического применения, то задачи оптимального транспорта мультидисциплинарны, поэтому он может применяться в самых разных областях. В частности, мы применяли его для обучения имитации — когда эксперт показывает определенные действия, агент пытается имитировать поведение, и система оценивает, насколько действия агента похожи на действия эксперта. Примером может служить урок танцев, когда преподаватель показывает движение, а ученик пытается его повторить, – объяснил Назар Бузун, руководитель группы «Обучение Представлений» лаборатории «Сильный ИИ в медицине» Института AIRI.

Несмотря на теоретический формат статьи, в основе метода лежит интуитивно понятная идея – предлагается «стягивать» генерируемое к ожидаемому. Мне кажется, сегодня в нашей области слишком много «черных ящиков». Конечно, десятикратное ускорение –– это весомый аргумент, но я думаю, что рецензентам NeurIPS наш метод понравился именно своей интуитивностью, – отметил директор лаборатории «Сильный ИИ в медицине» Института AIRI и доцент центра технологий ИИ Сколтеха Дмитрий Дылов.