Юрий дорн
Оптимизация и приложения
Акт первый
О курсе

Оптимизация – это чрезвычайно богатый на приложения раздел математики.

В экономике и бизнесе существенная часть используемых моделей для принятия решений формализируются именно в виде оптимизационных моделей.

В анализе данных и статистике процесс оценки параметров статистической модели или же, в терминологии ML, "обучения" модели сводится к решению задачи оптимизации. При этом скорость решения напрямую зависит от используемых методов. В стандартных курсах по машинному обучению обычно говорят о градиентном спуске или его стохастическом аналоге, в более продвинутых упоминаются быстрые градиентные методы, однако это лишь небольшая часть инструментария, который может дать современная оптимизация.

Наши курсы в той или иной степени охватят все эти области.


Часть 1:

Основной курс по оптимизации, основанный на материалах курса "Выпуклый анализ и оптимизация", который читается в Школе анализа данных Яндекс.

Первые лекции курса посвящены выпуклому анализу и выпуклой оптимизации, что соответствует материалу первых глав книги "Convex Optimization" S.Boyd & L. Vanderberghe.

Вторая часть курса является сравнительно глубоким введением в современные (численные) методы выпуклой оптимизации.


Часть 2:

Это продолжение Части 1. Фокус этого курса приходится на оптимизационное моделирование, включающее в том или ином виде неопределенность.

К данному разделу относятся как достаточно хорошо изученная и нашедшая бесконечное количество применений стохастическая оптимизация, так и сравнительно новые и активно развивающиеся подходы: робастная оптимизация и онлайн-оптимизация.

Как и предыдущая часть курса, в этой мы стараемся держать баланс между теорией, приложениями и алгоритмами.

Команда курса
Юрий Дорн
Лектор
Александр Катруца
Семинарист
Григорий Малиновский
Ассистент
Программа Ч.1
Вводная часть
Постановки задач и примеры задач оптимизации.
Выбор переменных.
Оптимизационное моделирование.
Выпуклые множества
Выпуклые множества. Конусы. Сопряженное множество.
Отделимость и теоремы отделимости.
Выпуклые функции
Выпуклые функции и их свойства.
Критерии выпуклости.
Сопряжённые функции.
Субдифференциал и субградиентное исчисление.
Условия оптимальности, теорема ККТ и двойственность.
Условия оптимальности первого порядка.
Теорема Каруша-Куна-Таккера.
Двойственность. Коническая двойственность. Теоремы о сильной и слабой двойственности.
Введение в методы оптимизации
Методы оптимизации и численные решения.
Общая схема построения методов.
Оракулы.
Сложность методов оптимизации.
Базовые методы первого и нулевого порядка
Градиентный спуск
Субградиентный метод
Безградиентные методы оптимизации
Метод сопряженных градиентов
Линейные и нелинейные сопряжённые градиенты
Метод тяжёлого шарика
Методы второго порядка
Метод Ньютона
BFGS
Проксимальные методы
Проксимальный градиентный спуск
Ускоренный градиентный спуск
Техника сглаживания
Метод Зеркального спуска
ADMM
Метод штрафных функций и его вариации
Штрафы. Барьеры. Барьерный метод (скорость сходимости, связь с ККТ).
Primal dual interior-point method