Юрий дорн
Оптимизация и приложения
Акт первый
О курсе
Оптимизация - это чрезвычайно богатый на приложения раздел математики.
В экономике и бизнесе существенная часть используемых моделей для принятия решений формализируются именно в виде оптимизационных моделей.
В анализе данных и статистике процесс оценки параметров статистической модели или же, в терминологии ML, "обучения" модели сводится к решению задачи оптимизации. При этом скорость решения напрямую зависит от используемых методов. В стандартных курсах по машинному обучению обычно говорят о градиентном спуске или его стохастическом аналоге, в более продвинутых упоминаются быстрые градиентные методы, однако это лишь небольшая часть инструментария, который может дать современная оптимизация.
Наши курсы в той или иной степени охватят все эти области.

Часть 1:
Основной курс по оптимизации, основанный на материалах курса "Выпуклый анализ и оптимизация", который читается в Школе анализа данных Яндекс.
Первые лекции курса посвящены выпуклому анализу и выпуклой оптимизации, что соответствует материалу первых глав книги "Convex Optimization" S.Boyd & L. Vanderberghe.
Вторая часть курса является сравнительно глубоким введением в современные (численные) методы выпуклой оптимизации.

Часть 2:
Это продолжение Части 1. Фокус этого курса приходится на оптимизационное моделирование, включающее в том или ином виде неопределенность.
К данному разделу относятся как достаточно хорошо изученная и нашедшая бесконечное количество применений стохастическая оптимизация, так и сравнительно новые и активно развивающиеся подходы: робастная оптимизация и онлайн-оптимизация.
Как и предыдущая часть курса, в этой мы стараемся держать баланс между теорией, приложениями и алгоритмами.
Команда курса
Юрий Дорн
Лектор
Александр Катруца
Семинарист
Григорий Малиновский
Ассистент
Программа Ч.1
Вводная часть
Постановки задач и примеры задач оптимизации.
Выбор переменных.
Оптимизационное моделирование.
Выпуклые множества
Выпуклые множества. Конусы. Сопряженное множество.
Отделимость и теоремы отделимости.
Выпуклые функции
Выпуклые функции и их свойства.
Критерии выпуклости.
Сопряжённые функции.
Субдифференциал и субградиентное исчисление.
Условия оптимальности, теорема ККТ и двойственность.
Условия оптимальности первого порядка.
Теорема Каруша-Куна-Таккера.
Двойственность. Коническая двойственность. Теоремы о сильной и слабой двойственности.
Введение в методы оптимизации
Методы оптимизации и численные решения.
Общая схема построения методов.
Оракулы.
Сложность методов оптимизации.
Базовые методы первого и нулевого порядка
Градиентный спуск
Субградиентный метод
Безградиентные методы оптимизации
Метод сопряженных градиентов
Линейные и нелинейные сопряжённые градиенты
Метод тяжёлого шарика
Методы второго порядка
Метод Ньютона
BFGS
Проксимальные методы
Проксимальный градиентный спуск
Ускоренный градиентный спуск
Техника сглаживания
Метод Зеркального спуска
ADMM
Метод штрафных функций и его вариации
Штрафы. Барьеры. Барьерный метод (скорость сходимости, связь с ККТ).
Primal dual interior-point method