Тимофей Прасолов
Разбор книги Александра Гасникова "Algorithmic Stochastic Convex Optimization".
Архив семинара
Антон Тарасенко
Разбор книги Александра Гасникова "Algorithmic Stochastic Convex Optimization".
Аннотация
Продолжим рассмотрение общей леммы (3.5) для обработки типичных рекуррентных соотношений, возникающих в анализе сходимости методов, подобных стохастическому градиентному спуску. Рассмотрим вопрос оптимальности полученной в ней оценки сверху, а также обсудим её следствия.Евгений Прокопенко
Разбор книги Александра Гасникова "Algorithmic Stochastic Convex Optimization".
Аннотация
Резюмируем предыдущие разделы, посвященные оценке градиента в гладком случае. Перейдем к рассмотрению второго важного аспекта методов стохастического градиентного спуска - оптимальному выбору шага итерации.Тимофей Прасолов
Разбор книги Александра Гасникова "Algorithmic Stochastic Convex Optimization".
Аннотация
Мы разберём алгоритм Prox-SGD, где к оптимизируемой функции добавляется регуляризатор. Для этого мы кратко разберём некоторые свойства prox-операторов. Затем мы разберём доказательство сходимости алгоритма при довольно общих ограничениях на оракул градиента, которые включают последние три набора условий (uniformly bounded variance, convex smooth stochastic trajectories, finite sum problems).Антон Тарасенко
Разбор книги Александра Гасникова "Algorithmic Stochastic Convex Optimization".
Аннотация
Продолжим разбор третьей главы рассмотрением оптимизации конечных сумм и применяемых для этого методов уменьшения дисперсии: SAGA, SVRG/LSVRG и SDCA. Докажем теорему о сходимости метода L-SVRG.Евгений Прокопенко
По монографии F. Orabona "A modern introduction to online learning" (2019). Разбор третьей главы.
Аннотация
Продолжим разбор третьей главы: выпуклая стохастическая оптимизация в гладком случае. При условиях $L$-гладкости, $\mu$-квази сильной выпуклости, $(\mu,L)$-сильной выпуклости и равномерной ограниченности дисперсии градиента докажем теорему сходимости для стохастического градиентного спуска. Разберем на примерах. И перенесём основной результат на условие выпуклых гладких стохастических траекторий.Евгений Прокопенко
По монографии F. Orabona "A modern introduction to online learning" (2019). Разбор третьей главы.
Аннотация
Начнем разбор третьей главы: выпуклая стохастическая оптимизация в гладком случае. Разберем такие условия как $L$-гладкость, $\mu$-квази сильная выпуклость, ($\mu, L$)-сильная выпуклость, равномерная ограниченность дисперсии градиента. Докажем теорему сходимости для стохастического градиентного спуска.Информация о семинаре
Руководитель:
Тарасенко А. С.
Время и место проведения:
Четверг, 12.00 ч., к. 417, ИМ
