- Евгений Владимирович Бурнаев
Оценка обобщающей способности решения задачи оптимального транспорта на основе состязательных нейронных сетей.Аннотация
Задача построения генеративных моделей, которые в настоящее время находят все больше применений для обработки различных типов данных, может быть поставлена как задача нахождения оптимального транспортного отображения. Одним из основных подходов для нахождения такого отображения является метод на основе минимаксного решателя для двойственной формулировки задачи оптимального транспорта. На практике нахождение решения проводится в предположении конечного объема выборки, соответственно, требуется оценка обобщающей способности такого решения в зависимости от свойств функционального класса, используемого для моделирования отображения, и свойств распределения данных. В докладе впервые будут приведены оценки обобщающей способности такого рода. - Сун Чжэ
Реферат: A Remark on Strong Law of Large Numbers for Weighted U-Statistics. Hyung-Tae HA, Mei Ling HUANG, De Li LI. Acta Mathematica Sinica, English Series 2014, Vol. 30, No. 9, pp. 1595–160.
- Планирование расписания рефератов на семестр и определение последовательности их представления.
Архив семинара
Ирина Геннадьевна Шевцова
О точности нормальной аппроксимации для распределений сумм независимых случайных величин.
Аннотация
В докладе будут представлены разнообразные оценки скорости сходимости в центральной предельной теореме для сумм независимых случайных величин, изучается точность этих оценок. Рассматривается также схема суммирования с пуассоновским числом слагаемых, независимым от самих слагаемых, и описываются новейшие результаты в этой области.- Шахзод Файзуллаев
Асимптотика числа различных слов в модели, управляемой цепью Маркова.
Аннотация
Рассматриваются модели появления различных слов, управляемые конечной цепью Маркова с бесконечными урновыми схемами. Изучается предельное поведение процессов и влияние стационарных вероятностей на их нормализацию.
- Александр Резлер
Метод пробных функций для нахождения оценок скорости сходимости однородных цепей Маркова к инвариантному распределению.
Аннотация
Критерий Фостера является удобным инструментом для доказательства положительной возвратности однородной марковской цепи. Его суть заключается в определении такой пробной функции $L(x)$, что математическое ожидание ее приращения за один шаг от элементов цепи отрицательно вне некоторого множества и ограничено внутри него. В работах С. Г. Фосса было доказано обобщение критерия на многошаговый случай.
Впрочем, при использовании критерия Фостера для исследования эргодичности марковской цепи, остается открытым вопрос о связи свойств распределения приращения $L$ и скорости сходимости цепи к инвариантному распределению. Как известно, последняя зависит от свойств распределения момента возвращения цепи в положительно возвратное множество.
В докладе будут приведены теоретические результаты метода пробных функций на случай растущих и, более того, случайных шагов, а также примеры, где полученные результаты удалось применить.
- Александр Храмов
Доклад магистранта по результатам первого года обучения.Аннотация
Рассматривается многомерный случайный процесс в непрерывном времени, задающий динамику потенциалов одного возбудительного и нескольких ингибиторных нейронов. В бакалаврской работе удалось доказать положительную возвратность для этого процесса в случае, когда в системе один возбудитель и один ингибитор. В курсовой работе с использованием метода жидкостной аппроксимации положительная возвратность была доказана для случая одного возбудителя и двух ингибиторов. Из-за сложности использования этого метода для больших размерностей произошла смена тематики на случайные блуждания со сносом при первом посещении вершины. - Елизавета Булгакова
Стохастические градиентные методы в задачах дообучения больших языковых моделей.Аннотация
Обсудим тематику дообучения больших языковых моделей и какие фундаментальные результаты планируется получить для одной модели RAC-LORA. - Сун Чжэ
Доклад магистранта по результатам первого года обучения.
Артем Васильевич Логачев
Уточненный принцип больших уклонений для ломаных построенных по уммам независимых случайных величин.
Аннотация
Доклад посвящен принципу больших уклонений для траекторий ломаных построенных по суммам независимых случайных величин заданных в пространстве гельдеровских функций с гельдеровской метрикой. В частности, будут указаны простые условия на моменты случайных величин, при которых удается получить такого рода теоремы. Результат уточняет хорошо известные ранее результаты, связанные с принципом больших уклонений для траекторий таких ломаных заданных в пространстве непрерывных функций с равномерной метрикой.- Дудукалов Д. В.
Стохастическая динамика вблизи критических точек в стохастическом градиентном спуске.Аннотация
Доклад посвящен предельным теоремам в аддитивном стохастическом градиентном спуске при стремлении шага к нулю. Будут выделены условия, при которых будет сходимость (п.н. или по вероятности) к ближайшему в направлении антиградиента минимуму функции, а также условия, когда такой сходимости не будет. Также будет рассказано о стохастической динамике в случае старта градиентного спуска из окрестности негладкого максимума. - Ефремов Е. В.
Закон повторного логарифма в форме Штрассена для винеровского процесса заданного на полуоси.Аннотация
Для винеровского процесса, заданного на полуоси, получен закон повторного логарифма в форме Штрассена относительно взвешенной sup-метрики с весовой функцией $1/(1 + t^{\alpha})$, где $\alpha > 1/2$. Результат является неулучшаемым в классе степенных весовых функций.
Александр Кунгурцев
Реферат статьи: Pinelis, I. Monotonicity properties of the Poisson approximation to the binomial distribution. Statistics and Probability Letters 167, 108901 (2020).
Аннотация
В работе установлены некоторые свойства монотонности аппроксимации биномиального распределения распределением Пуассона. Представлены точные критерии проверки гипотез о неизвестном значении параметра $p$ биномиального распределения.Мусагали Калмуханов
Реферат статьи: Andrea Ottolini, Raghavendra Tripathi. "Central limit theorem in complete feedback games". J. Appl. Probab. 61, 654-666 (2024).
Аннотация
В работе исследуется центральная предельная теорема в задаче угадывания карт в игре с полной обратной связью. Рассматриваются оценки Берри–Эссена в случае, когда количество повторений каждого типа карты $m$ фиксировано, а число типов $n$ стремится к бесконечности. Полученные результаты также распространяются на более общий случай, когда различные типы карт могут иметь неодинаковую кратность при выполнении определённых условий.Елизавета Булгакова
Реферат статей:
1. LoRA: Low-Rank Adaptation of Large Language Models, Hu et al., ICLR 2022
2. Flora: Low-Rank Adapters Are Secretly Gradient Compressors, Hao et al., 2024, ICML.
Аннотация
В данном докладе рассматриваются две научные работы, посвящённые алгоритмам адаптивной оптимизации. В первой статье представлен алгоритм LoRA (Low-Rank Adaptation), эффективный метод тонкой настройки больших языковых моделей с помощью низкоранговых матричных разложений, значительно снижающий вычислительные затраты. Во второй статье исследуется теоретико-вероятностная основа LoRA, и предлагается его модификация — FLORA.Информация о семинаре
Руководитель:
Лотов В. И.
Время и место проведения:
Четверг, 10.00 ч., ауд. 417
