- Александр Храмов
Доклад магистранта по результатам первого года обучения.Аннотация
Рассматривается многомерный случайный процесс в непрерывном времени, задающий динамику потенциалов одного возбудительного и нескольких ингибиторных нейронов. В бакалаврской работе удалось доказать положительную возвратность для этого процесса в случае, когда в системе один возбудитель и один ингибитор. В курсовой работе с использованием метода жидкостной аппроксимации положительная возвратность была доказана для случая одного возбудителя и двух ингибиторов. Из-за сложности использования этого метода для больших размерностей произошла смена тематики на случайные блуждания со сносом при первом посещении вершины. - Елизавета Булгакова
Стохастические градиентные методы в задачах дообучения больших языковых моделей.Аннотация
Обсудим тематику дообучения больших языковых моделей и какие фундаментальные результаты планируется получить для одной модели RAC-LORA. - Сун Чжэ
Доклад магистранта по результатам первого года обучения.
Архив семинара
Артем Васильевич Логачев
Уточненный принцип больших уклонений для ломаных построенных по уммам независимых случайных величин.
Аннотация
Доклад посвящен принципу больших уклонений для траекторий ломаных построенных по суммам независимых случайных величин заданных в пространстве гельдеровских функций с гельдеровской метрикой. В частности, будут указаны простые условия на моменты случайных величин, при которых удается получить такого рода теоремы. Результат уточняет хорошо известные ранее результаты, связанные с принципом больших уклонений для траекторий таких ломаных заданных в пространстве непрерывных функций с равномерной метрикой.- Дудукалов Д. В.
Стохастическая динамика вблизи критических точек в стохастическом градиентном спуске.Аннотация
Доклад посвящен предельным теоремам в аддитивном стохастическом градиентном спуске при стремлении шага к нулю. Будут выделены условия, при которых будет сходимость (п.н. или по вероятности) к ближайшему в направлении антиградиента минимуму функции, а также условия, когда такой сходимости не будет. Также будет рассказано о стохастической динамике в случае старта градиентного спуска из окрестности негладкого максимума. - Ефремов Е. В.
Закон повторного логарифма в форме Штрассена для винеровского процесса заданного на полуоси.Аннотация
Для винеровского процесса, заданного на полуоси, получен закон повторного логарифма в форме Штрассена относительно взвешенной sup-метрики с весовой функцией $1/(1 + t^{\alpha})$, где $\alpha > 1/2$. Результат является неулучшаемым в классе степенных весовых функций.
Александр Кунгурцев
Реферат статьи: Pinelis, I. Monotonicity properties of the Poisson approximation to the binomial distribution. Statistics and Probability Letters 167, 108901 (2020).
Аннотация
В работе установлены некоторые свойства монотонности аппроксимации биномиального распределения распределением Пуассона. Представлены точные критерии проверки гипотез о неизвестном значении параметра $p$ биномиального распределения.Мусагали Калмуханов
Реферат статьи: Andrea Ottolini, Raghavendra Tripathi. "Central limit theorem in complete feedback games". J. Appl. Probab. 61, 654-666 (2024).
Аннотация
В работе исследуется центральная предельная теорема в задаче угадывания карт в игре с полной обратной связью. Рассматриваются оценки Берри–Эссена в случае, когда количество повторений каждого типа карты $m$ фиксировано, а число типов $n$ стремится к бесконечности. Полученные результаты также распространяются на более общий случай, когда различные типы карт могут иметь неодинаковую кратность при выполнении определённых условий.Елизавета Булгакова
Реферат статей:
1. LoRA: Low-Rank Adaptation of Large Language Models, Hu et al., ICLR 2022
2. Flora: Low-Rank Adapters Are Secretly Gradient Compressors, Hao et al., 2024, ICML.
Аннотация
В данном докладе рассматриваются две научные работы, посвящённые алгоритмам адаптивной оптимизации. В первой статье представлен алгоритм LoRA (Low-Rank Adaptation), эффективный метод тонкой настройки больших языковых моделей с помощью низкоранговых матричных разложений, значительно снижающий вычислительные затраты. Во второй статье исследуется теоретико-вероятностная основа LoRA, и предлагается его модификация — FLORA.Элеонора Сатниязова
Реферат статьи: Kenneth S. Alexander "Probability inequalities for empirical processes and a law of the iterated logarithm" // The Annals of Probability, 1984, Vol. 12, No. 4, 1041-1067.
Аннотация
В статье исследуются вероятностные неравенства для закона повторного логарифма и эмпирических процессов, связанных с VC-классами функций. Основное внимание уделяется оценкам вероятностей больших уклонений нормированных эмпирических процессов. Доказана теорема, дающая экспоненциальные границы для вероятности того, что супремум эмпирического процесса превысит заданный порог, зависящий от параметров VC-класса. Полученные результаты также включают следствия для частных случаев, таких как классы множеств с ограниченным VC-индексом.- Кун Тао сделает реферат статьи Petrov, V. V. On the Strong Law of Large Numbers for a Sequence of Dependent Random Variables. J Math Sci 199, 225–227 (2014).
Аннотация
Найдены новые достаточные условия применимости усиленного закона больших чисел к последовательности случайных величин без предположений о независимости или неотрицательности.
- Ван Нань сделает реферат статьи Banu Baydil, Victor H. de la Peña, Haolin Zou, Heyuan Yao. Unbiased estimation of the Gini coefficient. Stat&Prob Letters, 2025.
Аннотация
Показано, что выборочный коэффициент Джини является несмещенной оценкой популяционного коэффициента Джини для популяции, имеющей гамма-распределение.
- Роман Ишков сделает реферат статьи "Regeneration in Markov Chain Samplers", Per Mykland, Luke Tierney and Bin Yu, Journal of the American Statistical Association, Vol. 90, No. 429 (Mar., 1995), pp. 233-241.
Аннотация
В работе рассматривается метод анализа марковских цепей Монте-Карло, позволяющий упростить их исследование с помощью времён регенерации. Освещается использование регенерации для анализа недискретных марковских цепей и то, как этот подход применяется в различных самплерах.
- Константин Ключевской
Реферат статьи: "The density ratio of Poisson binomial versus Poisson distributions", Lutz Dümbgen, Jon A. Wellner, Statistics and Probability Letters (2020).Аннотация
В работе рассматривается связь пуассоновского биномиального и пуассоновского распределений. В рамках доклада будут упомянуты теоремы, дающие оценки для супремума отношения соответствующих функций вероятностей.
- Александр Тарасенко
Реферат статьи: Avellaneda, M., & Stoikov, S. (2008). High-frequency trading in a limit order book. Quantitative Finance, 8(3), 217-224.Аннотация
На выступлении будет разобрана задача поиска оптимальных уровней котирования в модели биржевого стакана и подход к ее решению. Также будет дано интуитивное понимание решения и показана связь с решением похожей задачи для «ленивого» трейдера.
Информация о семинаре
Руководитель:
Лотов В. И.
Время и место проведения:
Четверг, 10.00 ч., ауд. 417
