KO | EN

GitLite

Minimalist Open Source Repository Search Engine

gitlite — search

#dsh #dsh-plugin #ai-agent #developer-tools #codex #typescript #cli #deepseek-harness #claude-code #ai-agents #mcp #rust

OPTIMIZATION-METHODS-COURSE

★ 54 Open GitHub ↗

Методы оптимизации в ML

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Методы оптимизации

**МФТИ ПМИ | Осенний семестр 2025**

---

## Полезные материалы

- [Правила игры](Правила%20игры.pdf)
- [Программа](Программа.pdf)
- [Программа коллоквиума](Программа%20коллоквиума.pdf) 
- [Результаты](https://docs.google.com/spreadsheets/d/1TvIfuNutsYTcC5hMgOe5YvgQTzBG4KkbjbxNJWObaYU/edit?usp=sharing)
- [Пособие](Пособие.pdf)
- [Демо вариант](Демо%20вариант/ДемоВариант.pdf)
- [Решения демо варианта](Демо%20вариант/РЕШЕНИЯ_ДемоВариант.pdf)

---

## Лекционные материалы

| Неделя | Тема | Материал | YouTube | RuTube |
|--------|------|----------|---------|----|
| 1 | Основные понятия | [Лекция](Лекции/Лекция%201/Заметки%20Лекция%201.pdf) [Конспект](Лекции/Лекция%201/Лекция%201.pdf) | [Запись](https://www.youtube.com/watch?v=92eGkhs1UaU&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH) | [Запись](https://rutube.ru/video/d1c9bd020fb8d051e1f90c99f8d755a3/?playlist=1707453) |
| 2 | Условия оптимальности. Выпуклость и гладкость | [Лекция](Лекции/Лекция%202/Заметки%20Лекция%202.pdf) [Конспект](Лекции/Лекция%202/Лекция%202.pdf) | [Запись](https://www.youtube.com/watch?v=AedXH6qdtdQ&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=2)| [Запись](https://rutube.ru/video/908e31156bc2295cd3fc7cf88da4404c/?playlist=1707453) |
| 3 | Градиентный спуск | [Лекция](Лекции/Лекция%203/Заметки%20Лекция%203.pdf) [Конспект](Лекции/Лекция%203/Лекция%203.pdf) | [Запись](https://www.youtube.com/watch?v=6dX7CBak_jQ&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=3) | [Запись](https://rutube.ru/video/ce17d540879b4762f253a8f327a688dc/?playlist=1707453) |
| 4 | Ускоренные и оптимальные методы | [Лекция](Лекции/Лекция%204/Заметки%20Лекция%204.pdf) [Конспект](Лекции/Лекция%204/Лекция%204.pdf) | [Запись](https://www.youtube.com/watch?v=FdracfYYH2Q&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=4) | [Запись](https://rutube.ru/video/c765a230f23096fc6bc6044615ba002b/?playlist=1707453) | 
| 5 | Стохастический градиентный спуск | [Лекция](Лекции/Лекция%205/Заметки%20Лекция%205.pdf) [Конспект](Лекции/Лекция%205/Лекция%205.pdf) | [Запись](https://www.youtube.com/watch?v=YPPvVNYiRYc&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=5) | [Запись](https://rutube.ru/video/90e8348f72c9977fc1600c14187d7868/?playlist=1707453) |
| 6 | Метод сопряжённых градиентов | [Лекция](Лекции/Лекция%206/Заметки%20Лекция%206.pdf) [Конспект](Лекции/Лекция%206/Лекция%206.pdf) | [Запись](https://www.youtube.com/watch?v=8smEBkw2q54&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=6) | [Запись](https://rutube.ru/video/6cf3f777001efb6457e0461055881dd7/?playlist=1707453) |
| 7 | Метод Ньютона. Квазиньютоновские методы | [Лекция](Лекции/Лекция%207/Заметки%20Лекция%207.pdf) [Конспект](Лекции/Лекция%207/Лекция%207.pdf) | [Запись](https://www.youtube.com/watch?v=c07cJe8_CqI&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=7) | [Запись](https://rutube.ru/video/7e2546c28c4386e7d7c80c72ec751f70/?playlist=1707453) |
| 8 | Негладкая оптимизация. Адаптивные методы | [Лекция](Лекции/Лекция%208/Заметки%20Лекция%208.pdf) [Конспект](Лекции/Лекция%208/Лекция%208.pdf) | [Запись](https://www.youtube.com/watch?v=b6kiQqhXJfI&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=8) | [Запись](https://rutube.ru/video/7b960bd026299087826d164f5ec2283b/?playlist=1707453) |
| 9 | Градиентный спуск с проекцией. Алгоритм Франк—Вульфа | [Лекция](Лекции/Лекция%209/Заметки%20Лекция%209.pdf) [Конспект](Лекции/Лекция%209/Лекция%209.pdf) | [Запись](https://www.youtube.com/watch?v=gvDIPGtd3is&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=9) | [Запись](https://rutube.ru/video/54278cb9a34b82552dac242e5969a167/?playlist=1707453) |
| 10 | Метод зеркального спуска | [Лекция](Лекции/Лекция%2010/Заметки%20Лекция%2010.pdf) [Конспект](Лекции/Лекция%2010/Лекция%2010.pdf) | [Запись](https://www.youtube.com/watch?v=4D5n7eo4SnA&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=10) | [Запись](https://rutube.ru/video/1e683cd44b07458ff38f880ddc56beb8/?playlist=1707453) |
| 11 | Метод штрафных функций. ADMM | [Лекция](Лекции/Лекция%2011/Заметки%20Лекция%2011.pdf) [Конспект](Лекции/Лекция%2011/Лекция%2011.pdf) | [Запись](https://www.youtube.com/watch?v=cLmNOTXvNRk&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=11) | [Запись](https://rutube.ru/video/55c0492e5373935da9ccf91a28a37ab7/?playlist=1707453) |
| 12 | Метод внутренней точки | [Лекция](Лекции/Лекция%2012/Заметки%20Лекция%2012.pdf) [Конспект](Лекции/Лекция%2012/Лекция%2012.pdf) | [Запись](https://www.youtube.com/watch?v=SUJ1bE_fY60&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=12) | [Запись](https://rutube.ru/video/9cd530c97eab7d49d13e2a16e2c3e8b9/?playlist=1707453) |
| 13 | Седловые задачи | [Лекция](Лекции/Лекция%2013/Заметки%20Лекция%2013.pdf) [Конспект](Лекции/Лекция%2013/Лекция%2013.pdf) | [Запись](https://www.youtube.com/watch?v=Duf18kUs8U0&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=13) | [Запись](https://rutube.ru/video/782f8271fc6d5b4603f93cfe00aa8d71/?playlist=1707453) |
| 14 | Методы редукции дисперсии | [Лекция](Лекции/Лекция%2014/Заметки%20Лекция%2014.pdf) [Конспект](Лекции/Лекция%2014/Лекция%2014.pdf) | [Запись](https://www.youtube.com/watch?v=1bXt80KYutA&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=14) | [Запись](https://rutube.ru/video/61a1167757b44db6b4802ac96ceaaf66/?playlist=1707453) |
| 15 | Координатный спуск | [Лекция](Лекции/Лекция%2015/Заметки%20Лекция%2015.pdf) [Конспект](Лекции/Лекция%2015/Лекция%2015.pdf) | [Запись](https://www.youtube.com/watch?v=nDGn8zX5c2o&list=PLUPiJfRFZJSakfMgcn_XyLQlBRJBkRRpH&index=15) | [Запись](https://rutube.ru/video/7936153c2a19e715b0fe8c7511b6a59b/?playlist=1707453) |

---

## Семинарские занятия

| Номер | Тема | Материал |
|-------|------|----------|
| 1     | Пререквизиты из линейной алгебры | [Конспект](Семинары/Семинар%201/Семинар%201.pdf) |
| 2 - 3 | Матрично-векторное дифференцирование. Теория | [Конспект](Семинары/Семинар%202-3/Семинар%202-3.pdf) |
| 4     | Матрично-векторное дифференцирование. Практика | [NoteBook](Семинары/Семинар%204/Семинар%204.ipynb) | 
| 5     | Классы множеств | [Конспект](Семинары/Семинар%205/Семинар%205.pdf) |
| 6     | Выпуклые функции | [Конспект](Семинары/Семинар%206/Семинар%206.pdf) |
| 7     | Субдифференциал и субградиент | [Конспект](Семинары/Семинар%207/Семинар%207.pdf) |
| 8     | Сопряжённые функции Фенхеля | [Конспект](Семинары/Семинар%208/Семинар%208.pdf) |
| 9     | Двойственность по Лагранжу | [Конспект](Семинары/Семинар%209/Семинар%209.pdf) |
| 10    | Условия оптимальности Каруша—Куна—Таккера | [Конспект](Семинары/Семинар%2010/Семинар%2010.pdf) |
| 11    | Классисческие виды оптимизационных задач | [Конспект](Семинары/Семинар%2011/Семинар%2011.pdf) |
| 12    | Сопряжённые конусы | [Конспект](Семинары/Семинар%2012/Семинар%2012.pdf) |
| 13    | Cvxpy и Scipy | [NoteBook](Семинары/Семинар%2013/Семинар%2013.ipynb) | 
| 14    | Семинар по выбору | [Выбор](Семинары/Семинар%2014/Семинар%20по%20выбору.pdf) |
| 15    | Коллоквиум | [Программа](Программа%20коллоквиума.pdf) |

---

## Домашние задания

| Номер | Дата выдачи | Дедлайн         | Тема                                                                 | Материал |
|-------|-------------|-----------------|----------------------------------------------------------------------|----------|
| 1     | 04.09.2025  | 18.09.2025      | Основные понятия                                                     | [Задание](Домашние%20задания/Домашнее%20задание%201/ОдномернаяОптимизация.ipynb) |
| 2     | 18.09.2025  | 02.10.2025      | Градиентный спуск                                                    | [Задание](Домашние%20задания/Домашнее%20задание%202/ГрадиентныйСпуск.ipynb) |
| 3     | 18.09.2025  | 02.10.2025      | Матрично-векторное дифференцирование. Теория                         | [Задание](Домашние%20задания/Домашнее%20задание%203/МатричноВекторноеДифференцирование.pdf) |
| 4     | 25.09.2025  | 09.10.2025      | Ускоренные и оптимальные методы                                      | [Задание](Домашние%20задания/Домашнее%20задание%204/УскоренныеОптимальныеМетоды.ipynb) |
| 5     | 25.09.2025  | 09.10.2025      | Матрично-векторное дифференцирование. Практика                       | [Задание](Домашние%20задания/Домашнее%20задание%205/МатричноВекторноеДифференцирование.ipynb) |
| 6     | 02.10.2025  | 16.10.2025      | Стохастический градиентный спуск                                     | [Задание](Домашние%20задания/Домашнее%20задание%206/СтохастическийГрадиентныйСпуск.ipynb) |
| 7     | 02.10.2025  | 16.10.2025      | Классы множеств                                                      | [Задание](Домашние%20задания/Домашнее%20задание%207/КлассыМножеств.pdf) |
| 8     | 09.10.2025  | 23.10.2025      | Метод сопряжённых градиентов                                         | [Задание](Домашние%20задания/Домашнее%20задание%208/МетодСопряженныхГрадиентов.ipynb) |
| 9     | 09.10.2025  | 23.10.2025      | Выпуклые функции                                                     | [Задание](Домашние%20задания/Домашнее%20задание%209/ВыпуклыеФункции.pdf) |
| 10    | 16.10.2025  | 30.10.2025      | Метод Ньютона. Квазиньютоновские методы                              | [Задание](Домашние%20задания/Домашнее%20задание%2010/МетодНьютона.ipynb) |
| 11    | 16.10.2025  | 30.10.2025      | Субдифференциал и субградиент                                        | [Задание](Домашние%20задания/Домашнее%20задание%2011/СубдиффСубград.pdf) |
| 12    | 23.10.2025  | 06.11.2025      | Негладкая оптимизация. Адаптивные методы                             | [Задание](Домашние%20задания/Домашнее%20задание%2012/АдаптивныеМетоды.ipynb) |
| 13    | 23.10.2025  | 06.11.2025      | Сопряжённые функции Фенхеля                                          | [Задание](Домашние%20задания/Домашнее%20задание%2013/СопряженныеФункции.pdf) |
| 14    | 30.10.2025  | 13.11.2025      | Градиентный спуск с проекцией. Алгоритм Франк-Вульфа                 | [Задание](Домашние%20задания/Домашнее%20задание%2014/АлгоритмФранкВульфа.ipynb) |
| 15    | 30.10.2025  | 13.11.2025      | Двойственность по Лагранжу                                           | [Задание](Домашние%20задания/Домашнее%20задание%2015/ДвойственностьЛагранжа.pdf)|
| 16    | 06.11.2025  | 20.11.2025      | Метод зеркального спуска                                             | [Задание](Домашние%20задания/Домашнее%20задание%2016/ЗеркальныйСпуск.ipynb) |
| 17    | 06.11.2025  | 20.11.2025      | Условия оптимальности Каруша—Куна—Таккера                            | [Задание](Домашние%20задания/Домашнее%20задание%2017/ТеоремаККТ.pdf) |
| 18    | 13.11.2025  | 27.11.2025      | Метод штрафных функций. ADMM                                         | [Задание](Домашние%20задания/Домашнее%20задание%2018/МетодШтрафовADMM.ipynb) |
| 19    | 20.11.2025  | 04.12.2025      | Сопряжённые конусы                                                   | [Задание](Домашние%20задания/Домашнее%20задание%2019/СопряженныеКонусы.pdf) |
| 20    | 27.11.2025  | 11.12.2025      | Седловые задачи                                                      | [Задание](Домашние%20задания/Домашнее%20задание%2020/СедловыеЗадачи.ipynb) |
| 21    | 27.11.2025  | 11.12.2025      | Cvxpy и Scipy                                                        | [Задание](Домашние%20задания/Домашнее%20задание%2021/CvxpyScipy.ipynb) |

---

## Семинары по выбору

| Тема | Докладчики | Запись |
|------|------------|--------|
| Защита от атак на нейронные сети с помощью пробной функции и доверительных весов | Глеб Молодцов Даниил Медяков | [Запись](https://disk.yandex.ru/i/yr0-Tu8qJ3SUEQ) |
| Оптимизация на пространстве распределений | Александр Шестаков | [Запись](https://disk.yandex.ru/i/5aitbvDHE556WQ) |
| Обобщенная гладкость: определение, сложности исследования, механизмы для анализов | Савелий Чежегов | [Запись](https://disk.yandex.ru/i/_vNBNY7ZGgKDHg) |
| Методы римановой оптимизации на многообразиях матриц и тензоров | Моложавенко Александр | [Запись](https://disk.yandex.ru/i/_hWcca7D5ankEA) |
| Использование похожести в распределенной оптимизации | Былинкин Дмитрий | [Запись](https://disk.yandex.ru/i/nqv5WkmfjvUQRQ) |
| Стохастический градиентный спуск как стохастический процесс: базовые принципы и новые идеи | Игнашин Игорь | [Запись](https://disk.yandex.ru/i/vk42-_M-ItrEuQ) |

---

## Составители курса

| ФИ | Роль |
|----|------|
| Александр Безносиков | Академический руководитель |
| Александр Богданов | Технический руководитель |
| Фанис Хафизов | Материал лекций в пособии |
| Дмитрий Былинкин | Материал семинаров в пособии |
| Наиль Баширов | Практические домашние задания |
| Борис Прохоров | Теоретические домашние задания |
| Алексей Ребриков | Оформление пособия |
| Григорий Давыденко | Помогает во всем |

OPTIMIZATION-METHODS-COURSE

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README