- Регистрация
- 26.05.2022
- Сообщения
- 26 732
- Реакции
- 160
- Баллы
- 63
Продвинутые методы машинного обучения [2021]
МФТИ (ФПМИ МФТИ Физтех-школа прикладной математики и информатики)
Олег Ивченко
Программа профессиональной переподготовки.
Программа профессиональной переподготовке включает три курса:
1. Анализ изображений
2. Анализ текстов
3. Машинное обучение на больших объемах данных.
Содержание
Блок 1 - Анализ изображений
Модуль 1 - Введение в анализ изображений. Основы обработки изображений
1.1. Введение в анализ изображений.
Задачи компьютерного зрения – метрическое и семантическое зрение.
Возникающие трудности и визуальные подсказки.
Примеры современных систем и алгоритмов компьютерного зрения.
Устройство камеры и оптической системы человека.
Модели цвета.
1.2 Основы обработки изображений (часть 1)
Основные задачи обработки изображений.
Цветокоррекция изображений. Гистограммы, линейная и нелинейная коррекции яркости. Модели камеры и цветокоррекции.
Виды шума. Операция свертки. Фильтр гаусса, медианный фильтр, повышение резкости. Выравнивание освещенности – алгоритм Retinex. Метрика PSNR.
Выделение краев, алгоритм Canny.
1.3. Основы обработки изображений (часть 2)
Частотное представление изображений, частотная фильтрация изображений, алгоритм JPEG. Простая сегментация изображений - бинаризация, выделение связанных компонент, математическая морфология.
Понятие текстуры.
Эвристические методы распознавания с помощью признаков сегментов.
Модуль 2 - Выделение базовых объектов на изображениях. Геометрические модели сопоставления изображений
2.1. Локальные особенности изображений
Задача сопоставления изображений. Понятие локальной особенности.
Детекторы Харриса, LoG, DOG, Harris-Laplacian.
Сопоставление особенностей по дескрипторам - метод SIFT, аффинная адаптация.
2.2. Оценка параметров моделей
Задачи оценки параметров геометрических моделей.
DLT-метод для линий и преобразований.
Робастные алгоритмы - М-оценки, стохастические алгоритмы, схемы голосования. Применение для построения панорам и поиска объектов.
Модуль 3 - Основы машинного обучения. Обнаружение объектов
3.1. Категоризация изображений
Понятие категории.
Распознавание категорий человеком.
Общая схема категоризации изображений. Признаки. Гистограммы признаков, пирамиды. Визуальные слова и мешок слов.
3.2. Выделение категорий на изображениях
Задача выделения категорий объектов на изображении. Скользящее окно. Применение мешка слов для выделения объектов.
Метод HOG + SVM, размножение выборки и бутстраппинг.
Методы на основе слабых классификаторов. Алгоритм поиска лиц Viola-Jones, признаки Хоара, интегральные изображения.
Пути развития детекторов и современное состояние
3.3. Поиск изображений по содержанию
Варианты постановки задачи - поиск полудубликатов, поиск похожих, поиск по классам. Поиск на основе цветовых гистограмм (QBIC).
Дескриптор GIST.
Поиск полудубликатов - приближенные методы ближайшего соседа, инвертированный индекс, хэширование.
Поиск на основе Мешка слов, обратный индекс, использование пространственной информации для повышения точности.
Модуль 4 - Нейросетевые подходы к анализу изображений. Основные задачи и алгоритмы
4.1. Интернет-зрение
Большие коллекции изображений и методы их составления.
Дополнение изображений (Image completion) с помощью больших коллекций. Классификация изображений с помощью больших коллекций.
Фотоколлажи. Shape context. Объектные фильтры.
4.2.. Оптический поток и вычитание фона
Введение в обработку и анализ видео.
Понятие оптического потока. Глобальные и локальные (Lucas-Kanade) методы оценки оптического потока.
Вычитание фона (BS - background subtraction). Алгоритмы BS: одна гауссиана, смесь гауссиан, поблочные методы, объединение локальных и глобальных цветовых моделей.
4.3. Сопровождение объектов и распознавание событий в видео
Задача сопровождения объектов в видео, постановки, критерии качества и проблемы.
Сопровождение одного объекта - сопоставления шаблонов, на основе Chamfer-метрики, MeanShift, Flock of features, комбинации методов.
Сопровождение множества объектов - сопровождение через сопоставление.
Распознавание событий в видео, тестовые базы, автоматическая разметка видео. Методы распознавания - дескрипторы на основе оптического потока, локальные особенности, классификация, прицеливание.
4.4. Компьютерное зрение реального времени
Алгоритмы дополненной реальности, требования к ним.
Решающий лес как один из базовых методов для дополненной реальности.
Регистрация изображений в реальном времени.
Система Kinect и оценка позы человека в реальном времени.
Блок 2 - Анализ текстов
Модуль 1
Intro to NLP
Модуль 2
Lecture: Word embeddings
Distributional semantics. Count-based (pre-neural) methods. Word2Vec: learn vectors. GloVe: count, then learn. N-gram (collocations) RusVectores. t-SNE.
Practical: word2vec, fasttext
Модуль 3
Lecture: RNN + CNN, Text classification
Neural Language Models: Recurrent Models, Convolutional Models. Text classification (architectures)
Practical: Classification with LSTM, CNN
Модуль 4
Lecture: Language modelling and NER
Task description, methods (Markov Model, RNNs), evaluation (perplexity), Sequence Labelling (NER, pos-tagging, chunking etc.) N-gram language models, HMM, MEMM, CRF
Practical: NER
Модуль 5
Lecture: Machine translation, Seq2seq, Attention, Transformers
Basics: Encoder-Decoder framework, Inference (e.g., beam search), Eval (bleu). Attention: general, score functions, models. Bahdanau and Luong models. Transformer: self-attention, masked self-attention, multi-head attention.
Модуль 6
Lecture: Transfer learning in NLP
Bertology (BERT, GPT-s, t5, etc.), Subword Segmentation (BPE), Evaluation of big LMs.
Practical: transformers models for classification task,
Practical: Transfer learning
Модуль 7
Lecture & Practical: How to train big models? Part1. Distributed training, Part2. RuGPT3 Training
Training Multi-Billion Parameter Language Models. Model Parallelism. Data Parallelism.
Practical: DDP example
Модуль 8
Lecture: Syntax parsing
Practical: Syntax
Модуль 9
Lecture: Question answering
Practical: seminar QA, seminar chatbots
Squads (one-hop, multi-hop), architectures, retrieval and search, chat-bots
Модуль 10
Lecture: Summarization, simplification, paraphrasing
Practical: summarization seminar
Модуль 11
Lecture: Knowledge Distillation in NLP
Блок 3 - Машинное обучение на больших объемах данных
Модуль 1 - Методы оптимизации и линейные модели
Машинное обучение с учителем на больших данных.
Закон Ципфа.
Тематическое моделирование.
Метод стохастического градиента.
Постановка задачи.
Оптимизации обучения на больших данных: градиентный спуск, стохастический градиент.
Признаки.
Пространства признаков, веса признаков, нормализация признаков.
Генерация и хеширование признаков.
Онлайн обучение линейных моделей.
Метод стохастического градиента: выбор функции потерь.
Оценка качества метода стохастического градиента.
Алгоритм Бутстрап.
Хеширование, чувствительное к расстоянию (LSH).
Меры сходства: расстояние Жаккара, Хемминга, косинусное расстояние, Евклидово расстояние.
Оптимизация и тестирование гиперпараметров.
Симплекс-метод.
Модуль 2 - Алгоритмы работы с графами большого размера
Графы, их виды.
Стохастический граф.
Представление графа: матрицы смежности, инцидентности, достижимости.
Списки смежности.
Алгоритмы перевода из одного представления в другое.
Социальный граф.
Задача поиска общих друзей в социальном графе.
Язык DSL.
Граф пользовательских предпочтений.
Использование подхода BigData в анализе графов.
Модуль 3 - Информационный поиск
Постановка ранжирования.
Основные подходы к решению задачи ранжирования.
Метрики измерения точности ранжирования.
Кликовые модели.
Тематическое моделирование и его связь с ранжированием.
Проблемы тематического моделирования при больших данных.
AD-LDA, его недостатки, Y!LDA, Mr. LDA. ARTM.
Архитектура библиотеки BigARTM.
Online LDA и его применение в Vowpal Wabbit.
Модуль 4 - Рекомендательные системы
Рекомендательные системы, постановка задачи предсказания / рекомендации.
Классификация рекомендательных систем.
Неперсонализированные рекомендательные системы, content-based рекомендательные системы.
Задачи коллаборативной фильтрации, транзакционные данные и матрица субъекты—объекты.
Корреляционные методы, методы сходства (neighbourhood) - user-based, item-based.
Латентные методы на основе матричных разложений.
Методы ALS и iALS.
Современные рекомендательные системы: рекомендательные системы, основанные на учете контекста (context aware), аспектные рекомендательные системы (aspect-aware), рекомендательные системы на основе тензорных разложений.
Продажник
МФТИ (ФПМИ МФТИ Физтех-школа прикладной математики и информатики)
Олег Ивченко
Программа профессиональной переподготовки.
Программа профессиональной переподготовке включает три курса:
1. Анализ изображений
2. Анализ текстов
3. Машинное обучение на больших объемах данных.
Содержание
Блок 1 - Анализ изображений
Модуль 1 - Введение в анализ изображений. Основы обработки изображений
1.1. Введение в анализ изображений.
Задачи компьютерного зрения – метрическое и семантическое зрение.
Возникающие трудности и визуальные подсказки.
Примеры современных систем и алгоритмов компьютерного зрения.
Устройство камеры и оптической системы человека.
Модели цвета.
1.2 Основы обработки изображений (часть 1)
Основные задачи обработки изображений.
Цветокоррекция изображений. Гистограммы, линейная и нелинейная коррекции яркости. Модели камеры и цветокоррекции.
Виды шума. Операция свертки. Фильтр гаусса, медианный фильтр, повышение резкости. Выравнивание освещенности – алгоритм Retinex. Метрика PSNR.
Выделение краев, алгоритм Canny.
1.3. Основы обработки изображений (часть 2)
Частотное представление изображений, частотная фильтрация изображений, алгоритм JPEG. Простая сегментация изображений - бинаризация, выделение связанных компонент, математическая морфология.
Понятие текстуры.
Эвристические методы распознавания с помощью признаков сегментов.
Модуль 2 - Выделение базовых объектов на изображениях. Геометрические модели сопоставления изображений
2.1. Локальные особенности изображений
Задача сопоставления изображений. Понятие локальной особенности.
Детекторы Харриса, LoG, DOG, Harris-Laplacian.
Сопоставление особенностей по дескрипторам - метод SIFT, аффинная адаптация.
2.2. Оценка параметров моделей
Задачи оценки параметров геометрических моделей.
DLT-метод для линий и преобразований.
Робастные алгоритмы - М-оценки, стохастические алгоритмы, схемы голосования. Применение для построения панорам и поиска объектов.
Модуль 3 - Основы машинного обучения. Обнаружение объектов
3.1. Категоризация изображений
Понятие категории.
Распознавание категорий человеком.
Общая схема категоризации изображений. Признаки. Гистограммы признаков, пирамиды. Визуальные слова и мешок слов.
3.2. Выделение категорий на изображениях
Задача выделения категорий объектов на изображении. Скользящее окно. Применение мешка слов для выделения объектов.
Метод HOG + SVM, размножение выборки и бутстраппинг.
Методы на основе слабых классификаторов. Алгоритм поиска лиц Viola-Jones, признаки Хоара, интегральные изображения.
Пути развития детекторов и современное состояние
3.3. Поиск изображений по содержанию
Варианты постановки задачи - поиск полудубликатов, поиск похожих, поиск по классам. Поиск на основе цветовых гистограмм (QBIC).
Дескриптор GIST.
Поиск полудубликатов - приближенные методы ближайшего соседа, инвертированный индекс, хэширование.
Поиск на основе Мешка слов, обратный индекс, использование пространственной информации для повышения точности.
Модуль 4 - Нейросетевые подходы к анализу изображений. Основные задачи и алгоритмы
4.1. Интернет-зрение
Большие коллекции изображений и методы их составления.
Дополнение изображений (Image completion) с помощью больших коллекций. Классификация изображений с помощью больших коллекций.
Фотоколлажи. Shape context. Объектные фильтры.
4.2.. Оптический поток и вычитание фона
Введение в обработку и анализ видео.
Понятие оптического потока. Глобальные и локальные (Lucas-Kanade) методы оценки оптического потока.
Вычитание фона (BS - background subtraction). Алгоритмы BS: одна гауссиана, смесь гауссиан, поблочные методы, объединение локальных и глобальных цветовых моделей.
4.3. Сопровождение объектов и распознавание событий в видео
Задача сопровождения объектов в видео, постановки, критерии качества и проблемы.
Сопровождение одного объекта - сопоставления шаблонов, на основе Chamfer-метрики, MeanShift, Flock of features, комбинации методов.
Сопровождение множества объектов - сопровождение через сопоставление.
Распознавание событий в видео, тестовые базы, автоматическая разметка видео. Методы распознавания - дескрипторы на основе оптического потока, локальные особенности, классификация, прицеливание.
4.4. Компьютерное зрение реального времени
Алгоритмы дополненной реальности, требования к ним.
Решающий лес как один из базовых методов для дополненной реальности.
Регистрация изображений в реальном времени.
Система Kinect и оценка позы человека в реальном времени.
Блок 2 - Анализ текстов
Модуль 1
Intro to NLP
Модуль 2
Lecture: Word embeddings
Distributional semantics. Count-based (pre-neural) methods. Word2Vec: learn vectors. GloVe: count, then learn. N-gram (collocations) RusVectores. t-SNE.
Practical: word2vec, fasttext
Модуль 3
Lecture: RNN + CNN, Text classification
Neural Language Models: Recurrent Models, Convolutional Models. Text classification (architectures)
Practical: Classification with LSTM, CNN
Модуль 4
Lecture: Language modelling and NER
Task description, methods (Markov Model, RNNs), evaluation (perplexity), Sequence Labelling (NER, pos-tagging, chunking etc.) N-gram language models, HMM, MEMM, CRF
Practical: NER
Модуль 5
Lecture: Machine translation, Seq2seq, Attention, Transformers
Basics: Encoder-Decoder framework, Inference (e.g., beam search), Eval (bleu). Attention: general, score functions, models. Bahdanau and Luong models. Transformer: self-attention, masked self-attention, multi-head attention.
Модуль 6
Lecture: Transfer learning in NLP
Bertology (BERT, GPT-s, t5, etc.), Subword Segmentation (BPE), Evaluation of big LMs.
Practical: transformers models for classification task,
Practical: Transfer learning
Модуль 7
Lecture & Practical: How to train big models? Part1. Distributed training, Part2. RuGPT3 Training
Training Multi-Billion Parameter Language Models. Model Parallelism. Data Parallelism.
Practical: DDP example
Модуль 8
Lecture: Syntax parsing
Practical: Syntax
Модуль 9
Lecture: Question answering
Practical: seminar QA, seminar chatbots
Squads (one-hop, multi-hop), architectures, retrieval and search, chat-bots
Модуль 10
Lecture: Summarization, simplification, paraphrasing
Practical: summarization seminar
Модуль 11
Lecture: Knowledge Distillation in NLP
Блок 3 - Машинное обучение на больших объемах данных
Модуль 1 - Методы оптимизации и линейные модели
Машинное обучение с учителем на больших данных.
Закон Ципфа.
Тематическое моделирование.
Метод стохастического градиента.
Постановка задачи.
Оптимизации обучения на больших данных: градиентный спуск, стохастический градиент.
Признаки.
Пространства признаков, веса признаков, нормализация признаков.
Генерация и хеширование признаков.
Онлайн обучение линейных моделей.
Метод стохастического градиента: выбор функции потерь.
Оценка качества метода стохастического градиента.
Алгоритм Бутстрап.
Хеширование, чувствительное к расстоянию (LSH).
Меры сходства: расстояние Жаккара, Хемминга, косинусное расстояние, Евклидово расстояние.
Оптимизация и тестирование гиперпараметров.
Симплекс-метод.
Модуль 2 - Алгоритмы работы с графами большого размера
Графы, их виды.
Стохастический граф.
Представление графа: матрицы смежности, инцидентности, достижимости.
Списки смежности.
Алгоритмы перевода из одного представления в другое.
Социальный граф.
Задача поиска общих друзей в социальном графе.
Язык DSL.
Граф пользовательских предпочтений.
Использование подхода BigData в анализе графов.
Модуль 3 - Информационный поиск
Постановка ранжирования.
Основные подходы к решению задачи ранжирования.
Метрики измерения точности ранжирования.
Кликовые модели.
Тематическое моделирование и его связь с ранжированием.
Проблемы тематического моделирования при больших данных.
AD-LDA, его недостатки, Y!LDA, Mr. LDA. ARTM.
Архитектура библиотеки BigARTM.
Online LDA и его применение в Vowpal Wabbit.
Модуль 4 - Рекомендательные системы
Рекомендательные системы, постановка задачи предсказания / рекомендации.
Классификация рекомендательных систем.
Неперсонализированные рекомендательные системы, content-based рекомендательные системы.
Задачи коллаборативной фильтрации, транзакционные данные и матрица субъекты—объекты.
Корреляционные методы, методы сходства (neighbourhood) - user-based, item-based.
Латентные методы на основе матричных разложений.
Методы ALS и iALS.
Современные рекомендательные системы: рекомендательные системы, основанные на учете контекста (context aware), аспектные рекомендательные системы (aspect-aware), рекомендательные системы на основе тензорных разложений.
Продажник
