- Регистрация
- 26.05.2022
- Сообщения
- 23 590
- Реакции
- 56
- Баллы
- 48
DataOps Engineer [2022]
OTUS
Егор Матешук, Роман Богатов, Александра Чащина, Дарья Абдуллина, Артем Токачев
DataOps Engineer - это профессия будущего, на которую уже есть огромный спрос и нехватка специалистов.
Кроме стандартных тем (Hadoop, MLOps, оркестрация) мы рассмотрим полный набор инструментов и практик Data Governance (управления данными) - metadata management, data quality, data integration, data discovery, data linage, BI.
Этот курс подходит вам, если вы:
1. Уже умеете работать с данными, но хотите развить знания в инфраструктуре, на которой они работают,
2. Либо умеете работать с инфраструктурой, но хотите получить специфические знания именно в области работы с данными.
Что разберем на курсе:
1. Вопросы администрирования Hadoop-кластеров (включая вопросы безопасности!,
2. Особенности деплоя ETL-процессов, Spark-джоб, приложений обработки данных в реальном времени,
3. Архитектуру нескольких MPP-баз (Vertica, Greenplum, ClickHouse, ...),
4. Сервисы и практики Data Governance (BI, data catalog, data linage, CDC, data injestion, data quality, notebooks),
5. Практики MLOps (деплой моделей, мониторинг экспериментов, оркестрация).
Содержание
Модуль 1 - Введение
Тема 1. Вводное занятие
Тема 2. Архитектуры систем обработки данных (1 часть)
Тема 3. Архитектуры систем обработки данных (2 часть)
Модуль 2 - Необходимые инструменты
Тема 4. Облака и on-premise
Тема 5. Terraform
Тема 6. Ansible
Тема 7. Docker
Тема 8. Q&A
Модуль 3 - ETL
Тема 9. Data Storage
Тема 10. Дизайн ETL
Тема 11. Оркестрация
Тема 12. Фреймворки для обработки данных
Тема 13. CI, мониторинг и логирование для фреймворков обработки данных
Модуль 4 - Хранилища и платформы
Тема 14. Архитектура аналитических БД
Тема 15. SQL-движки Hive, Presto, Impala
Тема 16. Vertica
Тема 17. GreenPlum
Тема 18. ClickHouse
Тема 19. Q&A
Модуль 5 - Hadoop
Тема 20. Hadoop
Тема 21. Развертывание Hadoop
Тема 22. Мониторинг Hadoop
Тема 23. Безопасность Hadoop
Модуль 6 - Практики Data Governance
Тема 24. Практики Data Governance
Тема 25. Управление метаданными
Тема 26. Контроль качества данных
Тема 27. Управление мастер-данными и НСИ
Тема 28. Организация песочницы
Модуль 7 - MLOps
Тема 29. Практики MLOps
Тема 30. Инфраструктура для исследований
Тема 31. Контроль качества моделей
Тема 32. Версионирование данных
Тема 33. Варианты деплоя моделей - REST
Тема 34. Варианты деплоя моделей - Spark
Модуль 8 - Проектный модуль
Тема 35. Выбор темы и организация проектной работы
Тема 36. Консультация по проектам и домашним заданиям
Тема 37. Защита проектных работ
Тема 38. Подведение итогов курса
Примечание: на момент создания темы актуальная цена не известа.
Продажник
OTUS
Егор Матешук, Роман Богатов, Александра Чащина, Дарья Абдуллина, Артем Токачев
DataOps Engineer - это профессия будущего, на которую уже есть огромный спрос и нехватка специалистов.
Кроме стандартных тем (Hadoop, MLOps, оркестрация) мы рассмотрим полный набор инструментов и практик Data Governance (управления данными) - metadata management, data quality, data integration, data discovery, data linage, BI.
Этот курс подходит вам, если вы:
1. Уже умеете работать с данными, но хотите развить знания в инфраструктуре, на которой они работают,
2. Либо умеете работать с инфраструктурой, но хотите получить специфические знания именно в области работы с данными.
Что разберем на курсе:
1. Вопросы администрирования Hadoop-кластеров (включая вопросы безопасности!,
2. Особенности деплоя ETL-процессов, Spark-джоб, приложений обработки данных в реальном времени,
3. Архитектуру нескольких MPP-баз (Vertica, Greenplum, ClickHouse, ...),
4. Сервисы и практики Data Governance (BI, data catalog, data linage, CDC, data injestion, data quality, notebooks),
5. Практики MLOps (деплой моделей, мониторинг экспериментов, оркестрация).
Содержание
Модуль 1 - Введение
Тема 1. Вводное занятие
Тема 2. Архитектуры систем обработки данных (1 часть)
Тема 3. Архитектуры систем обработки данных (2 часть)
Модуль 2 - Необходимые инструменты
Тема 4. Облака и on-premise
Тема 5. Terraform
Тема 6. Ansible
Тема 7. Docker
Тема 8. Q&A
Модуль 3 - ETL
Тема 9. Data Storage
Тема 10. Дизайн ETL
Тема 11. Оркестрация
Тема 12. Фреймворки для обработки данных
Тема 13. CI, мониторинг и логирование для фреймворков обработки данных
Модуль 4 - Хранилища и платформы
Тема 14. Архитектура аналитических БД
Тема 15. SQL-движки Hive, Presto, Impala
Тема 16. Vertica
Тема 17. GreenPlum
Тема 18. ClickHouse
Тема 19. Q&A
Модуль 5 - Hadoop
Тема 20. Hadoop
Тема 21. Развертывание Hadoop
Тема 22. Мониторинг Hadoop
Тема 23. Безопасность Hadoop
Модуль 6 - Практики Data Governance
Тема 24. Практики Data Governance
Тема 25. Управление метаданными
Тема 26. Контроль качества данных
Тема 27. Управление мастер-данными и НСИ
Тема 28. Организация песочницы
Модуль 7 - MLOps
Тема 29. Практики MLOps
Тема 30. Инфраструктура для исследований
Тема 31. Контроль качества моделей
Тема 32. Версионирование данных
Тема 33. Варианты деплоя моделей - REST
Тема 34. Варианты деплоя моделей - Spark
Модуль 8 - Проектный модуль
Тема 35. Выбор темы и организация проектной работы
Тема 36. Консультация по проектам и домашним заданиям
Тема 37. Защита проектных работ
Тема 38. Подведение итогов курса
Примечание: на момент создания темы актуальная цена не известа.
Продажник