module-5

Модуль 5. «Обеспечивающие системы. Оркестрация, тестирование, мониторинг».

Занятие 20. Оркестрация.

• Как организовать многоэтапные процессы обработки данных
• Инструменты оркестрации - Oozie, Airflow

Занятие 21. Практики DevOps: CI/CD в ML.

• Культура DevOps
• Интеграция, тестирование, развертывание

Занятие 22. Мониторинг.

• Инструменты мониторинга - Prometheus, Zabbix, Graphite, Grafana
• Специфика мониторинга процессов обработки данных

Занятие 23. Data Quality. Контроль качества данных, автотесты, мастер-данные.

• Data Quality and Consistency. Качество данных. MDM
• Ошибки в коде, логике, виды, последствия, как найти и устранить корневую причину
• Вопросы поддержки. Support
• Метрики качества. Контроль качества. Data Fix - как исправлять найденные ошибки
• MDM: управление мастер-данными

Занятие 24. Case studies. Кейсы компаний.

• Углубленные вопросы оптимизации. Фишки. Примеры, разбор

Занятие 25. Дальнейшее развитие навыков и полезные ресурсы.

• Где искать ответы на вопросы. Ресурсы. Как быстро разбираться и решать проблемы.
• Benchmarking - умеем сравнивать инструменты для решения конкретных задач
• Как грамотно составить резюме (CV) + proof-read резюме участников курса
• Как развиваться в плане Soft skills, Hard skills. Contribution.