Обзор курса «Инженер данных» от Яндекс Практикума
Курс «Инженер данных» от Яндекс Практикума рассчитан на аналитиков, разработчиков и начинающих дата-инженеров с уверенными основами Python и SQL. Первые проекты посвящены витрине с инкрементальной загрузкой и ETL в Airflow. Затем студент проектирует DWH для стартапа, оптимизирует хранение в Vertica и создаёт Data Lake на HDFS и Spark.
Автор: Александра СыщенкоАвтор об IT и профессиональном обучении · О редакцииСодержание
Стоимость и формат обучения
Цены и условия могут меняться. Перед оплатой проверьте их на официальной странице курса.
Курс «Инженер данных» от Яндекс Практикума рассчитан на аналитиков, разработчиков и начинающих дата-инженеров с уверенными основами Python и SQL. За 6,5 месяца участник строит DWH, ETL-пайплайны, Data Lake и потоковую обработку.
Главное о курсе
- Продолжительность: 6,5 месяца.
- Практика: восемь проектов и девять воркшопов.
- Объём: 200 часов теории и 340 часов практики.
- Стек: PostgreSQL, Vertica, Airflow, Spark, Kafka, Hadoop, Docker и Kubernetes.
- Вход: нужны SQL, pandas, структуры данных Python и ООП.
Что строят на курсе
Первые проекты посвящены витрине с инкрементальной загрузкой и ETL в Airflow. Затем студент проектирует DWH для стартапа, оптимизирует хранение в Vertica и создаёт Data Lake на HDFS и Spark. Отдельная работа реализует поток в Kafka и Spark Structured Streaming.
В облачном спринте инфраструктура собирается в Yandex Cloud с Docker, Kubernetes и Helm, а данные выводятся в DataLens. Итоговый пет-проект требует выбрать бизнес-задачу, спроектировать архитектуру и защитить её перед командой курса.
Преподаватели курса
Олег Васильев представлен как руководитель аналитики данных в крупном банке с опытом в больших данных более восьми лет. Руслан Бондарев — инженер данных с шестилетним опытом в финтехе и Semrush. Их профиль соответствует центральным темам DWH и промышленных пайплайнов.
Плюсы и минусы
Плюсы
- проектная цепочка охватывает пакетную и потоковую обработку;
- есть качество данных, документация и runbook;
- 340 часов практики и восемь проектов;
- облако связано с контейнерами и оркестрацией;
- итоговая архитектура строится под выбранную бизнес-задачу.
Минусы
- без уверенного SQL и Python войти в программу трудно;
- интенсивность 540 часов за полгода очень высокая;
- учебная инфраструктура меньше производственной по масштабу и отказам;
- широкий стек требует продолжать специализацию после курса;
- диплом не заменяет опыт эксплуатации пайплайнов.
Наш вывод
Курс подходит специалисту, который уже работает с данными и хочет перейти к их поставке и инфраструктуре. Сильная сторона — последовательность DWH, Data Lake, streaming и облако. Новичку без программирования лучше выбрать отдельный курс «Инженер данных с нуля».