Задачи:

• анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
• поиск и исследование источников данных для последующей интеграции;
• оценка пригодности, качества исходных данных;
• разработка ETL процессов на Spark;
• оркестрация ETL процессов в Airflow;
• проектирование баз данных;
• создание конвейеров данных NiFi.

В своей работе DE используют следующий стек технологий:

• экосистема Hadoop – HDFS, YARN, Hive, HBase;
• ETL-процессы – Spark (Scala);
• потоковая обработка – NiFi, Flink;
• брокер сообщений – Kafka;
• оркестрация ETL процессов – Airflow;
• СУБД – PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server;
• CI/CD – GitLab.

Требования:

• опыт разработки на Spark, Scala от 2 лет;
• знание стека: Hadoop, Airflow, PostgreSQL, Kafka