Мы находимся в поиске Ведущего Data engineer'a, который будет заниматься развитием направлений : "Цифровая аналитика" , "Антифрод", " Платформа DataLake".

Ваши задачи:

• Реализация ETL в Hadoop (с помощью Airflow).

• Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы.

• Батч и стримы с помощью PySpark и Kafka.

• Подготовка витрин для анализа (Hive + Spark+ SQL)

Наш стек: Ванильный hadoop; Kafka, Spark, Airflow; ClickHouse; Jira; Confluence; GitLab

Мы ждем от будущих коллег:

• Уверенное владение Python.
• Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka,Spark.
• Знание SQL
• Опыт работы с реляционными базами данных (Oracle).