Молодая аутсорс компания для работы над крупным проектом приглашает ETL инженера (уровня Middle и Senior)

Data platform - команда которая отвечает за ETL/ELT данных, хранение, мониторинг, интерфейсы взаимодействия с данными (витрины, отчеты, API и пр.) и доставку аналитических данных в 3 системы.

Основные задачи:

• Разработка ETL/ELT пайплайнов microbatch, batch, stream из различных источников
• Написание обработки данных на spark и spark streaming (2.4/3.x)
• Разработка dataquality фреймворка
• Разработка микросервисов (REST API / Async API)
• Разработка различных слоев в datalake (.parquet/greenplum)

Стек команды:

• Хранение данных - Hadoop, GreenPlum, ClickHouse
• Обработка данных - Apache Spark 2.4/3.x
• Оркестрация - Apache Airflow
• Мониторинг - Prometheus, Grafana
• Система контроля версий - Git
• Основные ЯП - Python, Go

Требования к кандидату:

• Отличные знания SQL, Баз данных
• Знание основ ООП
• Знание одного из ЯП: Python, Scala, Java, Go
• Опыт работы с системами контроля версий (Git)
• Будет плюсом опыт с Big Data стеком: Hadoop, MapReduce, Spark & Spark Streaming, Hive, Kafka, Airflow



Условия:

• Работа над проектом крупного заказчика
• Возможно трудоустройство только через ИП / самозанятость в молодую аутсорс-компанию, поэтому важна готовность открыть ИП / стать самозанятым.
• 100% удаленка
• Оплачиваемый отпуск и компенсация 6% налогов
• Вознаграждение выше рынка (до 270 тыс gross для уровня Senior)