Middle Data Engineer Omni 2, Краснодар.

▷ Работодатель: МАГНИТ Розничная сеть (профиль,отзывы)
💰 From 0 RUR. | Режим: office | 10

* This listing is inactive or archived *

Обязанности:
  • Создавать потоки для пакетной транспортировки данных (ETL/ELT) посредством технологий Apache Spark и Apache Airflow
  • Развивать потоки для потоковой транспортировки данных (Streaminig) посредством технологий Apache Kafka и Apache Structured Streaming
  • Реализовывать оптимальный код с учетом SLA для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive
  • Развивать и оптимизировать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache Airflow
  • Работать с версионным хранилищем кода и сложными процессами непрерывной интеграции и доставки кода на прод (CI/CD GitLab)
  • Работать с существующими процессами в различных СУБД (Teradata, Postgres, Oracle, Redis)
  • Поддерживать в актуальном состоянии документацию проекта
  • Проводить проверку кода младших специалистов
  • Работать с serverless сервисами в облаке (Yandex Cloud) и системами упаковки ПО (Docker, K8S)
Требования:
  • Опыт работы со стеком: Apache (Spark, Hive, Airflow), Python, SQL, Linux, Docker, Yandex Cloud
Условия:
  • График работы 5/2 с гибким началом
  • Возможность работать в офисе в Москве и удаленно
  • Оформление по ТК РФ, оплачиваемые больничные и отпуска
  • Развитие – мы оплачиваем обучение на курсах/конференциях
  • Дружескую атмосферу и поддержку команды профессиональных и активных коллег
http://www.magnit-info.ru
HiveSQLPythonSparkLinux

Created: .
Expires after: .
Responses: 35

Откликнуться на вакансию  Работодатель: профиль,отзывы