AppQuantum - паблишер мобильных игр, команда из 200+ человек, которая занимается издательством, разработкой, маркетингом и монетизацией мобильных игр.

Сейчас мы ищем дата-инженера в отдел аналитики, состоящий из дата-инженеров, фулстек разработчиков, BI-менеджеров, продуктовых, маркетинговых аналитиков и девопса.

Задачи:

• Разрабатывать ETL скрипты для новых источников данных;

• Оптимизировать и ускорять ETL скрипты;

• Оптимизировать схемы баз данных (clickhouse, postgres);

• Настроить пайплайн автоматической проверки качества данных с alerting'ом;

• Покрыть пайплайны тестами и дашбордами;

• Перевести батчи на real-time;

• Связять airflow таски с обновлением дашбордов в tableau;

• Готовить витрины данных из сырых логов;

Требования:

• Python - pandas, многопоточность, асинхронность, профилирование кода;

• Database - Clickhouse, Postgres, умение работать с вложенными запросами и оконными функциями, оптимизация запросов;

• Docker;

• увереный пользователь Linux;

• Airflow или любой другой шедулер;

• git.

Будет плюсом:

• Опыт использование clickhouse в проде от года: partition, sharding, MergeTree, MergeTree, настройка ClickHouse;