inDriver — международный сервис пассажирских перевозок. Мы создаем глобальный высокотехнологичный продукт, который меняет жизнь миллионов людей к лучшему.

Входим в топ-3 мобильных сервисов для заказа поездок в мире по количеству скачиваний — 144 млн. установок. Мы работаем в 645 городах 45 стран мира.

Мы ищем Senior/Middle Data инженера, который поможет строить Data Warehouse, с data quality, будет участвовать в построении архитектуры и моделировании данных, делиться знаниями и получать эти знания. Мы только начинаем строить новый Data Warehouse, наращиваем команду, но мы знаем, что эта часть проекта является одной из важнейший частей продукта.

‍‍‍ В команде Data Engineering: 10 инженеров, 2 системных аналитика и тим лид. Всего в команде разработки более 180 сотрудников и мы продолжаем расширять команду.

Мы не боимся использовать новые инфраструктурные решения (Google Cloud Platform, AWS). Мы свободны в принятии решений, будучи ограничены только законами о защите перс данных. Инфраструктурные и архитектурные решения принимаем исключительно с трезвым взглядом на проблему и апеллируя к цифрам.

Наш стек:

• используем Python/Scala для разработки под Spark;
• Python/Java/Go для написания сервисов;
• BigQuery/Clickhouse как OLAP СУБД;
• Trino для Adhoc аналитики;
• Apache Iceberg для хранения инкрементальных данных;
• Apache Kafka как интеграционный слой между микро-сервисами;
• Airflow для оркестрации ETL процессов.

Разработку ведем на Github, используем TeamCity, трекаем задачи в JIra, доку пишем в Confluence. Хотим развиваться в сторону Flink, Kubernetes (в том числе Spark on Kubernetes), Kafka, но открыты к любым идеям и решениям.

Какие задачи предстоит решать:

• ‍развивать культуру работы с данными;
• создавать единую систему обработки, хранения и валидации данных;
• ‍проектировать и строить процессы хранения, обработки, очистки и обогащения данных;
• участвовать в разработке data pipeline на всех этапах - от обсуждения с источниками данных формата получения данных, до презентации новой фичи потребителям;
• разрабатывать API (REST, gRPC) для высоконагруженных сервисов получения доступа к данным;
• участвовать в проектировании системы и принятии архитектурных решений совместно с командой разработки;
• писать интеграционные и юнит-тесты, разрабатывать средства автоматизации для валидации и алертинга на основе состояния данных;
• а также делиться знаниями с разработчиками на внутренних митапах.

Ожидаем от кандидата:

• опыт разработки Data pipelineов на Spark/Flink/DataFlow с применением Luigi/Airflow/Oozie;
• владеете Python и/или Java;
• знаете и понимаете алгоритмы и принципы обработки данных;
• ️понимаете общие концепции программирования (шаблоны проектирования, ООП, модульность, чистая архитектура, 12-Factor App);
• умеете проектировать систему обработки данных (data modeling);
• ответственны и инициативны (мы верим, что идеи должны исходить не только от бизнеса, но и от сотрудников компании).

Мы предлагаем:

• оформление в офис компании в Казахстане (Алматы или Нур-Султан) или Кипр (будет обсуждаться отдельно). После оформления в Казахстане возможна временная удаленная работа за рубежом (будет обсуждаться отдельно);

• стабильную заработную плату, ДМС со стоматологией;
• современные MacBook Pro и другое необходимое для работы оборудование;
• неограниченные возможности профессионального и карьерного роста, регулярное внешнее и внутреннее обучение от наших партнеров;
• частично или полностью оплачиваемые дополнительные обучающие курсы, занятие английским языком с преподавателем в офисе;
• программы личностного роста, в которых мы ставим цели и вместе к ним движемся;
• стать частью международной команды профессионалов и просто хороших людей, которые все вместе создают одну из самых крутых историй успеха в мировой IT-индустрии.