Архитектор по неструктурированным данным, Москва.
▷ Работодатель: Полюс
(профиль,отзывы)
💰 From 0 RUR. | Режим: office |
10
* This listing is inactive or archived *
Обязанности:
- Выполнение работ по развертыванию, сопровождению, расширению/развитию платформы (хранилища) и инфраструктуры в рамках проекта по трансформации производственных процессов.
- Проектирование архитектуры, выполнение работ по развертыванию и сопровождению платформы для работы с данными (сбор, накопление, предоставление доступа, обработка).
- Планирование и контроль исполнения задач по проектированию, развертыванию, сопровождению, расширению/развитию платформы (хранилища) и инфраструктуры для работы с большими неструктурированными или слабоструктурированными данными.
- Внесение предложений по развитию архитектуры и инфраструктуры для работы с большими неструктурированными или слабоструктурированными данными.
- Подготовка предложений по созданию инфраструктуры для управления корпоративными данными.
- Загрузка данных из различных источников в хранилище, проектирование и разработка потоков данных (staging) и витрин данных.
- Создание и управление конвейерами данных (оркестрация потоков).
- Поддержка Data Scientist’ов и аналитиков данных, выгрузка данных.
- Разработка ELT/ETL процессов потоковой и пакетной обработки данных.
- Проверка качества и целостности данных.
- Автоматизация и поддержка операционных аналитических задач.
- Определение потребностей бизнеса в анализе больших данных в долгосрочной перспективе для планирования ИТ-мощностей и развития компетенций Компании.
- Формирование и защита стратегического архитектурного видения, дорожных карт развития и иных концептуальных документов по данному направлению.
- Планирование потребностей в части лицензий, консалтинга, инфраструктуры для работы с большими неструктурированными или слабоструктурированными данными.
- Планирование и разработка разделов НМД по анализу процессов и данных в части порядка работы с инструментами сбора, накопления, обработки, предоставления доступа к большим / слабоструктурированным данным.
- Создание обучающих, справочных материалов по инструментам работы с большими / слабоструктурированными данными.
- Проверка качества и целостности данных.
- Автоматизация и поддержка операционных аналитических задач.
- Высшее образование в области информационных технологий, математики и математических методов, физики. Приоритетом являются специальности, связанные с управлением данными, анализом данных.
- Опыт построения хранилищ больших данных и озер данных.
- Практики использования MPP хранилищ данных и реализации массивно-параллельной обработки данных.
- Знание принципов хранения информации в SQL и NoSQL, а также умение работать с реляционными базами данных (GreenPlum /Arenadata DB, PostgreSQL и тп.).
- Владение инструментами сбора и обработки данных, в том числе ETL (Airflow, NiFi, Kafka и пр.).
- Владение языками программирования (Python - базовые знания, Java - является преимуществом).
- Практический опыт разворачивания и администрирования MPP хранилищ .
- Практический опыт применения ETL инструментов и сбора данных из систем-источников.
- Знание GreenPlum PSQL.
- Умение писать и оптимизировать сложные SQL-запросы.
- Обсуждаемый уровень окладной части;
- Премирование согласно корпоративным политикам;
- Срочный трудовой договор на время реализации проекта;
- ДМС, страхование жизни;
- Социальный пакет, возможности корпоративного обучения.
http://rabota.polyusgold.com
PostgreSQLJavaSQLETLPython