
Data Engineer Middle, Москва.
▷ Работодатель: Открытые Технологии
(профиль,отзывы)
💰 From 120000 RUR. | Режим: office |
10
* This listing is inactive or archived *
В нашу команду нужны грамотные админы, которые хорошо разбираются в базовых информационных технологиях (ОС (unix/linux, windows), сетевые технологии, БД, ИТ-безопасность, виртуализация и т.п.) и хотят прокачаться в технологии больших данных, исследовании данных, реверс-инжиниринге, программировании на Python/SCALA/Java, проектировании и поддержке больших информационно-аналитических систем с элементами Искусственного Интеллекта.
Обязанности:
- Решение сложных творческих задач в рамках внедрения аналитических систем на платформе собственной разработки;
-
Разработка “швейцарского ножа” для работы с данными: решение задач экстракции данных из самых нестандартных источников (IoT/IIoT, распознавание образов, распознавание сигналов и т.п.);Организация ETL-процессов и построение Data Lake:
- Разработка пайплайнов обработки интенсивных потоков данных:
- Разработка и реализация алгоритмов мониторинг и анализа качества данных:
- Диагностика проблемных участков в обработке данных и оптимизация скорости обработки;
- Построение систем сбора данных с различных ИТ и промышленных объектов;
- Обеспечение качества данных методами ML: решение задач обнаружения аномалий во временных рядах, upsampling данных, комплексирование каналов сбора, работа с неструктурированными данными;
- Создание объектных моделей различных предметных областей;
- Наделение данных смыслом путём быстрого погружения в новую предметную область и работы со специалистами заказчика;
- Исследование САУ и АСУ ТП промышленных установок с целью извлечения информации и построения Озёр данных;
- Построение зонтичных систем мониторинга ИТ и индустриальных систем;
- Участие в создании цифровых двойников.
- Опыт администрирования систем Unix/Linux/Windows ;
- Опыт работы с СУБД: SQL-запросы; понимание принципов CDC, работы с транзакционными логами;
- Уверенные знания в области сетевых технологий;
- Навыки программирования на Python и bash; Представление о применении powershell;
- Навыки разработки на JavaScript, Java/Scala (как преимущество);
- Опыт использования Open Source решений (Hadoop, Spark, NiFi и др.) - приветствуется;
- Также приветствуется опыт реверс-инжиниринга/исследования защищённости устройств и систем;
- Плюсом будет знание основных алгоритмов машинного обучения и математической статистики;
- Плюсом будет знание математических основ цифровой обработки сигналов;
- Плюсом будет опыт решения задач построения алгоритмов фильтрации, оценки результатов измерений, анализа характеристик сигналов и т.п.
- Будет плюсом, если знакомо: Airflow, Informatica, Git.
- Большим плюсом будет представление о распространённых индустриальных протоколах (ModBus, МЭК серия 60870-5, OPC DA/Xml DA, DNP3, BACnet, Lonworks, SNMP) и их специфических реализаций.
- Базовые знание беспроводных технологий и сенсорных сетей (LoRa, LoRaWAN, Zigbee, Industrial Wi-Fi).
- Большим плюсом будет опыт программирования микроконтроллеров и ПЛК.
-
Медицинская страховка.
- Мобильная связь.
- Возможна удаленная работа
Москва, Стремянный переулок, 26
http://www.ot.ru
SQLPythonLinuxSpark