Data Engineer Middle, Москва.

▷ Работодатель: Открытые Технологии (профиль,отзывы)
💰 From 120000 RUR. | Режим: office | 10

* This listing is inactive or archived *

В нашу команду нужны грамотные админы, которые хорошо разбираются в базовых информационных технологиях (ОС (unix/linux, windows), сетевые технологии, БД, ИТ-безопасность, виртуализация и т.п.) и хотят прокачаться в технологии больших данных, исследовании данных, реверс-инжиниринге, программировании на Python/SCALA/Java, проектировании и поддержке больших информационно-аналитических систем с элементами Искусственного Интеллекта.

Обязанности:

  • Решение сложных творческих задач в рамках внедрения аналитических систем на платформе собственной разработки;
  • Разработка “швейцарского ножа” для работы с данными: решение задач экстракции данных из самых нестандартных источников (IoT/IIoT, распознавание образов, распознавание сигналов и т.п.);Организация ETL-процессов и построение Data Lake:

  • Разработка пайплайнов обработки интенсивных потоков данных:
  • Разработка и реализация алгоритмов мониторинг и анализа качества данных:
  • Диагностика проблемных участков в обработке данных и оптимизация скорости обработки;
  • Построение систем сбора данных с различных ИТ и промышленных объектов;
  • Обеспечение качества данных методами ML: решение задач обнаружения аномалий во временных рядах, upsampling данных, комплексирование каналов сбора, работа с неструктурированными данными;
  • Создание объектных моделей различных предметных областей;
  • Наделение данных смыслом путём быстрого погружения в новую предметную область и работы со специалистами заказчика;
  • Исследование САУ и АСУ ТП промышленных установок с целью извлечения информации и построения Озёр данных;
  • Построение зонтичных систем мониторинга ИТ и индустриальных систем;
  • Участие в создании цифровых двойников.
Требования:
  • Опыт администрирования систем Unix/Linux/Windows ;
  • Опыт работы с СУБД: SQL-запросы; понимание принципов CDC, работы с транзакционными логами;
  • Уверенные знания в области сетевых технологий;
  • Навыки программирования на Python и bash; Представление о применении powershell;
  • Навыки разработки на JavaScript, Java/Scala (как преимущество);
  • Опыт использования Open Source решений (Hadoop, Spark, NiFi и др.) - приветствуется;
  • Также приветствуется опыт реверс-инжиниринга/исследования защищённости устройств и систем;
  • Плюсом будет знание основных алгоритмов машинного обучения и математической статистики;
  • Плюсом будет знание математических основ цифровой обработки сигналов;
  • Плюсом будет опыт решения задач построения алгоритмов фильтрации, оценки результатов измерений, анализа характеристик сигналов и т.п.
  • Будет плюсом, если знакомо: Airflow, Informatica, Git.
  • Большим плюсом будет представление о распространённых индустриальных протоколах (ModBus, МЭК серия 60870-5, OPC DA/Xml DA, DNP3, BACnet, Lonworks, SNMP) и их специфических реализаций.
  • Базовые знание беспроводных технологий и сенсорных сетей (LoRa, LoRaWAN, Zigbee, Industrial Wi-Fi).
  • Большим плюсом будет опыт программирования микроконтроллеров и ПЛК.
Условия:
  • Медицинская страховка.

  • Мобильная связь.
  • Возможна удаленная работа
Москва, Стремянный переулок, 26
http://www.ot.ru
SQLPythonLinuxSpark

Created: .
Expires after: .
Responses: 7

Откликнуться на вакансию  Работодатель: профиль,отзывы