Инженер данных BI
Частный рекрутер
Рекрутер Ирина
( сайт не указан )
Аккаунт зарегистрирован с email *@gmail.com
Опыт работы любойот 230 000 до 233 000 ₽
Сейчас компания «Сибур» активно разрабатывает единый шлюз для обмена данными и развивает систему аналитической отчетности на платформе Tableau.
Система единого шлюза позволит любой внедренной системе обмениваться информацией с операторами без установки дополнительных расширений. Благодаря ей информация будет собираться и отправляться в озеро данных, где ее проще анализировать и использовать.
Для развития проекта необходимо спроектировать модель передачи данных между сервисами хозяйственного обеспечения. В них входит 5 систем: питания (r_keeper), транспортная и другие.
Задачи кандидата:
· Уточнить требования к модели данных и потоков у лидера проекта и архитектора данных.
· Разработать ETL-пайплайн интеграции в Apache Airflow и Apache NiFi. В процессе разработки реализовать поддержку CI/CD-процесса для новых интеграций.
· Интегрировать 5 источников данных на Vertica с озером данных на основе поставленных архитектором данных задач.
· Совместно с архитектором данных протестировать интеграции.
Требования к кандидату:
· Опыт работы с SQL и Python от 3 лет.
· Знание Scala и Java.
· Опыт разработки и настройки ETL от 3 лет.
· Знание систем деплоя Apache Airflow и Apache NiFi.
· Опыт работы с МРР-БД(Vertica, ClickHouse, Greenplum и другие).
· Опыт написания пайплайнов CI/CD, сборки Docker-контейнеров.
Проект рассчитан на 6 месяцев и предполагает полную занятость. Вознаграждение предполагает 233 000/месяц. Оформление ГПХ, ИП, самозанятй.