Data engineer DWH
Прямой работодатель Всероссийская биржа электроэнергии и мощности ( )
Опыт работы от 1 года до 3х летот 150 до 200 ₽
Ищем инженера данных на DWH в электроэнергетике
Ориентировочное распределение чем предстоит заниматься (довольно грубое, пропорции со временем можно смещать в точку наибольших интересов, или они могут следовать за крупными командными проектами):
- 40% доработки ETL, отражающие изменения в системах-источниках и улучшающих аналитическое хранилище
- 25% доработки утилит ETL, автоматизация процессов
- 20% поддержка текущих регулярных процессов
- 15% участие в смежных проектах
Особенности процессов:
- основной процесс загрузки работает достаточно редко, пару раз в сутки по появлении инкремента
- по сути ELT с не всегда тривиальными трансформациями, специфическая предметная область
- являемся бизнес-аналитиками хранилища при помощи аналитиков систем-источников
- тесное взаимодействие с небольшими командами аналитиков данных, специалистами по линейной оптимизации и моделированию
Стек:
- реляционные БД; ядро DWH Vertica, десятки разнообразных источников
- ETL Airflow
- много кастомной автоматизации на Python
Работаем удаленно, изредка появляется необходимость появляться в офисе в Москве. Есть ДМС. С наймом не затягиваем. Собеседование, общее тестирование, по необходимости еще одно собеседование, анкета для безопасников.
Пожелания к кандидату (идеально, если в отклике поподробнее распишете по каждому пункту, ну или поставите субъективную оценку от 1 до 10):
Обязательно:
- Python
- SQL
Желательно:
- опыт с Airflow или другое ПО для оркестрации
- linux
- docker
- git
- навыки проектирования хранилища данных