Data engineer DWH

Ищем инженера данных на DWH в индустрии. Не просто собираем и обрабатываем данные - команда является держателем бизнес-смыслов в сложной предметной области.

IT-компания из перечня Минцифры, есть ветка с бронированием.

Особенности рабочих процессов:

• отслеживаем новые технологии и фреймворки, регулярно что-то забираем для внедрения
• команда разумных размеров - есть возможность принять участие во всех процессах, не сидеть на узкоспециализированном участке
• допустимо выделение ресурсов на рефакторинг, улучшение процессов

Стек:

• реляционные БД; ядро DWH Vertica, ClickHouse, GreenPlum, десятки разнообразных источников данных
• ETL Airflow + dbt для витрин
• много кастомной автоматизации на Python
• DataCatalog ищем рещение на замену самописному
• деплой docker, jenkins, git/SVN

Ориентировочное распределение чем предстоит заниматься (довольно грубое, пропорции со временем можно смещать в сторону точки интересов или в сторону крупных командных проектов):

• 30% доработки ETL, отражающие изменения в системах-источниках и улучшающих аналитическое хранилище
• 25% доработки утилит ETL, автоматизация процессов
• 20% поддержка текущих регулярных процессов
• 15% участие в смежных проектах
• 10% внедрение новых технологий

Особенности технологических процессов:

• базовый процесс загрузки работает достаточно редко, пару раз в сутки по появлении инкремента
• по сути ELT с не всегда тривиальными трансформациями, специфическая предметная область
• являемся бизнес-аналитиками хранилища при помощи аналитиков систем-источников
• тесное взаимодействие с субкомандами аналитиков данных, специалистами по линейной оптимизации и моделированию

Пожелания к кандидату:

Обязательно:

• Python ядро + библиотеки для работы с данными;
• SQL на хорошем уровне (сложные запросы, оптимизация, оконные вычисления);
• знакомство с системами на linux

Желательно:

• опыт с Airflow или другое ПО для оркестрации
• СУБД Vertica, ClickHouse, GreenPlum
• docker, git
• навыки проектирования хранилища данных

Организационное:

• Оформление по ТК, зарплата белая, есть ДМС.
• Работаем удаленно, изредка появляется необходимость появляться в офисе в Москве.
• С наймом не затягиваем. Собеседование, общее тестирование, по необходимости еще одно собеседование, анкета для безопасников. Организация в перечне IT-компаний Минцифры, есть ветка с бронированием