Data engineer

Наш стек: Apache Spark, Spark streaming, Kafka, Apache Hive, Airflow, Linux, Git, Bash, Vertica, Grafana+Zabbix, PostgreSql, ClickHouse, DB2.

Мы разрабатываем: систему мониторинга качества данных, интеграционные потоки и API, витрины данных. Сами управляем нашей инфраструктурой.
Наша команда состоит из инженеров данных, аналитиков данных, администраторов платформы данных и экспертов поддержки.

Основные задачи:

- Поддержка работоспособности и дальнейшее развитие платформы данных;
- Интеграция Х Д с различными источниками (FTP, API, сайты) с помощью Python;
- Преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python;
- Разработка витрин данных с использованием SQL, Python, PySpark;
- Разработка и доработка batch и real-time процессов загрузки данных в различные слои ХД в Hive, Vertica, PostgreSQL, ClickHouse, DB2;
- Развитие системы мониторинга качества данных;
- Совершенствование и разработка новых внутренних процессов команды;
- Декомпозиция и оценка трудозатрат по своим задачам;
- Code-review;
- Поддержка в актуальном состоянии базы знаний и технической документации ХД;

Опыт и навыки, которые мы ожидаем:

- Законченное высшее образование;
- Понимание теории и практики построения Хранилищ Данных на уровне data-инженера;
- Опыт работы с HDFS и spark;
- Уверенное владение SQL: опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов;
- Уверенные навыки программирования на Python;
- Понимание принципов работы Git-систем и систем оркестрации;
- Знание основных команд Linux на уровне пользователя.


Почему тебе понравится работать в ИЦ:

- Мы, действительно, Инновационные и делаем крутые полезные продукты для города;
- Наша команда — это лучшие эксперты, талантливые, креативные, яркие личности и просто хорошие люди. Да, все такое пишут, банально, но это факт. По отзывам наших сотрудников — это одно из самых больших преимуществ нашей работы;
- Развитие. Мы непрерывно учимся новому у внешних и внутренних экспертов, прокачиваемся не только в IT, а и в транспортной и городской тематике. У нас огромное количество проектов, на которых можно быстро профессионально развиваться. Опытные руководители и наставники. Возможность посещения различных курсов и тренингов от корпоративного университета Департамента транспорта;
- Стабильность. Московский транспорт работает для жителей и гостей города при любых условиях. Уникальное сочетание энергии IT компании, стабильности и ресурсов ГОСа;
- График: гибрид 5/2 (1 день из офиса);
- Локация: офис в центре Москвы, м. Белорусская;
- Отпуск 42 дня, бесплатный проезд в метро, корпоративные скидки от компаний — партнеров и т. д.;
- Заработная плата обсуждается индивидуально, в зависимости от опыта кандидата.