Senior Data Engineer/Python Developer

Мы занимаемся разработкой софта для бизнеса в России, Европе и США более 10 лет. Работаем как с крупными корпорациями, так и со стартапами в различных областях. 

Кого ищем: 
Senior Data Engineer/Python Developer на совместный проект с крупной компанией.

Проект:
Создание корпоративного хранилища данных (КХД) для региональной сети продовольственных магазинов. На базе КХД клиент строит аналитику для более взвешенных управленческих решений. Использование хранилища происходит как для регулярной отчетности, так и для разовых изысканий. Дополнительная цель проекта — это уменьшение нагрузки на операционную инфраструктуру компании, по средствам переноса аналитических запросов в отдельную БД, а также повышение чистоты данных, аккумулируя их в одном хранилище.

Основная задача: разработка ETL-пайплайнов, написание кода на Python под Spark и Airflow. 

Какой опыт мы ожидаем: 

• Spark / PySpark версии 3, Structured Data Streaming;
• Clickhouse, Clickhouse SQL;
• Airflow 2;
• MSSQL 2008+, T-SQL;
• Yandex Cloud (Compute Cloud, VPC, S3, Logging, Monitoring) или похожее другое облако (Google Cloud, Azure, AWS); 
• Linux / Ubuntu на уровне пользователя.

Желательно:

• Kafka версии 3;
• Debezium;
• Terraform;
• Git, Git Flow.

Что мы предлагаем:

• Удаленную работу из России или за рубежом;
• Работу в аккредитованной IT компании;
• Если вы в Ярославле, то можно работать в гибридном формате (комфортный офис в центре города);
• Гибкий график без отслеживания активности (главное - результат);
• Атмосферу стартапа внутри компании;
• Классную команду, с которой можно реализовывать крутые и амбициозные идеи;
• Возможность изучения новых технологий и их применение в проектах, внутреннее обучение.