Data Engineer (Senior)

#вакансия #удаленнаяработа #fulltime #remote #Data #Engineer #DE #Senior #РФ #TopSelection

Позиция: Data Engineer (Senior)💻

Вилка: до 2300 руб/час или 340.000 - 360.000 руб gross 💰

Занятость: Полная

Локация: РФ

Срок проекта: от 6 месяцев

Оформление: Только ИП

Компания: Top Selection

Привет! Меня зовут Анастасия. Я представляю группу компаний Top Selection.

Мы занимаемся трудоустройством IT специалистов на проектную занятость.

На данный момент мы в поисках Data Engineer.🔥

📝Задачи:

▪️Разработка и сопровождение ETL-пайплайнов и типовых интеграционных решений в data platform;

▪️Проектирование, реализация и оптимизация сложных ETL-процессов (в том числе разработки DAG для автоматизации);

▪️Реализация обработки потоковых данных;

▪️Разработка решений с различными системами хранения и распределенных SQL - движков;

▪️Внедрение подходов и процессов управления данными.

✅Требования:

▪️1. Обработка данных:

- Опыт работы с NiFi/AirFlow;

- Опыт проектирования пайплайнов обработки данных;

- Опыт проектирования с пайплайнов проверки качества данных;

- Опыт и понимание работы с Spark;

- Опыт программировании Java/Scala/Python;

- Опыт работы с Kafka/RabbitMQ.

▪️2. Хранение данных:

- Опыт работы с PostgreSQL, ClickHouse от 3 лет;

- Опыт работы с S3/Hadoop;

- Опыт построения дата - архитектуры (DWH, OLAP, ELT/ETL/Data Lake/LakeHouse);

- Знание SQL;

- Опыт работы с NoSQL базами данных;

- Опыт работы и понимание работы распределенных SQL движков trino/dbt.

▪️3. Управление данными:

- Понимание принципов Data Governance;

- Опыт работы с Data Catalog OpenMetadata/DataHub/Atlas.

▪️4. Дополнительно (будет плюсом):

- Знание DataOps - практик;

- Опыт с оркестрацией в Kubernetes;

- Интеграция ML-моделей в ETL процессы;

- Опыт работы с BI инструментами;

- Опыт работы с Data Mesh/Data Fabric.