Senior Data Engineer

✅Ищем Sr Data Engineer в команду со сложной технической задачей.

💼Работать предстоит над подсистемой биржевого аналитического продукта, которая называется MDH (Market Data Hub) и отвечает за эффективное хранение и быструю отдачу биржевых данных.

📌Упор - на качество данных, покрытие тестами, визуализацию.

🏅ВАЖНО: должно быть понимание бизнес-сути продукта, то есть фондового рынка и инвестирования.

💻Обязанности:

⚙️Настройка интеграций с источниками данных

⚙️Организация и поддержка работы каталога данных

⚙️Поддержка и помощь в работе с хранилищем данных

⚙️Взаимодействие с командами разработки и аналитики

🎯Требования:

🗂Опыт работы с Apache Airflow в корпоративной среде:

📌Настройка и управление пайплайнами данных.

📌Опыт разработки DAG на Python для автоматизации ETL процессов.

📌Оптимизация и мониторинг выполнения DAG-ов.

🗂Опыт самостоятельной разработки ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных

🗂Понимание принципов и опыт работы с каталогами данных

🗂Навыки работы с DBT (Data Build Tool):

📌Разработка и поддержка моделей данных с использованием DBT.

📌Интеграция DBT в пайплайны данных для трансформации данных.

📌Понимание процессов версионирования моделей данных.

🗂Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming). Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно)

🗂Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих.

🗂Опыт работы с реляционными базами данных (PostgreSQL, MSSQL)

‼️Будет плюсом:

➕Опыт работы с облачными платформами (Yandex.Cloud)

➕Навыки работы с системами контроля версий (Git), настройка CI/CD для дата-процессов

💡Условия:

🧑‍💻Удаленная работа;

🌎Свободная локация;

🕟Fulltime по МСК +/-2 часа;

🔖Взаимодействие по ИП;

🔋Полная занятость, долгосрочный проект.