Data Platform Engineer

#Microsoft Fabric #Databricks

Мы ищем Middle Data Platform Engineer с опытом работы в Microsoft Fabric или Databricks для построения и оптимизации дата-платформы в сфере ритейла. Основная задача – проектирование, разработка и поддержка облачной платформы обработки данных с интеграцией различных источников и аналитикой в реальном времени.

Работа в ритейле требует глубокого понимания данных о продажах, цепочке поставок, потребительском поведении и управлении товарными запасами. Ключевая цель – создание масштабируемой, высокодоступной и аналитически-насыщенной среды для поддержки бизнес-решений.

Ключевые обязанности (MS Fabric)

• Проектирование архитектуры данных с использованием Microsoft Fabric, включая OneLake, Lakehouses, Synapse Data Warehouse и Power BI.
• Разработка и внедрение ETL/ELT-конвейеров данных с помощью Fabric Data Pipelines и AzureDataFactory для интеграции с различными источниками (ERP, CRM, POS-системы и др.).
• Оптимизация хранения и обработки данных в OneLake и Lakehouses, включая поддержку структурированных и неструктурированных данных.
• Настройка Real-Time Analytics для потоковой обработки данных (анализ транзакций, логистика, отслеживание продаж в режиме реального времени).
• Интеграция с Power BI и построение семантических моделей для бизнес-аналитики.
• Оптимизация SQL-запросов для работы с большими объемами данных в Synapse Data Warehouse.
• Автоматизация CI/CD-конвейеров с использованием Azure GitOps для развертывания и управления дата-инфраструктурой.
• Обеспечение безопасности и соответствия стандартам работы с персональными и коммерческими данными.

Инструменты и технологии, с которыми предстоит работать

• Microsoft Fabric:
• DevOps & CI/CD:

Требования к кандидату

• Практический опыт работы с Microsoft Fabric или Databricks.
• Опыт работы от 2 лет в области data engineering и работы с облачными хранилищами данных.
• Глубокие знания SQL, Python, Spark или PySpark, T-SQL.
• Опыт оптимизации SQL-запросов и работы с большими объемами данных.
• Понимание архитектуры баз данных и lakehouse-концепции.
• Опыт работы с ETL/ELT процессами, DataOps, CI/CD для данных.

Будет плюсом

• Опыт работы с потоковыми данными (Kafka, Event Hubs, Stream Analytics – будет плюсом).
• Знание лучших практик работы с ритейл-данными (управление ценами, запасы, лояльность клиентов и т. д.).

​, ​