Data Engineer
Прямой работодатель NC-ONE ( nc-one.com )
Опыт работы от 3 до 5 летот 150 000 до 200 000 ₽
О компании Мы интернациональная дев команда с разработчиками в Норвегии, Польше и по СНГ с амбициозной задачей выстроить Lakehouse-инфраструктуру с нуля. В компании уже есть сильные специалисты и ресурсы во всех смежных направлениях, и теперь нам нужен Data Engineer, который возьмёт на себя ключевую роль в проектировании и развитии гибкой и высокопроизводительной платформы для обработки данных.
Обязанности
- Проектирование и развитие архитектуры Lakehouse (Iceberg/Delta/Hudi).
- Интеграция данных из различных источников (SQL/NoSQL, API, Kafka).
- Разработка и оптимизация ETL/ELT-пайплайнов с использованием Spark (PySpark/Scala) и Airflow.
- Настройка и поддержка инфраструктуры (Docker, Kubernetes, CI/CD).
- Обеспечение качества данных (Great Expectations, dbt tests).
- Взаимодействие с аналитиками и ML-инженерами для обеспечения стабильности витрин.
Технологический стек
- Хранилище: S3-совместимый стор, HDFS, Iceberg/Delta/Hudi.
- Обработка данных: Spark (PySpark/Scala), SQL (PostgreSQL, ClickHouse), Kafka, Airflow.
- Инфраструктура: Docker, Kubernetes, Git, CI/CD (Jenkins/GitLab/Bitbucket), мониторинг (Prometheus, Grafana, ELK).
- Data Quality: Great Expectations, dbt или аналогичные инструменты.
Требования
- Опыт от 3 лет в Data Engineering или разработке высоконагруженных систем.
- Уверенные знания Spark (batch/stream), SQL, Kafka.
- Опыт работы с Docker, Kubernetes, CI/CD.
- Понимание Lakehouse-парадигмы, транзакционных слоев (Iceberg, Delta, Hudi) — плюс.
- Владение Python (pandas, PySpark) и/или Scala (Spark).
- Английский язык на уровне чтения документации.
Если вас заинтересовала вакансия, отправьте своё резюме. Гарантируем оперативный оффер после интервью, будем рады знакомству!