Data Engineer

Прямой работодатель  NC-ONE ( nc-one.com )
Москва, Worldwide
Миддл • Сеньор • Тимлид/Руководитель группы
Аналитика, Data Science, Big Data • SQL • Spark • Apache Spark • Machine Learning • ClickHouse • PostgreSQL • Scala • Data scientist • Data Science • Desktop • ML/AI
28 января
Удаленная работа
Опыт работы от 3 до 5 лет
от 150 000 до 200 000 ₽
Работодатель  NC-ONE
Описание вакансии

О компании Мы интернациональная дев команда с разработчиками в Норвегии, Польше и по СНГ с амбициозной задачей выстроить Lakehouse-инфраструктуру с нуля. В компании уже есть сильные специалисты и ресурсы во всех смежных направлениях, и теперь нам нужен Data Engineer, который возьмёт на себя ключевую роль в проектировании и развитии гибкой и высокопроизводительной платформы для обработки данных.

Обязанности

  • Проектирование и развитие архитектуры Lakehouse (Iceberg/Delta/Hudi).
  • Интеграция данных из различных источников (SQL/NoSQL, API, Kafka).
  • Разработка и оптимизация ETL/ELT-пайплайнов с использованием Spark (PySpark/Scala) и Airflow.
  • Настройка и поддержка инфраструктуры (Docker, Kubernetes, CI/CD).
  • Обеспечение качества данных (Great Expectations, dbt tests).
  • Взаимодействие с аналитиками и ML-инженерами для обеспечения стабильности витрин.

Технологический стек

  • Хранилище: S3-совместимый стор, HDFS, Iceberg/Delta/Hudi.
  • Обработка данных: Spark (PySpark/Scala), SQL (PostgreSQL, ClickHouse), Kafka, Airflow.
  • Инфраструктура: Docker, Kubernetes, Git, CI/CD (Jenkins/GitLab/Bitbucket), мониторинг (Prometheus, Grafana, ELK).
  • Data Quality: Great Expectations, dbt или аналогичные инструменты.

Требования

  • Опыт от 3 лет в Data Engineering или разработке высоконагруженных систем.
  • Уверенные знания Spark (batch/stream), SQL, Kafka.
  • Опыт работы с Docker, Kubernetes, CI/CD.
  • Понимание Lakehouse-парадигмы, транзакционных слоев (Iceberg, Delta, Hudi) — плюс.
  • Владение Python (pandas, PySpark) и/или Scala (Spark).
  • Английский язык на уровне чтения документации.

Если вас заинтересовала вакансия, отправьте своё резюме. Гарантируем оперативный оффер после интервью, будем рады знакомству!


Откликнуться на вакансию
Быстрый отклик и регистрация/авторизация

Или быстрая регистрация/авторизация через OAuth