⚠︎ Архивная вакансия
Эта вакансия была перемещена в архив. Возможно она уже не актуальна и рекрутер больше не принимает отклики на эту вакансию. Вы можете  найти актуальные похожие вакансии

Senior Data Engineer

Прямой работодатель  ATOM (АО "Кама") ( order.atom.auto )
Набережные Челны, Москва, Санкт-Петербург, Тольятти, Россия
Сеньор
Аналитика, Data Science, Big Data • Инженер • Разработчик • Python • Scala • Apache Spark • Apache Zeppelin • Hadoop • MapReduce • Torch AI • CRM • Computer Vision • Dev tools • Data Analysis • Ecommerce • Embeded • FMCG/Потребительские товары • Hardware • IoT/IIoT • ML/AI • Natural Language Processing (NLP) • Robots/Drones • SaaS/PaaS • SmartTV • Voice assistants • VR/AR • WEB • Банковская и страховая сфера • Заказная разработка • Консалтинг, профессиональные услуги • Платежные технологии • Промышленность • Производство • Системная интеграция • Торговля и общепит • Телекоммуникации
12 декабря 2023
Удаленная работа • Работа в офисе
Опыт работы любой
Работодатель  ATOM (АО "Кама")
Описание вакансии

Мы — АТОМ. Разрабатываем электромобиль-гаджет и его версии для семьи, такси, каршеринга и службы доставки, а также собственный маркетплейс приложений и другие сервисы.

Мы ищем Senior Data Engineer (Python или Scala) в команду Data, которая создает Data Platform и работает с данными.

Чем предстоит заниматься:

  • Построение моделей данных и разработка схем для новых источников данных.
  • Авто-мониторинг, устранение проблем и оптимизация пайплайнов данных.
  • Проведение code review для поддержания стандартов написания кода и улучшения codebase.
  • Управление поставкой данных и процессами ETL/ELT.
  • Написание и автоматизация ETL/ELT пайплайнов для извлечения или преобразования новых и существующих данных из нескольких источников.
  • Преобразование данных различными способами для поддержки потребностей исследователей данных и аналитиков данных.
  • Дизайн и разработка масштабируемой и расширяемой архитектуры данных.
  • Написание пайплайнов для пакетной обработки и обработки в реальном времени из различных источников.
  • Разработка платформенных решений для сбора, хранения и анализа данных безопасным, стабильным и масштабируемым способом.
  • Автоматизация процесса контроля доступа к данным и выбор эффективных механизмов Data Management и Data Governance.

Для нас важно:

  • Опыт коммерческой разработки на Python или Scala от 2 лет.
  • Опыт работы с технологиями ETL (такими как Apache Spark или оркестровка с Apache Airflow) от 2 лет.
  • Опыт работы с данными (традиционные базы данных, такие как PostgreSQL и MongoDB, а также решения для хранения больших объемов данных, такие как Apache Iceberg, Parquet, Avro, HDFS с Hive).
  • Опыт работы с крупномасштабными решениями потоковой передачи данных (с использованием таких технологий, как потоковая передача Spark, Kafka, Kinesis и Pulsar).
  • Понимание управления данными с помощью инструментов ведения журналов и мониторинга (таких как стек ELK, Splunk и Open Telemetry).
  • Опыт работы с подходами Data-as-a-code.
  • Опыт работы с BI (SuperSet, Tableau, Power BI) и BigData DWH (Cassandra, Hbase, Hive, Clickhouse).
  • Понимание use cases использования Data Lakes vs Data Warehouses.
  • Отличное знание SQL.
  • Опыт участия в разработке архитектуры поставки данных от концепции до запуска основных компонентов в продакшене.
  • Опыт работы в роли технического ментора в команде по разработке данных. Стремление делать других лучше с помощью code review, внимания к документации и техническим рекомендациям.
  • Способность регулярно брать сложные проекты / codebases и улучшать или упрощать их.
  • Выступать в качестве ресурса, к которому обращаются команды за техническими советами, и способность взвешивать технические решения, которые также влияют на другие команды.
  • Глубокое понимание лучших отраслевых практик в области стандартов, качества и постоянное совершенствования в области Data Engineering, Science or Analytics.
  • Понимание компромисса между техническими и бизнес-потребностями, способность взаимодействовать и вести переговоры с ключевыми stakeholders, а также предлагать решения, учитывающие все эти потребности.

Мы предлагаем:

  • Высокотехнологичный продукт, которым хочется гордиться.
  • Работу в международной команде.
  • Трудоустройство в аккредитованной ИТ-компании.
  • Годовую премию и дополнительные бонусы в кафетерии льгот, которые можно тратить на питание, транспорт, ДМС со стоматологией, страхование жизни и имущества, фитнес, образование и другое.
  • Бесплатный доступ к платформе с обучающими курсами iSpring, корпоративное обучение китайскому языку, спортивные командные игры и другие приятные мелочи.

Как будем общаться:

  • Интервью с HR.
  • Видео-интервью с командой.
  • Видео-интервью с Head of data.
  • Job offer.

Пройди вместе с нами крутой кейс по созданию электромобиля с нуля!