Data Engineer в команду Clickstream

Вам предстоит:

• разрабатывать новые и поддерживать существующие продукты в составе кросс-функциональной команды;
• заниматься развитием существующей BigData-платформы с упреждением растущей нагрузки от новых задач и данных (90% задач связаны со Spark);
• создавать новые сервисы на Python и улучшать уже существующие;
• продвигать лучшие практики и делиться с командой своим опытом;
• предлагать новые подходы и тут же пробовать их в продакшене с реальными данными.

Мы ждём, что вы:

• знаете и умеете писать на Python или Java/Scala (с переходом на Python);
• глубоко понимаете экосистему Hadoop/Spark/Hive и связанных продуктов;
• имеете опыт работы с данными/решали аналитические задачи;
• умеете администрировать Linux системы на базовом уровне;
• не боитесь нестандартных решений.

Будет здорово, если вы:

• имеете опыт работы с Apache Airflow, знаете принципы построения пайплайнов;
• разрабатывали бэкенд приложения на Flask/Asyncio/Django/другом Python фреймворке или Golang;
• разбираетесь в инфраструктуре Apache Kafka;
• писали стриминговые приложения на Apache Flink/Spark;
• использовали в своей работе для администрирования оркестраторы кластеров (Ansible, SaltStack, Puppet и др.)
• умеете и любите писать тесты, знаете и применяете подходы TDD, BDD; 
  собирали CI/CD решения, умеете работать с Docker;
• работали с кластерными СУБД (Vertica, Clickhouse, Sphinx, Trino и др.).

Работа у нас — это:

• интересные и важные задачи на очень большом проекте;
• передовые технологии и подходы, возможность пробовать новое;
• опытные и заинтересованные коллеги, готовые оказать поддержку;
• возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных;
• личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
• забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
• возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.