Data Engineer
Прямой работодатель Emphasoft ( emphasoft.com )
Опыт работы от 3 до 5 летот 200 000 до 250 000 ₽
Компания Emphasoft занимается разработкой продуктов в разных областях для западных и российских партнеров. Мы специализируемся на инновационных проектах с использованием последних технологий.
Сейчас компания растет, появляются новые активно развивающиеся проекты, поэтому нам в команду нужны опытные разработчики.
Проект, в который мы ищем специалистов занимается созданием и развитием платформы данных (Data Platform).
Обязанности:
- Разрабатывать и сопровождать сервисы/компоненты/процессы для потоковой и пакетной выгрузки данных из корпоративных систем в контур платформы данных;
- Взаимодействовать с коллегами DevOps/DBA по настройке окружений, деплоя, работы с инфраструктурой;
- Разрабатывать DQ процессы, средства мониторинга и уведомлений о качестве данных;
- Оперативно решать проблемы с качеством данных, задержками их доставки;
- Реализовывать процессы CI/CD и мониторинга разработанных процессов.
Требования:
- Продвинутый уровень владения Python, SQL (от 3х лет);
- Умение писать production ready сервисы для деплоя в Kubernetes;
- Отличные навыки работы и понимание внутреннего устройства Kafka;
- Опыт применения концепций непрерывной интеграции, доставки (CI/CD);
- Опыт построения пайплайнов потоковой и пакетной выгрузки/обработки данных;
- Опыт оптимизации запросов и проектирования схем данных;
- Знание концепций OLTP/OLAP, знакомство с современными системами хранения данных (MPP, NoSQL);
- Знание английского для чтения документации.
Будет плюсом:
- Знание Java, Spark;
- Опыт работы с AirFlow;
- Понимание основ DataOps;
- Опыт DevOps (Docker, k8s, Gitlab-CI, настройка окружения и др.);
- Опыт работы с PostgreSQL/Clickhouse/Vertica;
- Опыт проектирования высоконагруженных приложений;
- Понимание архитектуры и принципов построения хранилищ данных;
- Навыки работы с облачными платформами (на проекте AWS и Yandex Cloud).
Условия:
- гибкий график работы, возможность самостоятельно планировать свой рабочий день;
- удаленная работа;
- корпоративные курсы английского языка;
- корпоративная программа бонусов и привилегий от партнеров;
- отсутствие микроменеджмента и бюрократии.