Data Engineer

Компания Emphasoft занимается разработкой продуктов в разных областях для западных и российских партнеров. Мы специализируемся на инновационных проектах с использованием последних технологий.

Сейчас компания растет, появляются новые активно развивающиеся проекты, поэтому нам в команду нужны опытные разработчики.

Проект, в который мы ищем специалистов занимается созданием и развитием платформы данных (Data Platform).

Обязанности:

• Разрабатывать и сопровождать сервисы/компоненты/процессы для потоковой и пакетной выгрузки данных из корпоративных систем в контур платформы данных;
• Взаимодействовать с коллегами DevOps/DBA по настройке окружений, деплоя, работы с инфраструктурой;
• Разрабатывать DQ процессы, средства мониторинга и уведомлений о качестве данных;
• Оперативно решать проблемы с качеством данных, задержками их доставки;
• Реализовывать процессы CI/CD и мониторинга разработанных процессов.

Требования:

• Продвинутый уровень владения Python, SQL (от 3х лет);
• Умение писать production ready сервисы для деплоя в Kubernetes;
• Отличные навыки работы и понимание внутреннего устройства Kafka;
• Опыт применения концепций непрерывной интеграции, доставки (CI/CD);
• Опыт построения пайплайнов потоковой и пакетной выгрузки/обработки данных;
• Опыт оптимизации запросов и проектирования схем данных;
• Знание концепций OLTP/OLAP, знакомство с современными системами хранения данных (MPP, NoSQL);
• Знание английского для чтения документации.

Будет плюсом:

• Знание Java, Spark;
• Опыт работы с AirFlow;
• Понимание основ DataOps;
• Опыт DevOps (Docker, k8s, Gitlab-CI, настройка окружения и др.);
• Опыт работы с PostgreSQL/Clickhouse/Vertica;
• Опыт проектирования высоконагруженных приложений;
• Понимание архитектуры и принципов построения хранилищ данных;
• Навыки работы с облачными платформами (на проекте AWS и Yandex Cloud).

Условия:

• гибкий график работы, возможность самостоятельно планировать свой рабочий день;
• удаленная работа;
• корпоративные курсы английского языка;
• корпоративная программа бонусов и привилегий от партнеров;
• отсутствие микроменеджмента и бюрократии.