Data Engineer

Carbox — мультипродуктовая IT-компания. Мы создаем приложения, которыми пользуется каждый пятый водитель России. Уже более 10 млн автомобилистов выбрали сервисы от Carbox. Мы приветствуем data-driven подход и культуру экспериментов. Ждём, что ты жаждешь принять участие в создании лучших продуктов и менять мир автомобилистов вместе с нами!
Сейчас мы расширяем штат и ищем Data Engineer с высоким уровнем самостоятельности, который не упустит возможность построить инфраструктуру данных мечты, на реальной big data с террабайтами данных.

Чем предстоит заниматься:

1. Проектирование DWH, OLAP и ETL.
2. Взаимодействие с коллегами DevOps по настройке окружений, деплоя кода, работы с инфраструктурой компании.
3. Перенос кода расчетов из MySQL на Spark и его последующие оптимизации.
4. Настройка и поддержка стэндов с которых запускаются задания.
5. Написание ETL пайплайнов.
6. Решение неожиданных проблем с данными, задержками их доставки.
7. Настройка мониторинга разнообразных процессов.

Что для нас важно:

• Уверенные знания Python 3 (структуры данных, алгоритмы, концепции языка);
• Уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов;
• Глубокие теоретические знания стека технологий и практический опыт (Spark, Spark, Hadoop, Hive);
• Linux;
• Опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP;
• Опыт оптимизаций sql-запросов;
• Опыт работы с MPP базами данных;
• Опыт работы с Airflow, Airbyte или Jitsu;
• Опыт работы с MySQL и Clickhouse;
• Знание и практический опыт использования Pandas и NumPy для продвинутой аналитики.

Мы предлагаем:

• Полностью удаленную работу и возможность работать из любой точки мира;
• Официальное трудоустройство в аккредитованной ИТ компании и 100% белую зарплату;
• Обучения и мероприятия за наш счет;
• Несколько дополнительных day off в год;
• Работаем без трекеров рабочего времени;
• Приветствуем Data-driven подход и культуру экспериментов;
• Соблюдаем work-life balance с понятными процессами и отсутствием бюрократии.