Data Engineer

📌 Требования:

- Опыт работы с Greenplum

Стек: Python, SQL, Apache Airflow, AWS (S3, RDS, Glue, Athena, Fargate , Databricks, SQS, Lambda, Redshift, etc.), PostgreSQL, Redis, MongoDB, Pysaprk, Docker, Docker-compose, GitHub.

➕ Будет плюсом:

- Опыт в финтехе

📝 Задачи:

- Построение ELT-потоков данных на AWS;

- Написание SQL-запросов и процедур в Amazon RDS;

- Управление Amazon RDS;

- Помощь в моделировании данных для сервисов AWS;

- Оптимизация организации данных и производительности запросов на AWS;

- Предоставление эффективных облачных решений с AWS;

- Обработка данных с использованием AWS Databricks;

- Проектирование оркестрации с AWS Data Pipeline;

- Настройка хранения изображений на AWS S3;

- Параллеризация и оптимизация потоков данных с помощью AWS;

- Обработка больших объемов данных с помощью сервисов AWS;

- Разработка панелей мониторинга и отчетов с AWS QuickSight;

- Разработка bash-скриптов;

- Очистка данных с использованием AWS Glue;

- Тестирование SQL-баз данных и исправление ошибок;

- Управление и поддержка каталогов данных AWS Glue;

- Реализация безсерверных вычислений с использованием AWS Lambda;

- Разработка модели данных на Data Vault 2.0;

- Разработка связей между hub в виде link, по областям;

- Ревью и рефакторинг кода.