Разработчик BigData
Агентство / HR ресурс Lion recruitment ( lion-r.ru )
Опыт работы от 3 до 5 летот 120 000 до 300 000 ₽
Требования:
• Знание принципов ООП
• Опыт работы в разработке приложений BIG DATA от 2-хлет
• Уверенное знание Python (опыт работы с ML-библиотеками и библиотеками для работы с данными: pandas, numpy, sklearn и др.) ИЛИ Scala/Java
• Опыт работы с кластером Hadoop- желателен
• Понимание алгоритмов ML
• Уверенные знания MS SQL/Oracle или любой другой СУБД
• Опыт работы с корпоративными хранилищами данных и понимание принципов их построения
• Опыт проектирования баз данных
• Понимание методик unit-тестирования
• Умение разбираться в чужом коде
• Опыт работы с системами контроля версий
Будет плюсом:
• Знание паттернов интеграции
• Опыт работы с гибкими методологиями разработки (Agile/Scrum)
• Опыт работы со Spark API (либо другими фреймворками распределенной обработки данных: H2O, и др.)
• Опыт работы с СУБД класса NoSQL (ClickHouse, HBase)
• Hive/Impala, другой инструментарий стека BIG DATA
• Понимание принципов CI/CD
Задачи:
• Разработка кода для применения ML-решений в промышленной среде
• Использование методов распределенной обработки данных на кластере
• Работа с базами данных и корпоративными хранилищами
• Участие в проектировании решений
• Участие в системном анализе, оценке и обсуждении требований заказчика
• Написание технической документации
• Участие в развертывании ПО на тестовых и продуктивных средах
• Участие в code review
• Написание Unit-тестов
• Поддержка и устранение ошибок
• Работа в Agile-команде