Разработчик / программист (сбор данных, парсинг)
Прямой работодатель ALTWeb Group ( altwebgroup.com )
Дубаи, ОАЭ
Миддл • Сеньор
3 октября 2023
Удаленная работа
Опыт работы от 1 года до 3х лет
Опыт работы от 1 года до 3х лет
Короткая ссылка: gkjb.ru/hc3a
Описание вакансии
Компания ALTWeb Group ищет специалиста по сбору данных из открытых источников, в том числе парсинг. Специалисту предстоит разработать сложную систему сбора данных.
В основные обязанности разработчика будет входить:
- Написание и поддержка программных продуктов для веб-скрапинга;
- Разработка системы непрерывного многопоточного сбора данных их множества источников;
- Разработка систем мониторинга качества собранных данных.
Требования к кандидату:
- Опыт парсинга открытых источников (в том числе: headfull и headless парсинг, парсинг JS driven сайтов на React/Angular/Vue/etc, парсинг сайтов на CDN, например Cloudflare);
- Опыт работы с базами данных;
- Обязателен опыт работы с Puppeteer/Selenium от 1 года;
- Желание проектировать решения нестандартных задач и реализовывать их;
- Предполагаемый стек разработки: Python, NodeJS, Javascript, Java, PHP, Ruby, Go, C#;
- Перспективные инструменты разработки: Selenium, Playwright, PhantomJS, Puppeteer, Cypress, Cucumber, и т.п.
Дополнительные плюсы:
- Опыт работы с БД (SQL Server, Postgres, Mongo);
- Любые знания/опыт c ETL задачами и нормализацией данных;
- Любые знания/опыт в области devops.
Условия работы:
- Интересные проекты и задачи, а также возможность профессионального развития;
- Полностью удалённая работа - мы не привязаны к месту, собираем самых сильных сотрудников вне зависимости от их местоположения;
- Щедрый обмен знаниями и опытом;
- Адекватное руководство, не бюрократический подход в обсуждении рабочих процессов;
- Уровень заработной платы финально определяем с успешным кандидатом;
- Полная занятость, гибкий график работы.