Junior/Junior+ Data Engineer

Обязанности: 
– Сбор данных из различных источников, парсинг телеграмм каналов, выгрузка открытых наборов данных, получение роликов с платформ видеохостинга;

– Подготовка, сортировка и дистилляция полученных данных;

– Нарезка материала на кадры, формирование запроса для разметки данных на аутсорсинг;

– Разработка python- скриптов для оптимизации своей работы;

– Контроль качество собираемых данных;

Требования:

– Уверенное знание Python, так же таких библиотек (NumPy, SciPy, Pandas, Beautiful Soup);
– Знание одного из популярных инструментов для разметки изображений (Label Studio, Labelbox и другие);
– Знание методов сбора данных из различных источников, включая веб-скрейпинг и использование API;

Приветствуется:
– Опыт работы с облачными БД (Google Bucket, Яндекс Cloud);
– Знание одного из популярных DL-фреймворков (PyTorch, Tensorflow);
– Работа с ОС Linux;
– Опыт взаимодействия с БПЛА;
– Применения стека технологий разработки: Git, Docker