Разработка, поддержка и доработка batch-пайплайнов данных.
Поддержка и развитие DAG’ов в Apache Airflow.
Работа со Spark и Hadoop: настройка, запуск и оптимизация расчетов, разбор проблем производительности и стабильности.
Разработка выгрузок, витрин данных и внутренних утилит для аналитиков и DS-команды.
Рефакторинг существующего кода: упрощение, повышение читаемости, надежности и взаимозаменяемости.
Техническая коммуникация с аналитиками и DS: уточнение деталей реализации, оценка рисков, предложение оптимальных решений.
Наши пожелания к кандидатам
Высшее техническое образование.
Опыт работы Python-разработчиком/дата-инженером.
Уверенный Python 3: написание поддерживаемого production-кода, работа с файлами, конфигурациями, логированием, обработкой ошибок.
Опыт работы с Hadoop-экосистемой.
Практический опыт работы со Spark: DataFrame API, джойны, партиционирование, понимание причин медленной работы задач и базовые способы оптимизации.
Практический опыт работы с Apache Airflow: создание и сопровождение DAG’ов, зависимости, расписания, перезапуски, обработка ошибок.
Уверенное владение Git: ветки, pull request / code review, разрешение конфликтов, работа в командном репозитории.
Умение читать и писать SQL для аналитических и ETL-задач.
Способность самостоятельно разобраться в новом коде, пайплайне или технологии и довести задачу до рабочего результата.
Что мы предлагаем
Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования.
Удаленный формат работы.
Среда для твоего неизбежного развития: тебя ждут сложные и интересные задачи с использованием большого массива данных, у нас регулярно проходят тренинги, вебинары, у тебя будет доступ к бесплатным корпоративным библиотекам Альпины и бизнес-изданий, скидки на курсы иностранных языков.
Карьерный рост: ты будешь понимать, что нужно сделать для перехода на другой уровень.
Чувство локтя: у нас дружелюбная атмосфера и команда лучших профессионалов, которые готовы делиться с тобой экспертизой.
Забота о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества. Также есть фитнес-зал в офисе.
Возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты.
Работа у трижды лучшего работодателя РФ по версии hh.ru, Forbes, РБК.
Программа развития AI-грамотности: треки по работе с нейросетями от базового до продвинутого уровня.