X5 Tech — IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 5000 специалистов разрабатывает решения, которые помогают 372 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Команда Данные и Мониторинги вертикали Орбита занимается формированием данных для процессов ценообразования X5.
В продукте реализуется масса различных интеграций; задачи также включают аналитику, разработку и продуктивизацию ML- и LLM-моделей. В роли DE/ML кандидату предстоит заниматься продуктивизацией и масштабированием ETL-пайплайнов, ML-сервисов и развитием кодовой базы. Принципиальным для роли является уверенное знание Python, SQL, Airflow, Spark, а также подходов к распределенной обработке данных на стеке Hadoop/Trino/HDFS/S3. Большим плюсом будет опыт работы с K8s и разработки микросервисов.
Стек:
• PySpark{3,4} / Trino
• Kubernetes / MinIO / Iceberg / ClickHouse / PostgreSQL
• Kafka
• Airflow 2.11
• Python 3
• FastAPI
• Docker
Обязанности:
- Разрабатывать собственную систему мониторинга цен и участвовать в развитии её архитектуры
- Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
- Продуктивизировать ML- и LLM-модели в процессы обработки данных
- Автоматизировать интеграцию данных из внешних и внутренних источников
- Настраивать хранение и доступность данных
- Делать платформу более надёжной, масштабируемой и удобной
- Развивать систему мониторинга цен и сбора данных для процессов ценообразования: собирать данные из разных источников, очищать, трансформировать и готовить их для процессов ценообразования, обеспечивая стабильный и масштабируемый поток данных.
- Интегрировать ML- и LLM-модели в процессы и обеспечивать их отказоустойчивость и масштабирование
Условия:
- Официальное оформление с белой ЗП, ежеквартальные премии по результатам работы;
- Возможность работать удалённо или в гибридном формате;
- Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья;
- Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн- и офлайн-мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое;
- Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов;
- Обмен опытом через сообщества: 12 технических комьюнити от Java до DevOps;
- Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge;
- Забота о благополучии сотрудников: 7 спортивных сообществ (бег, футбол, волейбол, баскетбол, хоккей, лыжи, триатлон), ежегодная Неделя здоровья;
- Скидки в экосистеме бизнесов Х5 («Пятёрочка», «Перекрёсток», «Много лосося», «Перекресток Впрок»);
- Программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров);
- Материальная помощь сотрудникам, попавшим в сложную жизненную ситуацию.
Присоединяйся к команде X5 Tech, чтобы создавать будущее ритейла вместе с нами!