Korzinka — крупнейшая сеть супермаркетов Узбекистана с активно развивающимся цифровым блоком: SuperApp, программа лояльности, Payments и OMNI-канальные сервисы. Мы строим data-платформу на Microsoft Fabric и Databricks: Lakehouse-архитектура с Delta Lake, полным Medallion-стеком и CI/CD через Azure DevOps.
Ищем Data Engineer, который умеет проектировать дата-продукты от raw до consumption, оптимизировать Spark-джобы под production-нагрузки и строить надёжные интеграции между десятками источников данных ритейл-компании.
Чем предстоит заниматься - Разработка дата-продуктов и пайплайнов:
- Проектировать дата-продукты полного цикла — от raw-слоя до consumption: витрины, семантические модели, API для downstream-сервисов; обеспечивать ownership, SLA, документирование и версионирование.
- Разрабатывать ETL/ELT-пайплайны на Microsoft Fabric, Databricks и Azure Data Factory (Dataflow Gen2, Pipelines, Notebooks) с учётом надёжности, идемпотентности и наблюдаемости.
- Создавать переиспользуемые инженерные фреймворки: шаблоны пайплайнов, библиотеки трансформаций, утилиты для Delta Lake.
- Реализовывать интеграции между источниками и платформой: ERP (SAP), CRM, WMS, POS, мобильное приложение, программа лояльности — согласование data contracts, обработка схемных изменений, мониторинг целостности.
- Оптимизация и архитектура:
- Advanced-оптимизация Spark-джобов: партиционирование, broadcast join, кэширование, управление ресурсами кластера.
- Оптимизация хранилища в Delta Lake и Fabric: Z-Order, V-Order, компакция, retention-политики, планы выполнения запросов.
- Проектирование моделей данных: Medallion (bronze/silver/gold), Star Schema, Data Vault — выбор подхода под downstream-потребителей.
- Работа с Lakehouse: транзакции Delta Lake, schema evolution, time travel, CDC.
- CI/CD и качество данных:
- Настройка CI/CD для data-пайплайнов через Azure DevOps: Pipelines, Repos (GitFlow), Artifacts.
- Контроль качества данных: data contracts, автоматизированные проверки (Great Expectations, dbt tests или аналоги), алертинг на аномалии и нарушения SLA.
- Работа с Azure Key Vault (секреты, ключи шифрования) и Microsoft Purview (каталогизация, lineage, классификация).
- Взаимодействие:
- С Data Analysts и Data Scientists — интеграция Lakehouse-форматов в downstream, совместное проектирование семантических моделей в Power BI / Fabric.
- С backend- и интеграционными командами, бизнес-доменами — проектирование data contracts и согласование схем.
- Участие в развитии data-платформы совместно с Head of Analytics: технический дизайн, оценка новых инструментов, архитектурные предложения.
- Документирование решений в Confluence или корпоративном репозитории.
Что мы ждём - Опыт в data engineering от 3 лет.
- Опыт с Microsoft Fabric или Databricks от 1 года.
- Уверенный PySpark: трансформации, оптимизация джобов, DataFrame API, Spark SQL.
- Уверенный SQL: оконные функции, CTE, оптимизация запросов, планы выполнения.
- Глубокое понимание Lakehouse и Delta Lake: ACID, schema evolution, time travel, V-Order, Z-Order, компакция.
- Azure Data Factory: пайплайны, linked services, triggers, мониторинг.
- Azure Key Vault и Microsoft Purview.
- CI/CD для data-пайплайнов: Azure DevOps Pipelines, GitFlow, автоматизированное тестирование.
- Моделирование данных: Medallion, Star Schema.
- Построение дата-продуктов: ownership, SLA, версионирование, data contracts.
- Опыт интеграций между гетерогенными источниками.
- Понимание ритейл-доменов: продажи, ассортимент, цепочка поставок, лояльность, маркетинг, e-commerce.
- Английский на уровне чтения технической документации и коммуникации с вендорами.
Условия - Современный стек: Microsoft Fabric, Databricks, Delta Lake, Azure DevOps.
- Гибкий режим работы, свобода от дресс-кода.
- Performance-бонусы по результатам Review.
- Таунхоллы, митапы, demo-дни, внутренние сообщества.
- Партнёрские программы обучения: иностранные языки, Skillbox, Geekbrains, Yandex Practicum.
- Карта Korzinka Plus с 10% кешбэком в сети.
- Наставничество и программы материальной поддержки.
- Referral-бонусы за рекомендации.