Цифровые Привычки – аккредитованная IT-компания, резидент Сколково, топ-5 подрядчиков Сбера. Мы предоставляем услуги IT-консалтинга, заказной разработки, аутсорсинга IT-процессов и развиваем собственные продукты и проекты партнеров.
Наша команда — это сплоченный коллектив высококвалифицированных профессионалов, способных эффективно решать самые сложные задачи. Нас более 250 человек, распределенных по разным проектам и городам.
Люди — самый ценный актив.
Наша команда экспертов объединена общими идеями, ценностями и миссией. Мы делаем свою работу лучше каждый день благодаря общим принципам, которые нами движут.
Мы заботимся о благополучии специалистов: создаем комфортные условия труда, ставим амбициозные задачи и даем возможность поменять проект, если он по каким-то причинам перестал устраивать.
Количество наших проектов растет, как растет и наша команда. Сейчас мы в поиске Data Engineer
Формат работы - на период испытательного срока в офисе, далее гибрид
Мы ищем на проекты: Сбера
Основные задачи:
- Проектирование, разработка и развитие корпоративного хранилища данных на базе Greenplum и других MPP-СУБД.
- Разработка и поддержка ETL/ELT-процессов с использованием Apache Airflow.
- Проектирование и реализация потоков загрузки, трансформации и обработки больших объёмов данных.
- Разработка высокопроизводительных SQL-запросов, их оптимизация и анализ планов выполнения.
- Работа с большими объёмами данных и повышение производительности процессов обработки и хранения данных.
- Разработка и сопровождение сервисов и API на Python с использованием FastAPI/Flask.
- Интеграция различных источников данных и систем в единое хранилище.
- Работа с Apache Hive: разработка запросов, обработка и оптимизация хранения больших объёмов данных.
- Разработка решений для распределённой обработки и аналитики данных.
- Использование ClickHouse и Trino для построения аналитических решений и работы с распределёнными источниками данных.
- Разработка и поддержка программного кода в Git, участие в code review.
- Настройка и сопровождение CI/CD-процессов для автоматизации сборки, тестирования и доставки приложений и ETL-пайплайнов.
- Мониторинг и поддержка работоспособности ETL-процессов, поиск и устранение ошибок и узких мест.
- Участие в проектировании архитектуры data-платформы и выборе технологий для решения задач обработки данных.
- Взаимодействие с аналитиками, разработчиками, архитекторами и другими участниками команды при реализации data-проектов.
- Самостоятельный анализ и решение технических задач, связанных с качеством, производительностью и доступностью данных.
- Участие в развитии технических решений, внедрении новых инструментов и совершенствовании процессов работы с данными.
- Поддержка технической документации и участие в формировании и развитии стандартов разработки.
Наши ожидания:
- Высшее образование в области ИТ
- Опыт работы в роли data engineer от 4х лет
- Опыт построения хранилища данных в Greenplum или другой MPP СУБД
- Опыт промышленной разработки на Python (FastApi/Flask)
- Опыт работы c ETL/ELT инструментами (Airflow)
- SQL на экспертном уровне, опыт оптимизации запросов, работы с большими объёмами данных
- Опыт работы с Hive
- Git
- CI\CD
Будет плюсом:
- Навыки работы с ClickHouse, Trino
- Умение работать в команде
- Хорошие коммуникативные навыки
- Присутствует критическое мышление
- Способность самостоятельно решать возникающие задачи и проблемы
- Самообучение (новые технологии, процессы)
Условия: - Достойная заработная плата.
- У нас 2 этапа, будь к этому готов!
- Оформление по ИП.
- Офис Кутузовский проспект 32к1.
- Формат работы - на период испытательного срока в офисе, далее гибрид
- Реальный рост внутри компании, регулярный пересмотр зарплаты по результатам работы.
- Обучение в образовательном центре HeadBridge на базе компании.
- Доход обсуждаем с каждым кандидатом индивидуально (все зависит от вашего уровня знаний)