Инженер данных

ООО "Марс" · Санкт-Петербург (м. Московская) · 1 month ago

Work mode: Hybrid
Category: Data engineering
Visa sponsorship: No
Company size: 501-1000

airflow data-lake data-pipelines hadoop java kafka nifi python scala spark sql

Builds and optimizes data pipelines (batch and streaming) for a pet nutrition company, using Airflow, Spark, Hadoop, and SQL.

Вы будете:

Разрабатывать и оптимизировать пайплайны обработки данных (как batch, так и streaming).

Интегрировать новые источники данных в Data Lake.

Участвовать в развитии фреймворка по качеству данных.

Проводить код-ревью.

Мы ожидаем:

Опыт разработки пайплайнов обработки данных в Apache Airflow.

Опыт оптимизации приложений на Apache Spark.

Понимание работы СУБД и принципов построения хранилищ данных.

Опыт работы с Hadoop (Apache Spark, HDFS, YARN etc.).

Уверенное владение SQL, Python/Scala/Java.

Будет плюсом:

Опыт работы с Apache Kafka, Apache NiFi.

Наличие опыта оптимизации потребления ресурсов.

Готовность участвовать в развитии лучших инженерных практик внутри компании.

Мы предлагаем:

Декретную позицию.

Конкурентную заработную плату, квартальные/годовые премии.

Расширенный ДМС для тебя и членов семьи, включая стоматологию.

Гибридный график работы.

Страхование жизни с первого рабочего дня.

100% оплату больничного листа.

Корпоративную программу софинансирования долгосрочных накоплений.

Компенсацию питания, оплату мобильной связи и интернета.

Возможности карьерного и профессионального развития, а также обучение за счет компании.

Корпоративную программу по поддержке здоровья и благополучия сотрудников (консультации с финансовыми специалистами, юристами, психологами и экспертами по здоровому образу жизни, марафоны здоровья и др.).

Работу в современном дружелюбном к домашним питомцам офисе.

Возможность приобретать продукцию компании с корпоративной скидкой.

Уютную кухню с перекусами, кофе и чаем.

Систему бонусов и скидок от компании и партнеров.

Explore more jobs

Вы будете:

Мы ожидаем:

Мы предлагаем: