Data Engineer

О компании
«Финтехсервис» — один из крупнейших поставщиков трафика на рынке спортивной и финансовой лидогенерации. Мы стремимся к масштабированию, осваиваем новые сегменты рынка лидогенерации и активно работаем с большими данными: разрабатываем новые инструменты и запускаем перспективные проекты.

В данный момент ищем опытного Data Engineer для построения и поддержки надёжных, масштабируемых решений по работе с данными. Вы будете участвовать в создании ETL‑процессов, проектировании хранилищ данных и обеспечении их качества — и всё это в динамично развивающейся финтех‑среде.

Что предстоит делать:

• разрабатывать и оптимизировать сложные SQL‑запросы в PostgreSQL (с использованием оконных функций: ROW_NUMBER, RANK, LAG/LEAD, SUM OVER);
• создавать хранимые процедуры и функции на PL/pgSQL, триггеры для автоматической валидации, аудита или агрегации данных;
• проектировать и настраивать партиционирование (Range, List, Hash) и анализировать планы запросов через EXPLAIN ANALYZE;
• разрабатывать DAG в Apache Airflow: определять зависимости между тасками, использовать PythonOperator, PostgresOperator, BranchPythonOperator, работать с XCom и Variables;
• писать ETL‑скрипты на Python (с применением pandas, sqlalchemy), обрабатывать данные в форматах CSV, JSON, Parquet;
• настраивать ETL/ELT‑конвейеры, включая инкрементальную загрузку (по дате, watermark, change log) и оптимизацию работы с большими объёмами данных (чанкинг, пагинация, курсоры);
• проектировать реляционные базы данных для хранилищ (нормализованные модели 3NF, денормализованные модели «звезда» и «снежинка»), таблицы фактов и измерений, применять SCD Type 1 и Type 2;
• контролировать качество данных: писать SQL‑проверки на уникальность ключей, отсутствие NULL в критичных полях, статистические отклонения метрик и интегрировать их в пайплайны;
• работать с Apache Superset: подключать БД, создавать датасеты и визуализации, компоновать интерактивные дашборды, использовать SQL Lab для ad‑hoc‑исследований;
• контейнеризировать приложения с помощью Docker, при необходимости — знакомиться с Kubernetes;
• работать с потоковой обработкой данных: Apache Kafka (создание топиков, продюсирование и консьюминг сообщений), CDC‑подходом и инструментами типа Debezium;
• внедрять принципы DataOps и CI/CD: настраивать пайплайны для кода и конфигураций (GitHub Actions, GitLab CI или Jenkins), запускать линтеры (flake8, pylint) и тесты (pytest);
• вести версионирование и совместную разработку с использованием Git (ветвление, Pull Request, разрешение конфликтов, rebase);
• настраивать логирование в пайплайнах и работать с системами мониторинга (Prometheus + Grafana или ELK‑стек) для отслеживания статуса DAG, времени выполнения задач, загрузки БД.

Мы ждём, что вы:

• уверенно владеете PostgreSQL и умеете писать сложные запросы с оконными функциями;
• имеете опыт разработки DAG в Apache Airflow и настройки повторных попыток, задержек и алертов;
• владеете Python на уровне, достаточном для написания ETL‑скриптов (работа с pandas, sqlalchemy, понимание ООП, декораторов, контекстных менеджеров, генераторов);
• обладаете практическим опытом настройки ETL/ELT‑конвейеров и оптимизации работы с большими объёмами данных;
• умеете проектировать реляционные БД в контексте хранилищ и документировать схемы (Data Dictionary);
• знаете принципы контроля качества данных и умеете интегрировать проверки в пайплайн;
• работали с Apache Superset (подключение БД, создание датасетов, построение визуализаций, компоновка дашбордов);
• имеете базовые навыки работы с Docker (написание Dockerfile, сборка образов, запуск контейнеров, работа с docker‑compose);
• понимаете концепцию очередей сообщений и имеете опыт работы с Apache Kafka;
• знакомы с принципами DataOps и имеете опыт настройки CI/CD‑пайплайнов;
• уверенно владеете Git и ведёте Code Review;
• имеете базовый опыт работы с системами мониторинга и понимаете концепцию Data Observability.

Мы предлагаем:

• интересную работу в динамично развивающейся компании на стыке финансов и технологий;
• возможность влиять на архитектуру данных и внедрять современные решения;
• конкурентную заработную плату (обсуждается на собеседовании);
• официальное оформление по ТК РФ;
• профессиональное развитие: доступ к обучающим ресурсам, участие в профильных конференциях и митапах;
• сплочённую команду профессионалов, готовую делиться опытом и поддерживать новые идеи.
• горячие обеды, кофе и снеки