Ищем самостоятельного дата-инженера для развития потоков данных в прикладном \_Legal\_-домене. Вам предстоит строить надежные пайплайны от источников до автоматизированных систем-получателей.* cбор, анализ и формализация требований от бизнес-технологов (_БТ_) и владельцев продуктов юридического блока
* поиск, исследование и подключение новых источников данных внутри КАП под задачи правового департамента
* выполнение разовых _(Ad-hoc)_ запросов по заявкам бизнеса для проработки требований, точечного анализа юридических метрик или поиска аномалий в данных
* разработка ETL -процессов на Scala (Apache Spark 3.2+) с последующей пакетной доставкой подготовленных витрин данных в смежные автоматизированные системы (АС)
* оптимизация производительности SQL-запросов к данным уровня HOF (_Head of Function_, сложные CTE, оконные функции, партиционирование) и Scala-кода
* обеспечение стабильности работы продуктивных потоков: разбор инцидентов третьей линии поддержки (_L3_), восстановление целостности данных после сбоев, работа с логами YARN/HDFS
* взаимодействие с командами DevOps для настройки CI/CD пайплайнов доставки кода и оркестрации задач
* ведение технической документации в Confluence и управление задачами в Jira.* высшее образование
* опыт работы Data Engineer от 2–3 лет
* уверенное владение Apache Spark (версии 2.x или 3.x). Будет приимуществом знание Scala
* знание Python
* глубокое понимание архитектуры экосистемы Hadoop (YARN, HDFS, Hive Metastore)
* экспертный уровень SQL: свободное использование оконных функций (ROW\_NUMBER, RANK, LAG/LEAD), сложных джоинов и вложенных запросов
* навык анализа требований бизнеса и перевода их на язык технических спецификаций.
* практический опыт расследования и устранения последствий инцидентов L3 в продуктивной среде больших данных
* самостоятельность: умение декомпозировать задачу, оценить сроки и довести ее до релиза без микроменеджмента
* знакомство с инструментами _DevOps_ и практиками CI/CD применительно к доставке Spark-приложений
Будет плюсом:
* опыт использования AI-инструментов в разработке (LLM-ассистенты для написания и ревью кода, агенты для автоматизации рутинных операций, инструменты автодополнения вроде GitHub Copilot)
* опыт работы с данными в финансовом секторе, ритейле или телекоме; знакомство со специфическими юридическими источниками (например, выгрузки из систем претензионно-исковой работы, реестры контрагентов).* формат работы офис, локация офиса ул Вавилова д.19
* ежегодный пересмотр зарплаты, годовая премия
* корпоративный спортзал и зоны отдыха
* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
* подписка Прайм с возможностью совместного использования на трёх близких
* вознаграждение за рекомендацию друзей в команду Сбера.