GCP Data Engineer_GCB_5_HSBCJP00057710

Lokalizacja: Kraków

Tryb pracy: hybrydowy

Poszukujemy Google Cloud Data Developera, który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie nowoczesnych rozwiązań do przetwarzania danych w środowisku Google Cloud Platform. Osoba na tym stanowisku będzie współpracować z Data Architectami, Business Analystami oraz zespołami projektowymi przy budowie skalowalnych pipeline’ów danych i wdrażaniu rozwiązań wspierających procesy biznesowe.

Zakres obowiązków:

• Projektowanie, budowa i utrzymanie pipeline’ów danych w środowisku Google Cloud Platform.
• Integracja danych z udostępnionych zasobów danych GCP oraz realizacja procesów transformacji danych zgodnie z wymaganiami biznesowymi.
• Projektowanie struktur danych oraz architektury przepływu danych wspierających potrzeby biznesowe.
• Tworzenie rozwiązań wykorzystujących Python, SQL, BigQuery, Cloud Storage oraz Cloud Composer (Apache Airflow).
• Orkiestracja procesów przetwarzania danych i wdrażanie ich w ramach procesów CI/CD.
• Budowa i rozwój rozwiązań opartych o Data Lake oraz Data Warehouse.
• Tworzenie wysokiej jakości rozwiązań zgodnie z zasadami auditability, rerunability, modularity, reusability oraz unit testing.
• Udział w przeglądach technicznych i zapewnianiu jakości dostarczanych rozwiązań.

Wymagania:

• Doświadczenie w tworzeniu rozwiązań Data Engineering w środowisku Google Cloud Platform.
• Bardzo dobra znajomość Python i SQL.
• Praktyczna znajomość BigQuery, Cloud Storage (Buckets) oraz Cloud Composer (Apache Airflow).
• Doświadczenie w projektowaniu i budowie pipeline’ów danych.
• Doświadczenie w integracji danych oraz realizacji procesów transformacji danych.
• Znajomość architektury Data Lake i Data Warehouse.
• Doświadczenie w modelowaniu danych z wykorzystaniem Star Schema lub Snowflake Schema.
• Doświadczenie w pracy z procesami CI/CD.
• Umiejętność tworzenia modułowych, wielokrotnego użytku i testowalnych rozwiązań.
• Znajomość dobrych praktyk związanych z jakością i niezawodnością procesów przetwarzania danych.
• Komunikatywna znajomość języka angielskiego.

Mile widziane:

• Doświadczenie z PySpark.

Oferujemy:

• Pracę w międzynarodowym środowisku przy projektach opartych o nowoczesne technologie chmurowe.
• Tryb pracy hybrydowej w Krakowie.
• Pakiet benefitów (m.in. prywatna opieka medyczna, karta Multisport).