Data Engineer – Google Cloud

Nasze wymagania:

• praktycznego doświadczenia w budowie, utrzymaniu i optymalizacji data pipelines w Google Cloud,
• bardzo dobrej znajomości BigQuery,
• bardzo dobrej znajomości SQL,
• praktycznego doświadczenia z Python w obszarze Data Engineering,
• znajomości procesów i narzędzi ETL/ELT,
• doświadczenia z narzędziami do przetwarzania i orkiestracji danych,
• doświadczenia w implementacji Data Quality, walidacji danych, monitoringu i error handlingu,
• doświadczenia w integracji systemów źródłowych z hurtowniami danych i modelami analitycznymi,
• doświadczenia w pracy z dużymi wolumenami danych,
• znajomości dobrych praktyk związanych z budową skalowalnych i niezawodnych procesów danych.

Mile widziane:

• doświadczenie z Google Cloud Dataflow,
• znajomość Google Cloud Dataproc,
• doświadczenie z Dataform,
• znajomość dbt,
• doświadczenie z Cloud Composer / Apache Airflow,
• udział w projektach migracyjnych z platform legacy do Google Cloud,
• doświadczenie w modernizacji istniejących procesów i architektur danych,
• doświadczenie w optymalizacji wydajności i kosztów procesów działających w BigQuery / Google Cloud.

O projekcie:

Poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za budowę, rozwój i optymalizację potoków danych oraz integrację systemów źródłowych z hurtownią danych i warstwami analitycznymi.Istotnym elementem projektu będzie również modernizacja i migracja istniejących procesów danych z rozwiązań legacy do środowiska Google Cloud.

Zakres obowiązków:

• projektowanie, budowa i rozwój potoków danych w Google Cloud,
• praca z BigQuery oraz optymalizacja przetwarzania danych,
• tworzenie i optymalizacja zapytań SQL,
• wykorzystanie Python w procesach przetwarzania i transformacji danych,
• budowa procesów ETL/ELT,
• integracja systemów źródłowych z hurtownią danych, modelami analitycznymi i warstwami konsumpcyjnymi,
• implementacja mechanizmów walidacji i kontroli jakości danych,
• budowa monitoringu procesów oraz mechanizmów obsługi błędów,
• automatyzacja kontroli poprawności przetwarzanych danych,
• udział w migracji i modernizacji procesów danych z platform legacy do Google Cloud,
• współpraca z zespołami odpowiedzialnymi za rozwiązania Data & Analytics.