Data Engineer – Google Cloud Platform (GCP)
- Kraków - hybryda
- współpraca B2B
Poszukujemy doświadczonego Data Engineera, który dołączy do dużego, międzynarodowego projektu technologicznego z sektora finansowego.
Projekt koncentruje się na migracji rozwiązań on-premise do Google Cloud Platform oraz budowie nowoczesnej, wydajnej platformy danych wspierającej procesy podejmowania decyzji kredytowych. System działa w dużej skali i przetwarza ogromne ilości danych, dlatego istotnymi elementami roli są wydajność, skalowalność, niezawodność oraz optymalizacja kosztów rozwiązań chmurowych.
Zakres obowiązków
- Projektowanie i rozwój aplikacji backendowych odpowiedzialnych za przetwarzanie danych w środowisku Google Cloud Platform.
- Praca z rozwiązaniami storage'owymi GCP, w szczególności BigQuery, Cloud SQL oraz Google Cloud Storage.
- Tworzenie i optymalizacja Airflow DAGs / Cloud Composer.
- Wykorzystanie Google Cloud Dataflow do przetwarzania danych.
- Rozwój cloud-native applications oraz wdrażanie aplikacji w środowisku GKE / Kubernetes.
- Tworzenie procesów i pipeline'ów umożliwiających migrację danych z infrastruktury on-premise do GCP.
- Praca z Cloud Storage, Pub/Sub oraz innymi usługami zarządzanymi GCP.
- Tworzenie raportów w Looker zgodnie z wymaganiami biznesowymi.
- Optymalizacja przetwarzania danych pod kątem wydajności oraz kosztów.
- Integracja rozwiązań backendowych z innymi komponentami aplikacji.
- Dbanie o bezpieczeństwo, autoryzację i uwierzytelnianie.
- Budowanie i rozwój procesów CI/CD z wykorzystaniem m.in. Cloud Build, GitHub Actions oraz Jenkins.
- Zapewnienie wysokiej jakości, bezpieczeństwa i niezawodności tworzonych rozwiązań.
Wymagania
- Minimum 5 lat doświadczenia w obszarze Data Engineering / Cloud Engineering.
- Bardzo dobra, praktyczna znajomość Google Cloud Platform (GCP).
- Doświadczenie z:
- BigQuery,
- Cloud SQL,
- Google Cloud Storage / GCP buckets,
- Airflow / Cloud Composer,
- Google Cloud Dataflow,
- GKE / Kubernetes.
- Doświadczenie w projektowaniu rozwiązań wykorzystujących bazy SQL i NoSQL, z uwzględnieniem wolumenu danych, kosztów, retencji oraz backupu.
- Znajomość Cloud Build, Cloud Logging i Cloud Monitoring.
- Doświadczenie w tworzeniu wydajnych i skalowalnych procesów przetwarzania danych.
- Znajomość zasad Site Reliability Engineering (SRE) i budowania niezawodnych systemów.
- Znajomość CI/CD oraz narzędzi wspierających jakość i bezpieczeństwo kodu, np. Jenkins, SonarQube.
Mile widziane
- Doświadczenie z Looker.
- Znajomość Pub/Sub.
- Doświadczenie w obszarze Analytics / Decisioning.
- Znajomość rozwiązań Machine Learning oraz Vertex AI / JupyterLab.
- Doświadczenie w sektorze bankowym lub finansowym, szczególnie w obszarze Credit Lending / Decisioning.
- Doświadczenie we wsparciu środowisk produkcyjnych end-to-end.
- Doświadczenie w performance tuningu oraz budowaniu wysoko dostępnych i odpornych systemów.
Projekt
To możliwość pracy przy dużej transformacji technologicznej obejmującej migrację systemów do Google Cloud Platform i rozwój nowoczesnej platformy danych. Projekt łączy Data Engineering, rozwiązania cloud-native, automatyzację oraz technologie wykorzystywane do przetwarzania danych na dużą skalę.