Data Engineer (GCP)
Team Connect · Warszawa, Poland ·
- Category
- Data engineering
Team Connect is hiring a Data Engineer for a banking-sector project in Warsaw: designing and building data engineering solutions on GCP (BigQuery, Cloud Storage, Pub/Sub), migrating Oracle/on-premise and Informatica PowerCenter processes to the cloud, and running batch and streaming pipelines with a focus on query tuning, error handling, and cost/performance optimization.
Team Connect szuka Data Engineera do projektu w branży bankowej. Będziesz projektować i rozwijać rozwiązania Data Engineering na GCP (BigQuery, Cloud Storage, Pub/Sub), migrować procesy z Oracle/on-premise oraz przebudowywać procesy Informatica PowerCenter do rozwiązań docelowych w chmurze. To rola dla osoby, która łączy pracę z pipeline'ami batch i streaming z optymalizacją kosztów i wydajności w BigQuery.
- doświadczenie w projektowaniu i rozwoju rozwiązań Data Engineering na GCP (BigQuery, Cloud Storage, Pub/Sub)
- doświadczenie w migracji procesów przetwarzania danych z Oracle/on-premise do GCP
- doświadczenie w projektowaniu procesów batch i streaming z mechanizmami kontroli jakości i obsługi błędów
- doświadczenie w analizie i migracji procesów Informatica PowerCenter
- znajomość SQL na poziomie umożliwiającym strojenie zapytań i analizę planów wykonania
- znajomość Python w kontekście transformacji i integracji danych
- doświadczenie w pracy z repozytorium kodu i procesami CI/CD w modelu DevOps