Projekt obejmuje budowę i optymalizację pipeline’ów danych wspierających analitykę, systemy rekomendacyjne oraz rozwiązania Machine Learning. Będziesz współpracować z zespołami Data Science i Engineering, dbając o niezawodność, wydajność oraz wysoką jakość danych w środowisku produkcyjnym.
- min. 6-letnie doświadczenie w roli Data Engineera,
- bardzo dobra znajomość Python, SQL oraz Spark,
- doświadczenie w budowie i utrzymaniu dużych pipeline’ów ETL/ELT,
- doświadczenie z narzędziami orkiestracyjnymi, np. Apache Airflow,
- praktyczne doświadczenie z chmurą: GCP, AWS lub Azure,
- doświadczenie w pracy z dużymi wolumenami danych,
- znajomość Kubernetes,
- dobra znajomość praktyk Software Engineering,
- doświadczenie z Git oraz CI/CD,
- samodzielność i umiejętność przejmowania odpowiedzialności za działające systemy produkcyjne,
- bardzo dobre umiejętności analityczne i rozwiązywania problemów,
- zaawansowana znajomość języka angielskiego (min. B2).
Projekt obejmuje budowę i optymalizację pipeline’ów danych wspierających analitykę, systemy rekomendacyjne oraz rozwiązania Machine Learning. Będziesz współpracować z zespołami Data Science i Engineering, dbając o niezawodność, wydajność oraz wysoką jakość danych w środowisku produkcyjnym. ,(rozwój, utrzymanie i optymalizację skalowalnych platform danych,, budowę i obsługę złożonych pipeline’ów ETL/ELT,, zapewnienie niezawodności pipeline’ów przetwarzających miliardy zdarzeń dziennie,, monitoring, observability oraz zapewnienie wysokiej jakości danych,, rozwiązywanie problemów produkcyjnych i dbanie o stabilność infrastruktury,, współpracę z Data Scientistami, Analystami i zespołami Engineering,, rozwój narzędzi i frameworków wspierających Data Platform,, pracę przy rozwiązaniach związanych z ML, streamingiem oraz systemami rekomendacyjnymi,, utrzymywanie i rozwój infrastruktury działającej w środowisku Kubernetes/GKE,, rozwój standardów Software Engineering i Data Engineering.) Requirements: Python, Spark, SQL, ETL, Kubernetes, CI/CD, Git, GCP, AWS, Azure, Orkiestracja danych, Apache Airflow