Data Engineer

Konsultant wdrożeniowiec o profilu Data Engineer to specjalista, który łączy zaawansowane kompetencje techniczne z umiejętnością analizy danych i podstawową wiedzą z zakresu Data Science. Odpowiada za projektowanie, wdrażanie oraz utrzymanie nowoczesnych rozwiązań w obszarze Big Data, architektury danych i platform analitycznych, wspierając klientów w wykorzystaniu danych do podejmowania decyzji biznesowych.

Lubisz porządkować dane, projektować wydajne pipeline’y i tworzyć niezawodne środowiska analityczne? Dołącz do DataServe jako Data Engineer i pracuj przy projektach, które wspierają podejmowanie decyzji opartych na danych. Wykorzystuj nowoczesne narzędzia, rozwiązania chmurowe i technologie Big Data w praktyce biznesowej.

Oczekujemy od Ciebie:

• minimum 3-5 lat doświadczenia w obszarze inżynierii danych, wdrożeń Big Data lub analizy danych;
• doświadczenia w pracy z narzędziami i technologiami Big Data oraz w realizacji projektów analitycznych dla danych.

Szczegółowe wymagania:

• ekspertyza w technologii Big Data i ekosystemach takich jak Hadoop oraz Apache Spark;
• projektowanie i wdrażanie skalowalnych rozwiązań Big Data dla dużych zbiorów danych;
• dobór technologii i narzędzi zgodnych z potrzebami biznesowymi oraz technicznymi (Modern Data Analytics Platform, Query Engines, technologie dla Data Lake, narzędzia chmurowe).
• znajomość podstaw projektowania i zarządzania hurtowniami danych (Data Warehouse);
• doświadczenie w implementacji i utrzymaniu środowisk Data Lake i Data Lakehouse.

Bazy danych

• zaawansowana znajomość przynajmniej jednej technologii bazodanowej w zastosowaniach Big Data (od 1TB+) takich jak: PostgreSQL, Vertica, Snowflake, MariaDB, Oracle, SQL Server;
• umiejętność optymalizacji zapytań, tuning wydajności oraz praca z dużymi zbiorami danych.
• znajomość narzędzi ETL/ELT i orkiestracji danych takich jak: Airbyte, dbt (data build tool), Apache Airflow;
• praktyczna wiedza w zakresie automatyzacji procesów integracji i przetwarzania danych.

Konfiguracja i administracja

• praktyczna wiedza w zakresie konfiguracji i administracji ekosystemów Hadoop oraz systemów Object Store (np. VAST, MinIO).

Rozwiązania typu Query Engine

• znajomość przynajmniej jednej technologii platform takich jak: Dremio, Databricks, Denodo, Starburst.

Analiza danych i podstawy Data Science

• podstawowa wiedza z zakresu Data Science: znajomość metod eksploracyjnej analizy danych (EDA); podstawowe techniki modelowania danych i ich zastosowanie w biznesie; umiejętność interpretacji wyników analizy i współpracy z zespołami analitycznymi.
• praktyczne doświadczenie w analizie danych za pomocą Python (biblioteki takie jak Pandas, NumPy, Matplotlib, Seaborn).

Programowanie i SQL

• zaawansowana znajomość języka Python zorientowana na przetwarzanie i analizę danych;
• zaawansowana znajomość SQL: tworzenie zaawansowanych zapytań, analiza danych ich optymalizacja.

Mile widziane kwalifikacje i doświadczenie to:

• znajomość platformy HPE Ezmeral lub/i technologii związanych z VAST Data;
• doświadczenie z narzędziami chmurowymi (AWS, Azure, GCP) w kontekście przetwarzania danych;
• doświadczenie w pracy z Kubernetes (K8s) w kontekście wdrażania i zarządzania aplikacjami danych.

Oczekiwane cechy osobowościowe:

• analityczne myślenie i kreatywne podejście do rozwiązywania problemów;
• umiejętności prezentacji zagadnień technicznych dla zespołów technicznych i nietechnicznych;
• umiejętność współpracy z różnorodnymi zespołami, w tym z analitykami i Data Scientistami;
• zdolność do jasnej komunikacji z klientami i przedstawiania wyników analizy danych w zrozumiały sposób;
• otwartość na ciągłe uczenie się i rozwijanie nowych umiejętności.

W zamian za Twoje zaangażowanie oferujemy:

• udział w wyjątkowo ciekawych i ambitnych projektach z obszaru Machine Learning rozwijających nasze produkty oraz realizowanych dla firm stawiających na najnowsze technologie;
• elastyczne godziny pracy;
• kartę Multisport;
• nieformalną, przyjazną atmosferę w biurze.