Czym będziesz się zajmować?
Zakres obowiązków:
- Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta
- Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion
- Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy
- Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania
- Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych
- Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi
- Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych
- Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych
- Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta
Oferujemy:
- Prywatną opiekę medyczną
- Dofinansowanie karty sportowej
- Stałe wsparcie konsultanta
- Program rekomendacji pracowników
Kogo poszukujemy?Wymagania:
- Minimum 5 lat komercyjnego doświadczenia w data engineeringu
- Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse
- Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion
- Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności
- Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL
- Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML
- Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych
- Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
- Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions
- Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi
- Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem
Mile widziane:
- Znajomość Infrastructure as Code: Terraform lub Bicep
- Znajomość projektowania modeli danych na potrzeby Power BI
- Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament
Czego wymagamy?5 lat doświadczenia na podobnym stanowiskuZnajomości:- Python
- ETL
- Data modeling
- Zarządzanie procesami biznesowymi
- QA
Mile widziane:- SQL
- REST
- Azure
- Azure Data Factory
- Azure Functions
- Azure SQL
- Databricks
- Git
- CI/CD
- Dokumentacja projektowa
Języki:Jakie warunki i benefity otrzymasz?- 25.2k–30.2k PLN netto/m (B2B)
- B2B - Elastyczne godziny pracy (100%)
- Praca zdalna: W całości
- Pakiet medyczny, Pakiet sportowy
Kim jesteśmy?DCG to przestrzeń, w której spotykają się potrzeby biznesu i ambicje ludzi. Znamy wartość dobrze dopasowanej współpracy, dlatego pomagamy kandydatom znaleźć środowisko, w którym będą mogli rozwinąć skrzydła, a firmom - zbudować zespoły, które naprawdę działają. Pracujemy blisko ludzi i organizacji, uważnie słuchając i reagując na to, co dla nich ważne. Dzięki temu wspólnie tworzymy trwałe i wartościowe relacje, które procentują na lata.