Data Engineer / Data Architect (Azure Databricks)
180 - 190 PLN/ godz.B2B (netto)
SeniorFull-time·B2B
#347793·Dodano wczoraj·0
Źródło: nofluffjobs.comTech Stack / Keywords
AzureADFDatabricksSQLUNITYSQL ServerT-SQLPythonAzure DevOps
Firma i stanowisko
Szukamy bardzo doświadczonego Data Engineera / Data Architecta, który dołączy do trwającego projektu modernizacji platformy danych w Azure. Docelowa architektura to Azure Data Lakehouse oparte o Databricks, w modelu medallion (Bronze / Silver / Gold). Źródła danych obejmują trzy środowiska SQL Server.
Wymagania
- bardzo dobra znajomość Azure Data Factory (ADF) i Azure Data Lake Storage Gen2
- praktyczne doświadczenie z Databricks (SQL, Delta Lake, medallion architecture)
- doświadczenie w Unity Catalog oraz RBAC
- bardzo dobra znajomość SQL Server / T-SQL i migracji danych
- doświadczenie w modelowaniu danych (fact / dimension, lakehouse)
- Python (pipeline’y, testy, automatyzacja)
- doświadczenie z Azure DevOps (CI/CD dla data platform)
- umiejętność pracy w środowisku consultingowym / client-facing
- doświadczenie w projektach modernizacji lub budowy platform danych end-to-end
Nice to have:
- Microsoft Purview
- Databricks Lakeflow
- doświadczenie w projektach recovery / turnaround
Obowiązki
- analiza istniejącego środowiska (Databricks, ADF, SQL Server) i identyfikacja luk w delivery
- projektowanie i walidacja architektury Data Lakehouse (medallion: Bronze / Silver / Gold)
- budowa i rozwój pipeline’ów w Azure Data Factory (batch ingestion, incremental loads)
- migracja widoków i logiki z SQL Server do Databricks SQL
- implementacja warstwy Gold (modele analityczne, fact/dimension)
- wdrażanie i utrzymanie CI/CD w Azure DevOps (ADF + Databricks)
- budowa mechanizmów testów i rekonsyliacji danych
- wsparcie w delivery planowaniu oraz udział w spotkaniach z klientem jako ekspert techniczny
- raportowanie postępów i zarządzanie zależnościami po stronie klienta
SQUARE ONE RESOURCES
148 aktywnych ofert