Data Engineer / Data Architect (Azure Databricks)

Szukamy bardzo doświadczonego Data Engineera / Data Architecta, który dołączy do trwającego projektu modernizacji platformy danych w Azure. Docelowa architektura to Azure Data Lakehouse oparte o Databricks, w modelu medallion (Bronze / Silver / Gold). Źródła danych obejmują trzy środowiska SQL Server.

• bardzo dobra znajomość Azure Data Factory (ADF) i Azure Data Lake Storage Gen2
• praktyczne doświadczenie z Databricks (SQL, Delta Lake, medallion architecture)
• doświadczenie w Unity Catalog oraz RBAC
• bardzo dobra znajomość SQL Server / T-SQL i migracji danych
• doświadczenie w modelowaniu danych (fact / dimension, lakehouse)
• Python (pipeline’y, testy, automatyzacja)
• doświadczenie z Azure DevOps (CI/CD dla data platform)
• umiejętność pracy w środowisku consultingowym / client-facing
• doświadczenie w projektach modernizacji lub budowy platform danych end-to-end

Nice to have:

• Microsoft Purview
• Databricks Lakeflow
• doświadczenie w projektach recovery / turnaround

• analiza istniejącego środowiska (Databricks, ADF, SQL Server) i identyfikacja luk w delivery
• projektowanie i walidacja architektury Data Lakehouse (medallion: Bronze / Silver / Gold)
• budowa i rozwój pipeline’ów w Azure Data Factory (batch ingestion, incremental loads)
• migracja widoków i logiki z SQL Server do Databricks SQL
• implementacja warstwy Gold (modele analityczne, fact/dimension)
• wdrażanie i utrzymanie CI/CD w Azure DevOps (ADF + Databricks)
• budowa mechanizmów testów i rekonsyliacji danych
• wsparcie w delivery planowaniu oraz udział w spotkaniach z klientem jako ekspert techniczny
• raportowanie postępów i zarządzanie zależnościami po stronie klienta