Senior Data Engineer (Databricks)
160 - 190 PLN/ godz.B2B (netto)
SeniorFull-time·B2B
#332317·Dodano 11 dni temu·15
Źródło: nofluffjobs.comTech Stack / Keywords
AzureCI/CDDatabricksAzure Data FactorySQLSparkGitPython
Wymagania
- Gotowość do pracy w godzinach 7:00–15:00 CET
- Minimum 3 lata doświadczenia z Azure Data Factory i Databricks
- Minimum 5 lat doświadczenia w data engineeringu lub tworzeniu oprogramowania (backend/fullstack)
- Bardzo dobra znajomość SQL
- Dobra znajomość Pythona (skrypty)
- Doświadczenie z narzędziami do transformacji danych (Databricks, Spark)
- Doświadczenie w modelowaniu danych (relacyjne i nierelacyjne)
- Doświadczenie z narzędziami CI/CD
- Znajomość Git
- Dobra znajomość języka angielskiego
Nice to have:
- Doświadczenie z Azure Event Hubs, CosmosDB, Spark Streaming
- Znajomość Airflow
- Doświadczenie w branży lotniczej oraz praca z Copilot
Obowiązki
- Projektowanie, budowa i wdrażanie infrastruktury na dużą skalę, ze szczególnym uwzględnieniem systemów rozproszonych
- Tworzenie i utrzymanie wzorców architektonicznych dla przetwarzania danych, definiowania workflow oraz integracji system–system z wykorzystaniem technologii Big Data i chmurowych
- Analiza i przekładanie projektów technicznych na działające rozwiązania, kod oraz specyfikacje zgodne ze standardami branżowymi
- Rozwój i tworzenie wielokrotnego użytku komponentów (reusable artifacts)
- Budowanie skalowalnych, wydajnych i zautomatyzowanych procesów analizy danych, modelowania, walidacji i wdrażania
- Ścisła współpraca z analitykami i data scientistami w celu zrozumienia wpływu na modele danych downstream
- Pisanie wydajnego i dobrze zorganizowanego kodu w środowisku ciągłego, iteracyjnego dostarczania (continuous delivery)
- Promowanie dobrych praktyk inżynierii oprogramowania w zespole
- Skuteczna komunikacja z odbiorcami technicznymi i nietechnicznymi
- Definiowanie polityk retencji danych
- Monitorowanie wydajności oraz rekomendowanie zmian w infrastrukturze
SQUARE ONE RESOURCES sp. z o.o.
124 aktywne oferty