Senior Data Engineer (Databricks)

• Gotowość do pracy w godzinach 7:00–15:00 CET
• Minimum 3 lata doświadczenia z Azure Data Factory i Databricks
• Minimum 5 lat doświadczenia w data engineeringu lub tworzeniu oprogramowania (backend/fullstack)
• Bardzo dobra znajomość SQL
• Dobra znajomość Pythona (skrypty)
• Doświadczenie z narzędziami do transformacji danych (Databricks, Spark)
• Doświadczenie w modelowaniu danych (relacyjne i nierelacyjne)
• Doświadczenie z narzędziami CI/CD
• Znajomość Git
• Dobra znajomość języka angielskiego

Nice to have:

• Doświadczenie z Azure Event Hubs, CosmosDB, Spark Streaming
• Znajomość Airflow
• Doświadczenie w branży lotniczej oraz praca z Copilot

• Projektowanie, budowa i wdrażanie infrastruktury na dużą skalę, ze szczególnym uwzględnieniem systemów rozproszonych
• Tworzenie i utrzymanie wzorców architektonicznych dla przetwarzania danych, definiowania workflow oraz integracji system–system z wykorzystaniem technologii Big Data i chmurowych
• Analiza i przekładanie projektów technicznych na działające rozwiązania, kod oraz specyfikacje zgodne ze standardami branżowymi
• Rozwój i tworzenie wielokrotnego użytku komponentów (reusable artifacts)
• Budowanie skalowalnych, wydajnych i zautomatyzowanych procesów analizy danych, modelowania, walidacji i wdrażania
• Ścisła współpraca z analitykami i data scientistami w celu zrozumienia wpływu na modele danych downstream
• Pisanie wydajnego i dobrze zorganizowanego kodu w środowisku ciągłego, iteracyjnego dostarczania (continuous delivery)
• Promowanie dobrych praktyk inżynierii oprogramowania w zespole
• Skuteczna komunikacja z odbiorcami technicznymi i nietechnicznymi
• Definiowanie polityk retencji danych
• Monitorowanie wydajności oraz rekomendowanie zmian w infrastrukturze