Lead Data Engineer (k/m/x)

31 920 - 40 320 PLN(znormalizowane)

Doświadczenie

Senior

Lokalizacja

Warszawa

Tryb pracy

Zdalnie

Wymiar

Full-time

PythonDatabricksPySparkApache SparkSQLCI/CDAWSAzureGCP

Wymagania

Wieloletnie doświadczenie w projektowaniu i budowie rozwiązań data engineering w oparciu o Databricks / Apache Spark
Bardzo dobra znajomość Python (w tym PySpark) oraz SQL; znajomość Scala będzie dodatkowym atutem
Doświadczenie w budowie i utrzymaniu dużych, produkcyjnych pipeline’ów danych
Solidne zrozumienie architektury danych, modelowania danych oraz zagadnień optymalizacji wydajności
Doświadczenie w pracy z chmurą publiczną (AWS, Azure lub GCP)
Praktyczna znajomość CI/CD oraz dostarczania rozwiązań klasy enterprise
Znajomość zasad data governance, bezpieczeństwa informacji oraz ochrony prywatności
Doświadczenie w roli liderskiej lub gotowość do pełnienia funkcji technicznego lidera
Umiejętność pracy w środowisku międzyzespołowym i silne nastawienie na realizację celów

Projektowanie, rozwój i optymalizacja skalowalnych pipeline’ów danych (ingestia, transformacja, przetwarzanie, warstwa analityczna)
Definiowanie i rozwój architektury danych zgodnej z najlepszymi praktykami oraz standardami organizacyjnymi
Współtworzenie i realizacja roadmapy technologicznej dla platformy danych
Techniczne wsparcie i mentoring zespołu Data Engineerów (code review, wyznaczanie dobrych praktyk, rozwiązywanie problemów technicznych)
Ścisła współpraca z zespołami produktowymi i biznesowymi w zakresie zbierania wymagań, estymacji oraz planowania prac
Optymalizacja wydajności przetwarzania danych oraz rozwiązywanie problemów związanych z jakością i integralnością danych
Wdrażanie mechanizmów kontroli jakości danych, obserwowalności oraz automatycznej walidacji
Budowa i utrzymanie procesów CI/CD dla rozwiązań data engineering
Dbałość o zgodność rozwiązań z zasadami data governance, bezpieczeństwa oraz ochrony danych
Tworzenie i utrzymywanie dokumentacji technicznej
Komunikowanie zagadnień technicznych interesariuszom o różnym poziomie wiedzy technicznej
Aktywny udział w pracy w metodykach zwinnych (refinement, planowanie sprintów, daily, zarządzanie backlogiem)