Flink Data Engineer

Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty.

Dla naszego Klienta, firmy doradczo-technologicznej specjalizującej się w transformacji cyfrowej, inżynierii oprogramowania, chmurze i danych, poszukujemy osoby na stanowisko Flink Data Engineer.

• Minimum 5 lat doświadczenia w obszarze data engineering, analytics engineering lub pokrewnym
• Praktyczne doświadczenie z Google BigQuery oraz Looker (LookML) w środowisku produkcyjnym
• Bardzo dobra znajomość SQL
• Doświadczenie w modelowaniu danych
• Znajomość dbt lub podobnych narzędzi do transformacji danych
• Dobra znajomość zagadnień data governance, lineage oraz dokumentacji danych
• Umiejętności komunikacyjne i współpracy
• Praktyczne doświadczenie w korzystaniu z asystentów AI (np. Claude Code, GitHub Copilot, Cursor) w celu zwiększania produktywności, jakości lub wspierania podejmowania decyzji w procesie wytwarzania oprogramowania
• Praktyczne doświadczenie z Apache Flink (w tym DataStream API)
• Doświadczenie w utrzymaniu i aktualizacji środowisk Flink (mile widziane doświadczenie z Flink 2.0)
• Dogłębne rozumienie architektury pipeline’ów streamingowych
• Znajomość optymalizacji wydajności, zarządzania stanem oraz mechanizmów fault tolerance
• Doświadczenie w migracji dużych zbiorów danych z BigQuery do Data Cloud Storage
• Bardzo dobra znajomość konwersji formatów danych (szczególnie Avro → Parquet)
• Umiejętność projektowania, skalowania i automatyzacji procesów migracyjnych
• Dbałość o integralność danych i minimalizację przestojów
• Dobra znajomość Google Cloud Platform (GCP) i jego usług danych
• Zrozumienie systemów rozproszonych
• Znajomość ewolucji schematów i optymalizacji przechowywania danych
• Umiejętność rozbijania złożonych problemów na konkretne, wykonalne kroki
• Proaktywność i poczucie odpowiedzialności za rozwiązania
• Umiejętność identyfikowania ryzyk

Rozwój i utrzymanie pipeline’ów przetwarzania danych w czasie rzeczywistym:

• Rozwój i utrzymanie pipeline’ów przetwarzania danych w czasie rzeczywistym z wykorzystaniem Apache Flink
• Migracja istniejących jobów Flink (DataStream API) oraz ich dostosowanie do nowych standardów platformy
• Planowanie i realizacja upgrade’u platformy Apache Flink do wersji 2.0
• Projektowanie i optymalizacja wydajnych, skalowalnych oraz odpornych na błędy architektur streamingowych

Migracja i transformacja danych:

• Migracja dużych zbiorów danych z BigQuery (BQ) do Data Cloud Storage (DCS)
• Automatyzacja i skalowanie procesów migracji danych w celu obsługi rosnących wolumenów
• Konwersja danych (Avro → Parquet) z uwzględnieniem wydajności, ewolucji schematów i optymalizacji storage
• Wykorzystanie narzędzi AI do usprawniania procesów migracji, walidacji i transformacji danych
• Zapewnienie wysokiej jakości i integralności danych oraz minimalizacja przestojów systemów

Monitoring i współpraca:

• Monitorowanie i optymalizacja działania pipeline’ów oraz platformy streamingowej
• Współpraca z zespołami technicznymi i biznesowymi (cross-funkcjonalnymi)
• Komunikowanie zagadnień technicznych w sposób zrozumiały dla interesariuszy nietechnicznych