Senior Data Engineer - Apache Flink [M/F]

Projekt dotyczy rozwoju i modernizacji platformy danych przetwarzanych w czasie rzeczywistym. Głównym celem jest rozwój pipeline’ów streamingowych opartych o Apache Flink oraz realizacja złożonych migracji danych i upgrade’ów platformy.

Naszym klientem jest globalna platforma cyfrowa działająca na ogromną skalę, obsługująca setki milionów użytkowników na całym świecie. Firma rozwija produkty subskrypcyjne, które łączą użytkowników z twórcami treści poprzez spersonalizowane, oparte na danych doświadczenia.

Organizacja działa w środowisku cloud-native i rozproszonym, stawiając na automatyzację oraz wykorzystanie narzędzi AI.

• bardzo dobra znajomość Apache Flink (w tym DataStream API)
• doświadczenie w budowie i utrzymaniu pipeline’ów streamingowych
• doświadczenie w migracji danych na dużą skalę (np. BigQuery → Cloud Storage)
• znajomość formatów danych (Avro, Parquet) i ich optymalizacji
• dobra znajomość Google Cloud Platform (GCP)
• zrozumienie systemów rozproszonych, wydajności i fault tolerance
• umiejętność projektowania i automatyzacji procesów migracyjnych
• doświadczenie w pracy z narzędziami AI wspierającymi development (np. Copilot, Cursor)
• proaktywność, samodzielność i umiejętność rozwiązywania złożonych problemów
• zaawansowana znajomość j. angielskiego

• rozwój i utrzymanie pipeline’ów streamingowych w czasie rzeczywistym z wykorzystaniem Apache Flink (DataStream API)
• migracja istniejących jobów Flink do nowych standardów platformy
• udział w upgrade platformy do Flink 2.0
• projektowanie wydajnych, skalowalnych i odpornych na błędy architektur streamingowych
• migracja danych z BigQuery (BQ) do Data Cloud Storage (DCS)
• automatyzacja i skalowanie procesów migracji danych
• konwersja danych (Avro → Parquet) z uwzględnieniem wydajności i optymalizacji storage
• wykorzystanie narzędzi AI do przyspieszenia migracji, walidacji i transformacji danych
• zapewnienie jakości, spójności danych i minimalizacja przestojów
• współpraca z zespołami cross-funkcjonalnymi oraz komunikacja z interesariuszami nietechnicznymi