Flink Data Engineer

Projekt jest dla klienta, który jest jedną z najbardziej znanych platform streamingowych, a dotyczy - wsparcia przy przebudowie całej platformy danych.

• Doświadczenie z Apache Flink (DataStream API)
• Znajomość architektur streamingowych i systemów rozproszonych
• Doświadczenie w migracjach danych (BQ -> DCS)
• Znajomość GCP, Avro/Parquet, optymalizacji danych
• Umiejętność automatyzacji i skalowania procesów
• Komunikatywność i proaktywność
• Doświadczenie z narzędziami AI (np. Copilot)

Nice to have:

• Praca z dużymi platformami danych
• Monitoring i observability
• Zainteresowanie AI i automatyzacją

• Rozwój i utrzymanie pipeline’ów streamingowych (Apache Flink)
• Migracja i modernizacja jobów Flinka oraz upgrade do wersji 2.0
• Projektowanie wydajnych i odpornych architektur streamingowych
• Migracja danych (BigQuery -> Data Cloud Storage)
• Automatyzacja i skalowanie procesów migracji
• Konwersja danych (Avro -> Parquet)
• Dbanie o jakość danych i minimalne przestoje
• Współpraca z zespołami i komunikacja techniczna