Data Engineer

• Minimum pięć lat doświadczenia jako Data Engineer GCP, obejmujące projektowanie i realizację procesów integracji danych w środowisku Google Cloud.
• Bardzo dobra znajomość baz danych GCP, takich jak BigQuery, Bigtable czy Scylla Cloud, w zakresie projektowania, tworzenia i optymalizacji ich działania.
• Znajomość narzędzi ETL działających na GCP, m.in. Apache Airflow, Dataflow oraz Dataproc.
• Umiejętność pracy z systemami kolejkowymi, takimi jak Kafka czy Pub/Sub w GCP.
• Minimum cztery lata praktyki w roli ETL Developera tworzącego procesy integracji danych w środowiskach on‑premises.
• Biegła znajomość narzędzi ETL on‑prem, w tym Informatica PowerCenter oraz NIFI.
• Ekspercka znajomość relacyjnych baz danych Oracle, PostgreSQL i ScyllaDB, obejmująca projektowanie, budowę oraz optymalizację.
• Bardzo dobra znajomość systemu harmonogramowania AutomateNow firmy Infinity Data.
• Umiejętność tworzenia i wystawiania usług REST API.
• Minimum trzy lata doświadczenia w programowaniu.
• Bardzo dobra znajomość Pythona w obszarach integracji i analizy danych oraz frameworka PySpark.
• Znajomość języka Rust, wykorzystywanego do tworzenia narzędzi i frameworków umożliwiających wydajne ładowanie danych.
• Docelowo przejęcie odpowiedzialności za wybrane obszary przetwarzania i udostępniania danych, szczególnie w środowiskach wymagających wysokiej wydajności.

Nice to have:

• Podstawowe umiejętności w zakresie tworzenia mikroserwisów w języku Java.
• Swobodne korzystanie z systemu Linux na poziomie zaawansowanego użytkownika.
• Doświadczenie w pracy z bardzo dużymi zbiorami danych, sięgającymi około 100 TB.
• Zamiłowanie do analitycznego myślenia oraz szybkie przyswajanie nowych zagadnień.
• Samodzielność i kreatywność w poszukiwaniu oraz wdrażaniu rozwiązań.
• Wysoka rzetelność i terminowość podczas realizacji powierzonych zadań.
• Znajomość narzędzi wspierających pracę, takich jak repozytoria GIT, systemy monitorujące (np. Grafana) czy narzędzia do testowania wydajności, np. Apache JMeter.

Szukamy doświadczonego Senior Data Engineera, który swobodnie porusza się w środowisku GCP, ETL oraz zaawansowanej pracy z bazami danych i kolejkowaniem, a także biegle programuje w Pythonie i zna narzędzia wspierające wydajne przetwarzanie danych. W tej roli będziesz rozwijać, projektować i optymalizować złożone procesy integracyjne zarówno w chmurze, jak i w środowiskach on‑prem, wykorzystując nowoczesne technologie, narzędzia MLOps/DevOps oraz rozwiązania wysokowydajnościowe.

Jeśli chcesz przejąć odpowiedzialność za kluczowe obszary przetwarzania danych, pracować z ogromnymi wolumenami informacji i rozwijać narzędzia, które realnie wpływają na wydajność organizacji — dołącz do nas.