Senior Data Engineer / Senior Data Engineerka

Obecnie dla naszego klienta z branży bankowej poszukujemy kandydata/kandydatki na stanowisko Senior Data Engineer / Senior Data Engineerka. Osoba na tym stanowisku będzie pracować przy projektach realizowanych dla jednostki Financial Crime Prevention, odpowiedzialnej za przeciwdziałanie przestępczości finansowej. Rola obejmuje rozwój rozwiązań przetwarzających duże wolumeny danych w czasie zbliżonym do rzeczywistego oraz budowę pipeline’ów analitycznych wspierających produkty wykorzystywane w obszarze bezpieczeństwa finansowego. Praca odbywa się w środowisku Big Data, w ścisłej współpracy z zespołami DevOps, QA oraz Product Management, w modelu Continuous Delivery.

• Minimum 5 lat doświadczenia w pracy z Scala oraz Apache Spark
• Znajomość ekosystemu Big Data (Hadoop stack), w tym m.in. YARN, EMR, Sqoop, Hive
• Doświadczenie w pracy z Kafka (na poziomie podstawowym)
• Praca z Impala
• Znajomość narzędzi Jenkins, JIRA, Bitbucket oraz Git
• Doświadczenie w budowie skalowalnych rozwiązań do przetwarzania dużych zbiorów danych
• Umiejętność współpracy w środowisku zespołów cross-funkcyjnych

Nice to have:

• Dobra znajomość testów jednostkowych
• Doświadczenie w definiowaniu strategii versioningu oraz branchingu kodu
• Znajomość metodyk Agile / SAFe
• Doświadczenie w pracy z Snowflake w środowisku AWS
• Wiedza z zakresu bezpieczeństwa danych (np. szyfrowanie, anonimizacja)
• Doświadczenie w pracy w globalnych, rozproszonych zespołach
• Doświadczenie w sektorze usług finansowych
• Analityczne i data-driven podejście do rozwiązywania problemów

• Budowa rozproszonych i wysoko równoległych pipeline’ów Big Data, przetwarzających duże wolumeny danych (zarówno ustrukturyzowanych, jak i nieustrukturyzowanych) w czasie zbliżonym do rzeczywistego
• Rozwój aplikacji streamingowych integrujących dane z wielu źródeł (wewnętrznych i zewnętrznych)
• Wykorzystanie Apache Spark do transformacji i wzbogacania danych korporacyjnych
• Przygotowywanie danych pod potrzeby wyszukiwania, wizualizacji oraz zaawansowanej analityki
• Rozwój pipeline’ów dostarczających przetworzone dane do produktów wykorzystywanych w obszarze Financial Crime
• Współpraca z zespołami DevOps, QA oraz Product Management w środowisku Continuous Delivery