Senior Data Engineer

• Doświadczenie z Spark & Scala - minimum 5 lat
• Doświadczenie z Python - minimum 7 lat
• Doświadczenie z oprogramowaniem Linux - minimum 5 lat
• Doświadczenie w pracy z rozproszonymi silnikami przetwarzania danych, takimi jak Spark
• Doświadczenie z Hadoop oraz narzędziami takimi jak Hive, Oozie, MapReduce itp.
• Bardzo dobra/zaawansowana znajomość SQL
• Doświadczenie w tworzeniu przepływów danych (data flows)
• Bardzo dobra znajomość BitBucket oraz GIT
• Doświadczenie w testach jednostkowych (JUnit 5, Mockito, testowanie Spark)
• Umiejętność efektywnej współpracy oraz realizacji celów poprzez komunikację i pracę zespołową
• Ciekawość, responsywność oraz zdolność rozumienia potrzeb innych w celu dostarczania oczekiwanych rezultatów
• Dbałość o jakość pracy i ciągłe doskonalenie realizowanych działań
• Wysoki poziom samomotywacji

Nice to have:

• Znajomość strategii wersjonowania kodu oraz strategii branchowania
• Znajomość metodyk Agile / SAFe Framework

• Budowa rozproszonego i wysoko równoległego pipeline’u do przetwarzania Big Data, obsługującego ogromne ilości danych (ustrukturyzowanych i nieustrukturyzowanych) w czasie zbliżonym do rzeczywistego
• Wykorzystanie technologii Spark i Scala do transformacji danych korporacyjnych na potrzeby budowy produktów danych
• Realizacja continuous delivery na platformach Hadoop oraz innych środowiskach Big Data
• Automatyzacja procesów w celu zapewnienia ich powtarzalności, niezawodności i efektywności