Big Data Engineer

Dołącz do zespołu z branży bankowej, który rozwija nowoczesne rozwiązania w obszarze Big Data, analityki i AI. Pracujemy nad projektami biznesowymi oraz R&D, wykorzystując technologie przetwarzania danych w czasie rzeczywistym oraz wspierając wdrożenia rozwiązań Machine Learning.

Jako część zespołu będziesz mieć realny wpływ na rozwój platformy danych oraz optymalizację procesów przetwarzania i raportowania w organizacji.

Tryb pracy: hybrydowy – 2 spotkania w miesiącu w Warszawie

• Min. 2 lata doświadczenia w pracy z Apache Spark (Python lub Scala)
• Znajomość koncepcji Big Data, Hurtowni Danych oraz Data Management
• Doświadczenie z platformami Hadoop (Cloudera / Hortonworks)
• Bardzo dobra znajomość SQL
• Doświadczenie w pracy z różnymi formatami danych: JSON, Parquet, ORC, Avro
• Znajomość systemów baz danych i ich zastosowań (np. Hive, Kudu, HBase, Iceberg)
• Doświadczenie w integracji danych z różnych źródeł
• Znajomość dobrych praktyk inżynieryjnych (testowanie, dokumentacja, modelowanie danych)
• Znajomość narzędzi buildowych (np. Maven)

Nice to have:

• Doświadczenie w pracy w metodykach Agile (Scrum, Kanban) oraz narzędziach typu Jira, Confluence
• Znajomość Kafka, Apache NiFi lub innych technologii streamingowych
• Znajomość platformy Kubeflow
• Doświadczenie w automatyzacji CI/CD
• Doświadczenie w środowiskach chmurowych (GCP, Azure)

• Projektowanie i rozwój rozwiązań w obszarze Big Data i przetwarzania danych (batch oraz streaming)
• Implementacja pipeline’ów danych z wykorzystaniem technologii takich jak Spark, Hadoop czy Kafka
• Integracja danych z wielu źródeł oraz ich przetwarzanie na potrzeby analityki i raportowania
• Współpraca z zespołami Data Science przy wdrażaniu rozwiązań ML/AI
• Wsparcie architektoniczne i wdrożeniowe dla innych zespołów projektowych
• Dbanie o jakość kodu, standardy oraz optymalizację przetwarzania danych
• Udział w pracach zespołu Agile (Scrum) – planowanie, review, retrospektywy