Data engineer Azure

Osoba dołączy do projektu Spyglass (Client Observability System) i wesprze rozwój kluczowej platformy obserwowalności – systemu zbierającego i przetwarzającego metryki, logi oraz traces, zapewniającego pełną widoczność środowiska IT i wspierającego szybkie decyzje operacyjne.

• Minimum 4-letnie doświadczenie komercyjne na stanowisku Data Engineer.
• Doświadczenie w pracy z rozwiązaniami streamingowymi, w szczególności Azure Event Hubs.
• Doświadczenie w projektowaniu i budowie skalowalnych pipeline’ów ETL/ELT.
• Bardzo dobra znajomość Azure Databricks.
• Biegła znajomość języka angielskiego.
• Bardzo dobra znajomość Python.

Nice to have:

• Doświadczenie z obszaru Observability (monitoring, tracing, logging).
• Doświadczenie z Azure Functions.
• Znajomość modelowania danych.

• Transformacja, walidacja i przygotowanie danych zgodnie z wymaganiami architektonicznymi (data contracts, schematy, standardy jakości).
• Współpraca z architektem, zespołem ML oraz DevOps w zakresie optymalizacji pipeline’ów i infrastruktury.
• Udostępnianie przetworzonych danych (np. poprzez warstwę curated / gold, API, tabele Delta, feature store).
• Projektowanie i implementacja data pipelines wspierających funkcjonalność Custom Triage.
• Integracja i przetwarzanie danych w środowiskach analitycznych takich jak Azure Databricks.
• Budowa mechanizmów ingestii danych z systemów źródłowych (np. Azure Event Hubs).
• Zapewnienie skalowalności, niezawodności i monitoringu przepływów danych.
• Integracja zewnętrznych workloadów ML z istniejącą architekturą danych.

• Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
• Wsparcie dedykowanej osoby kontaktowej z Connectis, dostępnej w celu pomocy w sprawach związanych z projektem.
• Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.
• 5000 PLN za polecenie znajomych do naszych projektów.
• Dostęp do najnowszych technologii i narzędzi pracy.
• Szybki i zdalny proces.
• Praca 100% zdalna.