Mid/Senior Data Platform Engineer
Tech Stack / Keywords
Firma i stanowisko
Nasz klient to wiodąca globalna firma doradcza z obszaru management consultingu, dostarczająca rozwiązania o wysokim wpływie biznesowym dla różnych branż. Współpracuje z dużymi przedsiębiorstwami z sektora finansowego, medialnego, technologicznego oraz publicznego.
Projekt jest częścią federacyjnej inicjatywy związanej z dostarczaniem danych. Skupia się na budowie i utrzymaniu solidnych pipeline’ów danych, zbierających i przetwarzających dane z wielu systemów enterprise oraz platform chmurowych. Celem projektu jest dostarczanie kadrze zarządzającej użytecznych insightów, wspieranie zespołów produktowych w targetowaniu grup użytkowników oraz mierzenie inicjatyw związanych z produktywnością opartą na AI.
Wymagania
- Minimum 5 lat doświadczenia na stanowisku Data Engineer
- Bardzo dobra znajomość Pythona, w szczególności w obszarze skryptów, API i budowy pipeline’ów danych
- Doświadczenie w pracy z Snowflake lub inną nowoczesną hurtownią danych, np. Redshift lub BigQuery
- Doświadczenie z Apache Airflow w zakresie orkiestracji pipeline’ów danych
- Dobra znajomość środowiska AWS, w szczególności Glue i Lambda
- Doświadczenie z Apache Spark w obszarze przetwarzania rozproszonego
- Znajomość procesów CI/CD oraz narzędzi takich jak GitHub Actions lub podobnych
- Doświadczenie w integracji z API zewnętrznymi i wewnętrznymi
- Praktyczna znajomość Git / GitHub workflow
- Doświadczenie w pracy z PostgreSQL lub innymi bazami OLTP
- Proaktywne podejście i umiejętność samodzielnego prowadzenia tematów
- Umiejętność pracy w środowisku cross-funkcyjnym
Nice to have:
- Doświadczenie z Snowflake Cortex
- Znajomość Scali, szczególnie w kontekście przetwarzania rozproszonego
- Znajomość frameworków wykorzystywanych w rozwiązaniach agentowych, np. LangChain, Pydantic
- Znajomość modeli uprawnień w Snowflake, w tym RBAC i ABAC
- Doświadczenie z alternatywnymi narzędziami do orkiestracji, np. Dagster lub Prefect
Obowiązki
- Budowa pipeline’ów ingestujących dane, integrujących narzędzia AI oraz wewnętrzne platformy do Snowflake
- Usprawnianie i standaryzacja istniejącej infrastruktury Snowflake
- Wdrażanie rozwiązań przez pipeline’y CI/CD do Airflow/Glue
- Obsługa wniosków o dostęp
- Współpraca z PM-ami i inżynierami przy identyfikowaniu potrzeb danych
Oferta
- Indywidualne wsparcie Service Delivery Managera, który pomoże Ci zaplanować ścieżkę kariery i zadba o komfort w projekcie
- Szkolenia, certyfikaty i konferencje - dofinansowujemy lub w pełni pokrywamy koszty rozwoju kompetencji technicznych
- Możliwość zmiany projektu zgodnie z preferencjami (#SmartChange)
- Wyjścia integracyjne, sport i webinary (#edge1talks)
- Wsparcie sportowe i wynajem sal treningowych
- Pakiet zdrowotny – prywatna opieka, karta sportowa, ubezpieczenie i wsparcie psychologiczne (HearMe)
- Elastyczne benefity – sam decydujesz, na co przeznaczasz punkty w systemie benefitowym
- Bezpłatne lekcje języka angielskiego dopasowane do poziomu
Edge One Solutions Sp. z o.o.
332 aktywne oferty