Data Engineer (Airflow, ClickHouse)

Interia.pl jest czołowym graczem na polskim rynku mediów nowej generacji. Co miesiąc prawie 21 mln osób korzysta z dostępu do najświeższych informacji, ciekawostek i rozrywki oraz z najlepszego sposobu komunikowania się ze światem. Działamy w ramach Grupy Polsat Plus, lidera rynku mediów i telekomunikacji w Polsce, co stawia przed nami jeszcze większe i ekscytujące wyzwania. Dzięki temu nieustannie się rozwijamy.

• minimum rok komercyjnego doświadczenia z ClickHouse oraz Apache Airflow
• znajomość SQL, w tym tworzenie i optymalizacja zapytań
• doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT
• umiejętność analizy i walidacji danych (kontrola kompletności i poprawności wyników po zmianach)
• kreatywność i umiejętność rozwiązywania problemów
• doświadczenie w pracy w projektach prowadzonych metodykami zwinnymi

Nice to have:

• praktyczna znajomość środowisk Big Data (np. Hive)
• doświadczenie w migracji zapytań/procesów między różnymi silnikami analitycznych

• dostosowanie i rozwój DAG-ów w Apache Airflow i ClickHouse
• refaktoryzacja oraz optymalizacja zapytań SQL pod ClickHouse (wydajność, koszty, czas wykonania)
• projektowanie i modyfikacja struktur oraz procesów w obszarze hurtowni danych
• walidacja poprawności danych po migracji (porównania wyników, kontrola kompletności, testy regresji)
• monitoring i utrzymanie procesów ETL (analiza błędów, usprawnienia, automatyzacja)
• aktywne uczestnictwo w ocenie technologii i narzędzi oraz proponowanie najlepszych rozwiązań
• dzielenie się wiedzą w zespole