Data Engineer (Python + Pyspark)

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.

Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

• posiadasz doświadczenie zawodowe, w tym 3-4 lata w rozwoju oprogramowania, integracji systemów, hurtowniach danych lub w podobnych obszarach
• programujesz w Pythonie, szczególnie w zakresie przetwarzania danych (pandas, PySpark)
• masz praktyczną znajomość SQL i projektowania baz danych
• posiadasz doświadczenie w pracy z Apache Spark / PySpark
• masz dobrą znajomość języka angielskiego w mowie i piśmie
• masz umiejętności analityczne i zdolność dostrzegania wspólnych elementów w różnorodnych problemach

Nice to have:

• modelowania danych, szczególnie w kontekście hurtowni danych i Big Data
• znajomość języków i frameworków do zapytań i przetwarzania danych, takich jak R, Scala, DAX, XPath, Kusto Query Language
• pracy w środowisku Visual Studio Code
• tworzenia skryptów automatyzujących wdrożenia w YAML dla środowiska Microsoft DevOps
• tworzenia i korzystania z usług RESTful API
• pracy z Microsoft Power BI.

• globalna platforma do bezpiecznej wymiany danych, analiz i usług pomiędzy różnymi branżami
• projektowanie, rozwój i wsparcie rozwiązań tworzonych w oparciu o narzędzia analityczne Azure (Azure Databricks, Azure SQL, Azure Data Factory, Azure Functions)
• tworzenie w pełni zautomatyzowanych potoków przetwarzania danych z wykorzystaniem komponentów Microsoft Azure
• rozwój, obsługa i dokumentowanie procesów pobierania danych, aplikacji wizualizacyjnych, zarządzania danymi i katalogów danych
• strojenie wydajności i optymalizacja aplikacji Apache Spark / PySpark
• eksploracja i analiza zbiorów danych pochodzących od dostawców zewnętrznych i wewnętrznych
• codzienna współpraca w międzynarodowym zespole
• praca zdalna
• stawka do 130 zł/h przy B2B.