Data ETL Engineer / Data ETL Engineerka (all genders)

Opis stanowiska

Wspólnie z zespołem będziesz rozwijać rozwiązania oparte o Google Cloud Platform, które łączą różne źródła danych – zarówno on-premises, jak i chmurowe. Wykorzystamy Cloud Store, BigQuery, Data Fusion oraz narzędzia DevOps do integracji, testów automatycznych, bezpieczeństwa i zgodności IT. To świetna okazja, by pracować w nowoczesnym środowisku i realnie wpływać na jakość produktów!

Zakres obowiązków

• Dołącz do RITS Software House – dynamicznej firmy z RITS Group, która tworzy innowacyjne rozwiązania IT dla klientów w Polsce i na całym świecie! Szukamy osoby, która pokocha projektowanie, budowanie i wdrażanie modeli danych oraz transformacji w środowisku Google Cloud BigQuery. Jeśli masz ochotę pracować z najnowszymi technologiami i rozwijać swoje umiejętności w super zespole – to jest miejsce dla Ciebie!
•  Projektowanie, budowa, testowanie i wdrażanie modeli danych oraz transformacji w BigQuery (SQL, procedury składowane, indeksy, klastry, partycje, wyzwalacze i inne)
•  Tworzenie i zarządzanie potokami ETL/ELT do modelowania surowych i nieustrukturyzowanych danych w uniwersalnym modelu Data Vault
•  Przeglądanie, interpretacja i wdrażanie wymagań biznesowych oraz technicznych
•  Dbanie o niefunkcjonalne wymagania, standardy IT oraz narzędzia developerskie i wsparcia, zapewniając bezpieczne i skalowalne aplikacje
•  Monitorowanie potoków danych pod kątem awarii i wydajności, szybkie reagowanie i optymalizacja procesów ETL/ELT
•  Integracja danych z wielu źródeł, zapewniając spójność i dokładność danych
•  Zarządzanie artefaktami kodu oraz procesami CI/CD za pomocą narzędzi takich jak Git, Jenkins, Google Secrets Manager
•  Usuwanie błędów i wprowadzanie ulepszeń podczas rozwoju, przekazywanie wiedzy zespołowi wsparcia
• Co powinieneś / powinnaś mieć w swoim toolboxie?
•  3+ lat doświadczenia w zaawansowanym pisaniu i optymalizacji zapytań SQL w BigQuery – zwrócenie uwagi na koszty, czas i integralność danych
•  3+ lat doświadczenia w tworzeniu, testowaniu i wdrażaniu potoków ETL/ELT, najlepiej z użyciem GCP Data Fusion
•  Znajomość modelowania i stosowania Data Vault
•  Praktyka w Cloud Composer/Airflow, Cloud Run, Pub/Sub
•  Umiejętność programowania w Python i Terraform
•  Swobodne korzystanie z Git do kontroli wersji i współpracy
•  Doświadczenie w projektowaniu i utrzymaniu procesów CI/CD w narzędziach DevOps (Ansible, Jenkins) dla aplikacji chmurowych
•  Praca w modelu DataOps oraz Agile to dla Ciebie chleb powszedni

Wymagania

Mile widziane

•  Projektowanie i wdrażanie potoków danych w GCP Data Fusion, CDAP lub podobnych narzędziach, w tym parsowanie CSV, JSON, XML z różnych źródeł (REST, SOAP, SFTP)
•  Znajomość najlepszych praktyk dotyczących kontraktów danych i samodzielne ich negocjowanie oraz dokumentowanie
•  Umiejętności programistyczne w Java, zwłaszcza tworzenie pluginów do Data Fusion
•  Doświadczenie z narzędziami CI, CD i ciągłego testowania, zwłaszcza dla rozwiązań chmurowych

Benefity

Tech stack

Proces rekrutacyjny

Lokalizacja