Senior Data Databricks Engineer

**Czym będziesz się zajmować?** * Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z różnorodnych sektorów przy projekcie skupionym na budowie i optymalizacji nowoczesnych platform danych w Azure oraz Databricks. * Projektowanie, rozwój i utrzymanie skalowalnych pipeline'ów danych oraz przetwarzanie dużych wolumenów danych dla rozwiązań analitycznych, krytycznych dla biznesu. * Rozwój i utrzymanie potoków danych w **Azure Data Factory** (ADF) oraz zadań w **Databricks Jobs**. * Tworzenie i integracja rozwiązań w języku Python z wykorzystaniem programowania obiektowego oraz wzorców projektowych (Factory, pipeline). * Praca z technologiami **PySpark, Delta Lake, Spark SQL** oraz **Azure Data Lake Storage Gen2**. * Integracja z bazami PostgreSQL oraz przetwarzanie danych szeregów czasowych (dane GPS i parametryczne). * Stosowanie wzorców Slowly Changing Dimensions (SCD) oraz technologii CDC (Change Data Capture) i ładowania przyrostowego. * Optymalizacja wydajności Spark w oparciu o wymogi SLA oraz konfiguracja Adaptive Query Execution (AQE). * Realizacja wzorców migracji z SSIS do nowoczesnej architektury chmurowej. * Wykorzystywanie narzędzia GitHub Copilot w codziennym procesie deweloperskim. **Kogo poszukujemy?** * Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym minimum 2 lata praktycznego doświadczenia z Databricks oraz Delta Lake w środowiskach produkcyjnych. * Minimum 2 lata doświadczenia w tworzeniu i utrzymaniu pipeline'ów Azure Data Factory (ADF). * Bardzo dobrej znajomości PySpark, Delta Lake, Spark SQL oraz Databricks Jobs. * Doświadczenia w budowaniu skalowalnych i wysokowydajnych rozwiązań danych na platformie Azure. * Głębokiego zrozumienia modelowania danych, procesów ETL/ELT oraz zasad nowoczesnej architektury danych. * Mile widziane doświadczenie w pracy w zespołach Agile/Scrum oraz znajomość praktyk CI/CD dla platform danych. * Mile widziana znajomość chmurowych rozwiązań danych, narzędzi do automatyzacji oraz silne umiejętności komunikacyjne i współpraca z interesariuszami. * Znajomość języka angielskiego na poziomie B2 lub C1 – umożliwiająca swobodną komunikację w międzynarodowym środowisku. * **Gotowość do pracy w modelu hybrydowym (wymagana obecność w biurze klienta 2 dni w tygodniu we Wrocławiu).** * Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca. **Czego wymagamy?** 4 lata doświadczenia na podobnym stanowisku Znajomości: * Azure Data Factory * Spark * Delta Lake * Data Lake Języki: * Polski * Angielski **Jakie warunki i benefity otrzymasz?** * 21.8k–25.2k PLN netto/m (B2B) * B2B - Elastyczne godziny pracy (100%) * Praca zdalna: Hybrydowo * Pakiet medyczny, Pakiet sportowy **Kim jesteśmy?** **Be in IT** specjalizuje się w kompleksowej rekrutacji specjalistów IT dla polskich i międzynarodowych firm. Wspieramy klientów w pozyskiwaniu ekspertów z obszarów software development, AI, data, cloud, cybersecurity, ERP, CRM oraz zarządzania IT. Stawiamy na znajomość technologii, przejrzystą komunikację i partnerskie podejście, dzięki którym skutecznie dopasowujemy kandydatów do potrzeb organizacji i realizowanych projektów.