Senior Data Platform Engineer

**Czym będziesz się zajmować?** * Projektowanie i wdrażanie nowych rozwiązań w ramach dużej platformy danych opartej na technologii Azure Databricks * Tworzenie i optymalizacja kodu SQL i Python w celu zapewnienia efektywnego przetwarzania w środowisku chmurowym platformy danych * Budowanie przepływów danych zgodnie z aktualnym frameworkiem oraz wymaganiami funkcjonalnymi i niefunkcjonalnymi * Opracowywanie i wdrażanie procesów oraz najlepszych praktyk w zakresie zarządzania i nadzoru nad danymi * Optymalizacja i usprawnianie konfiguracji systemu oraz poprawa struktur danych zgodnie z najlepszymi praktykami branżowymi * Współpraca z administratorami systemu w celu identyfikacji i projektowania optymalnych interfejsów do komunikacji z platformą danych w środowisku chmurowym * Efektywna współpraca z zespołem inżynierów danych oraz ścisła współpraca z analitykami i architektem platformy danych **Kogo poszukujemy?** * Minimum 5-letnie doświadczenie w pracy w środowisku chmurowym na stanowiskach inżyniera danych, programisty lub pokrewne * Bardzo dobra znajomość języków Python oraz ANSI SQL * Praktyczna znajomość Azure Databricks Lakehouse poparta doświadczeniem w pracy z tą technologią * Korzystanie z konektorów Databricks do integracji systemów źródłowych (REST API, JDBC, SaaS, pliki) * Przetwarzanie strumieniowe: Structured Streaming, Auto Loader * Projektowanie i orkiestracja pipeline'ów danych (ETL/ELT) w architekturze medalionu z Databricks i/lub Azure Data Factory * Data governance i security: Unity Catalog, RBAC, zarządzanie dostępami * Optymalizacja Spark: tuning zapytań, zarządzanie plikami, liquid clustering, Z-ORDER, OPTIMIZE/VACUUM * Spark Declarative Pipelines: definiowanie zależności, zarządzanie DAG, integracja z pipeline'ami danych * Znajomość Declarative Automation Bundles lub podobnych podejść do zarządzania deploymentem * Wykorzystanie modeli LLM/AI do generowania kodu dla transformacji i pobierania danych w Databricks * Znajomość jęz. angielskiego umożliwiająca prowadzenie spotkań biznesowych oraz tworzenia dokumentacji min. B2 * Doświadczenie w pracy z dokumentacją projektową * Dokładność i proaktywna postawa w realizacji powierzonych zadań (proponowanie rozwiązań i scenariuszy) **Czego wymagamy?** 5 lat doświadczenia na podobnym stanowisku Znajomości: * Data analyst * Python * Databricks * ANSI SQL Mile widziane: * Structured Streaming * Auto Loader * ETL * ELT * Unity Catalog * RBAC * Spark tuning * Spark liquid clustering Języki: * Polski * Angielski **Jakie warunki i benefity otrzymasz?** * 20.2k–26.9k PLN netto/m (B2B) * B2B - Elastyczne godziny pracy (100%) * Praca zdalna: W całości * Pakiet medyczny, Ubezpieczenie, Pakiet sportowy **Kim jesteśmy?** The authorized Informatica Corp, Altair and KMS Lighthouse distributor in Poland and CEE with added value - professional services. Our company is providing, besides licenses, implementation services, trainings, onsite experts etc.