Engenheiro De Dados Databricks Dbt Streaming ML AI

leega consultoria

📍 Remote🌐 Remote🕐 1mo ago🔗 himalayas

Job Description

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas! Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade. Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados. Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você! **\>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.** ### Cadastre-se agora mesmo em nossas vagas! Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar em uma frente de habilitação de Dados para IA — um papel estruturante, e não de execução pura de pipelines ou delivery de produto. Esse(a) profissional será responsável por definir caminhos e direcionamentos arquiteturais da plataforma de dados, criar mecanismos e padrões para o consumo de dados não estruturados (PDF, áudio, imagens e vídeos) por aplicações de IA, e habilitar outros times a construir sobre essa base. É um papel que combina visão de arquitetura com atuação hands-on: colocar a mão na massa, executar testes práticos, validar abordagens e melhorar continuamente os processos. ### Principais responsabilidades: * Definir caminhos, padrões e direcionamentos arquiteturais para a plataforma de dados voltada a IA * Estruturar e criar mecanismos para ingestão, processamento e disponibilização de dados não estruturados (PDF, áudio, imagens, vídeos) * Definir a estrutura dos dados para consumo por modelos de IA/ML e IA generativa * Automatizar, melhorar e propor mudanças em processos de dados existentes * Realizar provas de conceito e testes práticos para validar soluções antes de escalá-las * Atuar como referência técnica em um time de habilitação, apoiando times multidisciplinares * Construir e evoluir pipelines de dados escaláveis integrados a aplicações externas ### Requisitos obrigatórios: * Experiência sólida com Databricks e Apache Spark para processamento distribuído em larga escala * Domínio de Python e SQL aplicados à engenharia de dados (Scala como diferencial) * **Experiência com processamento de dados não estruturados (documentos/PDF, áudio, imagens ou vídeos) para consumo por IA** * Experiência em definição de arquitetura de dados e direcionamento técnico (não apenas execução) * Familiaridade com preparação de dados para IA/ML e IA generativa (feature engineering, chunking, embeddings, consumo por modelos) * Experiência em integração de dados com sistemas externos (APIs, serviços SaaS, streaming) * Vivência em cloud computing, preferencialmente GCP * Conhecimento de Delta Lake (arquitetura Lakehouse, versionamento e governança de dados) * Experiência com modelagem e transformação de dados com DBT * Prática com pipelines de dados (ETL/ELT) escaláveis e robustos * Experiência com versionamento de código (Git) e CI/CD * Experiência em ambientes ágeis e colaboração com times multidisciplinares * Perfil hands-on com autonomia para propor, testar e melhorar processos ### Diferenciais * Experiência com MLflow e Databricks ML * Experiência prática com pipelines de RAG, vetorização/embeddings e bancos vetoriais * Conhecimento em integração com ferramentas de IA generativa ou APIs de Machine Learning * Vivência com Kubernetes para orquestração de workloads * Experiência com Terraform (infraestrutura como código) * Familiaridade com arquiteturas orientadas a eventos ou streaming (Kafka, Pub/Sub) ### Trabalho 100% remoto ### Projeto: Até Dez/2026 podendo prorrogar. ### Informações adicionais **Na nossa empresa, você encontrará um ambiente colaborativo e um pacote de benefícios que visa o seu crescimento, saúde e qualidade de vida. Confira abaixo os benefícios que oferecemos:** ### 🏥 Convênio Médico Porto Seguro Cuidado completo para você e sua família, com possibilidade de incluir cônjuge e filhos. **🦷****Convênio Odontológico Porto Seguro** Proteção odontológica para você e seus dependentes. ### 💰 Participação nos Lucros e Resultados (PLR) Reconhecimento pelo seu trabalho e contribuição para o sucesso da empresa. ### 👶 Auxílio Creche Suporte financeiro para que pais e mães cuidem dos pequenos com tranquilidade. ### 🍽️ Vale Alimentação e Refeição Alelo Garantindo refeições práticas e confortáveis no seu dia a dia. ### 💻 Auxílio Home Office Incentivo para que você tenha um espaço de trabalho confortável em casa. ### 📚 Parcerias com Instituições de Ensino Educação ao seu alcance, com descontos e incentivos em cursos e graduações. ### 🚀 Incentivo para Certificações, inclusive em Cloud Avance sua carreira com certificações nas principais tecnologias como: GCP, Azure, AWS entre outras. ### 🎁 Pontos Livelo Acumule pontos e use como preferir, com total liberdade de escolha. ### 🏋️‍♂️ TotalPass Incentivo à saúde com planos de academia com desconto para colaboradores e familiares. ### 🧘‍♂️Mindself Incentivo à melhorar a qualidade de vida através de meditação e o Mindfulness. Originally posted on [Himalayas](https://himalayas.app)