Estamos em busca de um(a) Engenheiro(a) de Dados Pleno com experiência em Databricks e Apache Spark para atuar no desenvolvimento e evolução de pipelines de dados, trabalhando com grandes volumes de informações e ambientes distribuídos. Principais responsabilidades Desenvolver e manter pipelines de dados utilizando Databricks e Spark; Realizar ingestão, transformação e processamento de dados; Trabalhar com diferentes fontes e formatos de arquivos; Aplicar boas práticas de modelagem e manipulação de dados; Contribuir para a otimização de processos e performance dos workloads de dados.Requisitos obrigatórios Experiência prática com Databricks e Apache Spark; Sólidos conhecimentos de SQL, incluindo Window Functions; Conhecimento de modelagem e manipulação de dados; Experiência com processamento distribuído e Cluster Computing; Conhecimento de conceitos de performance do Spark, como Shuffle, Narrow/Wide Transformations, Column Pruning e Predicate Pushdown; Experiência com Delta Lake, incluindo versionamento e Time Travel; Conhecimento dos formatos Parquet e Avro; Experiência com leitura e gravação de dados em diferentes formatos. Diferenciais Experiência com Azure Data Factory; Vivência em ambientes Lakehouse e Azure Data Lake; Conhecimento em otimização de workloads Spark; Experiência com grandes volumes de dados; Conhecimento em streaming de dados; Experiência com CI/CD para pipelines de dados. Tem interesse? Candidate-se a nossa vaga que teremos o grande prazer de dividir essa experiência com você. Grandes coisas em termos de negócios nunca são feitas por uma pessoa. São feitas por uma equipe de pessoas"