Engenharia de Dados Híbridosp

Gft Brasil

Vaga encontrada via Empregos.com.br

PUBLICIDADE
(Espaço reservado pra publicidade em breve.)

Descrição da vaga

O que buscamos: Estamos em busca de um profissional Data Engineer L3 para atuar em projetos de Big Data e Data Engineering , no setor financeiro, utilizando Apache Spark, PySpark, SQL e Databricks , contribuindo para o desenvolvimento, evolução e otimização de pipelines e processos de dados. Responsabilidades: O profissional atuará em conjunto com times de Engenharia de Dados, Arquitetura, Analytics e áreas de negócio , com foco em escalabilidade, performance, qualidade, governança e eficiência dos processos de dados. Desenvolver, implementar e manter pipelines de dados (ETL/ELT) utilizando Apache Spark, PySpark e SQL. Trabalhar com Delta Lake , garantindo qualidade, integridade e performance dos dados. Criar e otimizar jobs e workflows no Databricks , com foco em escalabilidade, desempenho e eficiência. Implementar controles de qualidade, monitoramento e rastreabilidade dos dados. Atuar na análise e resolução de problemas relacionados aos pipelines e processamento de dados. Aplicar boas práticas de desenvolvimento, versionamento, testes e CI/CD. Otimizar processamento e consumo de recursos Cloud, buscando eficiência técnica e financeira. Trabalhar de forma integrada com times de Engenharia de Dados, Arquitetura, Analytics e áreas de negócio. Apoiar a evolução da arquitetura e dos processos de Big Data e Data Engineering. Requisitos: Experiência com Databricks. Experiência com Azure Databricks para desenvolvimento e processamento de dados. Conhecimento de Azure Data Factory (ADF) para integração e orquestração de pipelines. Experiência com integração entre Databricks e serviços Azure. Conhecimento de Unity Catalog , incluindo catálogo, schemas, permissões e governança de dados. Conhecimento de mecanismos de autenticação e autorização Azure, incluindo Microsoft Entra ID, Managed Identities e Service Principals. Experiência com Git e CI/CD , preferencialmente utilizando Azure DevOps. Conhecimento de práticas de Data Quality , monitoramento, tratamento de erros e observabilidade de pipelines. Capacidade de realizar troubleshooting e otimização de performance de processos Spark e Databricks. Conhecimento de boas práticas de segurança, governança e controle de acesso aos dados. Conhecimento de otimização de custos em Azure e Databricks , considerando clusters, capacidade computacional, armazenamento e execução de workloads. Desejável/Diferencial Conhecimento no mercado financeiro. Unity Catalog Azure DevOps Descrição comportamental: Procuramos uma pessoa que: Goste de trabalhar em equipe e seja colaborativa em suas atribuições. Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento. Transforme ideias em soluções criativas e busque qualidade em toda sua rotina. Tenha habilidades de resolução de problemas. Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo. Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. Big enough to deliver – small enough to care. #VempraGFT #VamosVoarJuntos #ProudToBeGFT.
PUBLICIDADE
(Espaço reservado pra publicidade em breve.)

Informações adicionais

Empresa
Gft Brasil
Localização
Barueri - SP
Fonte
Empregos.com.br

Ao candidatar-se, você será direcionado para o site de origem desta vaga (Empregos.com.br).

Candidatar-se →