senior data platform engineer (kafka & databricks)

Não informado

Vaga encontrada via Randstad

PUBLICIDADE
(Espaço reservado pra publicidade em breve.)

Descrição da vaga

A Randstad, em parceria com uma multinacional líder global no setor de inteligência de dados e infraestrutura, está buscando um  Senior Data Platform Engineer  para atuar na construção e evolução do Common Data Backbone (CDB), uma plataforma estratégica para integração, governança e descoberta de dados em escala global. Sobre a Oportunidade  O CDB conecta múltiplos serviços de nuvem e aplicações finais utilizando Apache Kafka para orquestração de eventos e serviços de integração. Você fortalecerá o time expandindo a infraestrutura Kafka e a implementação do Databricks na AWS, com foco em segurança de clusters, gerenciamento de ciclo de vida, tuning de performance, pipelines Databricks e engenharia de confiabilidade (SRE) em padrões enterprise. O Que Você Fará Projetar, implantar e manter clusters Kafka seguros e de alta disponibilidade na AWS (MSK ou autogerenciados). Realizar planejamento de capacidade, ajuste de desempenho e dimensionamento proativo ( proactive scaling ). Automatizar a infraestrutura e a configuração utilizando os princípios do Terraform e GitOps. Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS. Implementar observabilidade: métricas, dashboards no Grafana, alarmes no CloudWatch. Desenvolver runbooks para resposta a incidentes, recuperação de desastres ( disaster recovery ) e atualizações contínuas ( rolling upgrades ). Garantir a conformidade com requisitos de segurança e auditoria (ISO27001). Colaborar com as equipes de desenvolvimento para fornecer as melhores práticas do Kafka para microsserviços .NET e jobs de streaming do Databricks. Conduzir testes de resiliência e manter estratégias documentadas de RPO/RTO. Impulsionar a melhoria contínua na otimização de custos, confiabilidade e maturidade operacional. O Que Estamos Procurando Mais de 5 anos de experiência em funções de plataforma de dados, plataforma em nuvem, SRE, DevOps ou engenharia de infraestrutura, incluindo pelo menos 3 anos de experiência prática operando Kafka em ambientes de produção. Forte conhecimento dos componentes internos do Kafka: partições, replicação, ISR, quorum do controlador, KRaft. Experiência (Expertise) em serviços AWS: VPC, EC2, MSK, IAM, Secrets Manager, redes. Familiaridade com Databricks Structured Streaming e Kafka Connect. Experiência comprovada com TLS/mTLS, SASL/SCRAM, ACLs e design seguro de clusters. Proficiência em Infraestrutura como Código (preferencialmente Terraform). Familiaridade com pipelines CI/CD para configuração de clusters e tópicos. Monitoramento e alertas usando Grafana, CloudWatch e agregação de logs. Estratégias de recuperação de desastres. Fortes habilidades de script (Bash, Python) para automação e ferramentas. Excelentes habilidades de documentação e comunicação. Inglês falado e escrito em nível, no mínimo, Intermediário-Avançado ( Upper-Intermediate ). Pontos Bônus (Diferenciais) Conhecimento em Schema Registry (Protobuf) e governança de schemas. Experiência anterior trabalhando com dados geoespaciais.
PUBLICIDADE
(Espaço reservado pra publicidade em breve.)

Informações adicionais

Empresa
Não informado
Localização
Village rio das ostras - Rio de janeiro
Salário
R$ 18.001 - R$ 20.000
Publicada em
15/09/2026
Fonte
Randstad

Ao candidatar-se, você será direcionado para o site de origem desta vaga (Randstad).

Candidatar-se →