senior data platform engineer (kafka & databricks)
Não informado
Vaga encontrada via Randstad
PUBLICIDADE
(Espaço reservado pra publicidade em breve.)
Descrição da vaga
A Randstad, em parceria com uma multinacional líder global no setor de inteligência de dados e infraestrutura, está buscando um Senior Data Platform Engineer para atuar na construção e evolução do Common Data Backbone (CDB), uma plataforma estratégica para integração, governança e descoberta de dados em escala global.
Sobre a Oportunidade O CDB conecta múltiplos serviços de nuvem e aplicações finais utilizando Apache Kafka para orquestração de eventos e serviços de integração. Você fortalecerá o time expandindo a infraestrutura Kafka e a implementação do Databricks na AWS, com foco em segurança de clusters, gerenciamento de ciclo de vida, tuning de performance, pipelines Databricks e engenharia de confiabilidade (SRE) em padrões enterprise.
O Que Você Fará
Projetar, implantar e manter clusters Kafka seguros e de alta disponibilidade na AWS (MSK ou autogerenciados).
Realizar planejamento de capacidade, ajuste de desempenho e dimensionamento proativo ( proactive scaling ).
Automatizar a infraestrutura e a configuração utilizando os princípios do Terraform e GitOps.
Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS.
Implementar observabilidade: métricas, dashboards no Grafana, alarmes no CloudWatch.
Desenvolver runbooks para resposta a incidentes, recuperação de desastres ( disaster recovery ) e atualizações contínuas ( rolling upgrades ).
Garantir a conformidade com requisitos de segurança e auditoria (ISO27001).
Colaborar com as equipes de desenvolvimento para fornecer as melhores práticas do Kafka para microsserviços .NET e jobs de streaming do Databricks.
Conduzir testes de resiliência e manter estratégias documentadas de RPO/RTO.
Impulsionar a melhoria contínua na otimização de custos, confiabilidade e maturidade operacional.
O Que Estamos Procurando
Mais de 5 anos de experiência em funções de plataforma de dados, plataforma em nuvem, SRE, DevOps ou engenharia de infraestrutura, incluindo pelo menos 3 anos de experiência prática operando Kafka em ambientes de produção.
Forte conhecimento dos componentes internos do Kafka: partições, replicação, ISR, quorum do controlador, KRaft.
Experiência (Expertise) em serviços AWS: VPC, EC2, MSK, IAM, Secrets Manager, redes.
Familiaridade com Databricks Structured Streaming e Kafka Connect.
Experiência comprovada com TLS/mTLS, SASL/SCRAM, ACLs e design seguro de clusters.
Proficiência em Infraestrutura como Código (preferencialmente Terraform).
Familiaridade com pipelines CI/CD para configuração de clusters e tópicos.
Monitoramento e alertas usando Grafana, CloudWatch e agregação de logs.
Estratégias de recuperação de desastres.
Fortes habilidades de script (Bash, Python) para automação e ferramentas.
Excelentes habilidades de documentação e comunicação.
Inglês falado e escrito em nível, no mínimo, Intermediário-Avançado ( Upper-Intermediate ).
Pontos Bônus (Diferenciais)
Conhecimento em Schema Registry (Protobuf) e governança de schemas.
Experiência anterior trabalhando com dados geoespaciais.
PUBLICIDADE
(Espaço reservado pra publicidade em breve.)
Informações adicionais
- Empresa
- Não informado
- Localização
- Village rio das ostras - Rio de janeiro
- Salário
- R$ 18.001 - R$ 20.000
- Publicada em
- 15/09/2026
- Fonte
- Randstad
Ao candidatar-se, você será direcionado para o site de origem desta vaga (Randstad).
Candidatar-se →