Especialista em Big Data (Cloudera e Databricks)

Especialista em Big Data (Cloudera e Databricks)

• São Paulo
• SP
• Empregos



Buscamos um Especialista em Big Data para atuar no suporte, otimização e operação de ambientes baseados em Cloudera e Databricks. Esse profissional será responsável pela administração de clusters, troubleshooting avançado, otimização de performance e implementação de boas práticas em plataformas de dados distribuídos.




Responsabilidades:






• Administrar e otimizar ambientes de Big Data, garantindo alta disponibilidade e performance.


• Monitorar, identificar e resolver incidentes complexos relacionados a Cloudera Data Platform e Databricks.


• Atuar no ajuste e tuning de pipelines de dados e workloads de processamento distribuído (Spark, Hadoop, Hive, Impala, Kafka).


• Implementar melhores práticas de governança, segurança e automação em clusters de Big Data.


• Realizar troubleshooting avançado, incluindo análise de logs, debugging de jobs e otimização de queries.


• Criar e manter documentação técnica, roteiros de instalação e checklists operacionais.


• Trabalhar em integração com times de engenharia, infraestrutura e fornecedores para garantir a estabilidade e escalabilidade dos ambientes.


• Apoiar na implementação de novas soluções e arquiteturas em Cloudera e Databricks, visando performance e eficiência.






Requisitos:






• Experiência com Cloudera Data Platform (CDP) e Databricks, incluindo administração, configuração e troubleshooting.


• Conhecimento do ecossistema Hadoop (HDFS, Spark, Hive, Impala, Kafka, YARN, Airflow).


• Conhecimento em Linux, incluindo administração, tuning de performance e troubleshooting.


• Experiência com bancos de dados relacionais e NoSQL para otimização e análise de performance.


• Habilidade em scripting e automação (Python, Shell, SQL) para otimizar operações de dados.


• Experiência com monitoramento e observabilidade em ambientes distribuídos (Grafana, Prometheus, ELK, Datadog).


• Conhecimento em segurança, autenticação e autorização em ambientes de Big Data.






Desejáveis:






• Experiência com AWS (S3, EMR, Glue, Lambda, IAM) e sua integração com soluções Big Data.


• Certificações Cloudera CDP Administrator, Databricks Certified Developer for Apache Spark.


• Experiência com arquitetura de Data Lake e Lakehouse.


• Vivência com DataOps e CI/CD para ambientes de dados.


• Experiência em projetos de migração de dados e otimização de pipelines.










Candidatar


Receba diariamente alerta de vagas da cidade São Paulo
Ativar Alerta de vagas (Grátis!)          
*Importante: verifique sempre sua caixa de spam



Veja mais vagas de emprego em São Paulo




Importante:

Apenas disponibilizamos as vagas, todo processo ficará a cargo do recrutador.
Não pague nada, a menos que tenha absoluta certeza da idoneidade do recrutador, desconfie sempre. Não compre nada prometa participação em seleção ou contratação para uma vaga. Jamais informe dados bancários, de cartão ou envie cópia de documentos e fotos/selfies por e-mail, WhatsApp, aplicativos de celular. O empregosmais não se responsabiliza por qualquer tipo de pagamento efetuado.




Dicas de segurança

Quando candidatar e/ou pesquisar vagas, observe estes sinais de fraude em potencial e considere denunciar, quando:


• exigirem pagamento, credenciais da sua conta ou outros dados pessoais confidenciais como parte do processo de recrutamento.


• dizem pagar muito por pouco trabalho, geralmente são falsas.
• oferecem emprego depois de só uma entrevista remota.

Certifique-se de pesquisar o empregador.