Receba notificações de novas vagas de Engineer em SAO PAULO-SP no seu e-mail.
Vaga: 1
Local de trabalho:
SAO PAULO - SP (1 vaga)
Descrição:
- Experiência em construção e manutenção de Data Lakes, com camadas streaming e batch;
- Prévia vivência com orquestração de pipeline de dados, preferencialmente Databricks Workflows;
- Conhecimento sobre Cloud Computing: Amazon Web Services e/ou Google Cloud Plataform e/ou Azure;
- Prévia utilização de boas práticas de Data Quality;
- Amplo conhecimento de workloads de ingestão de dados, casos de uso do cliente, incluindo desempenho, disponibilidade e escalabilidade;
- Sólida experiência em pelo menos um framework distribuído de dados, preferencialmente Spark e/ou Hadoop;
- Conhecimento de uma linguagem de programação: Scala ou Python (preferencialmente);
Será muito legal se você tiver:
- Experiência com administração e arquitetura da plataforma Databricks;
- Conhecimentos em Terraform, dbt e Elementary;
- Experiência em desenvolvimento de microsserviços e APIs;
- Conhecimentos em padrões de arquitetura de informação;
- Conhecimentos de modelagem multidimensional e data warehouse;
- Mindset Ágil;
- Experiência com ferramentas de DevOps (Jenkins, Kubernetes, Docker, etc);
- Executar atividades de manutenção e aprimoramento da Plataforma de Dados, empregando tecnologias como AWS, Databricks e Terraform;
- Gerenciar as iniciativas e relatórios técnicos relacionados à eficiência de custos da Plataforma de Dados, seguindo práticas de FinOps;
- Planejar e executar migração massiva de dados e expansão de novos componentes;
- Atuar ativamente na resolução de incidentes atreladas à ingestão, ambiente e catálogo de dados, identificando sua causa raiz;
- Projetar, implementar e dar suporte a uma plataforma que fornece acesso seguro a grandes conjuntos de dados;
- Modelar dados brutos para suportar amplo consumo de dados na camada Silver;
- Fazer a construção e manutenção de data lakes, com camadas streaming e batch;
- Analisar o desempenho em plataforma de processamento distribuído de dados, tunning de aplicações e componentes;
- Manter-se atualizado(a) quanto aos avanços nas tecnologias de big data e execução de PoC (provas de conceito) para projetar a arquitetura de dados de acordo com o aumento do volume de dados.
Mais vagas semelhantes
Data engineer
HojeDesenvolver e manter pipelines de dados: Construir e manter sistemas de pipeline de dados robustos e eficientes para coleta, armaz. . .
SAO PAULO-SPData engineer
Hoje4-year degree (Preferably in Computer Science or an equivalent discipline/experience).Fluency in English.Spanish proficiency is de. . .
SAO PAULO-SPData scientist sênior (37302)
Há 14 diasAtuação remotaPeríodo indeterminadoModelo de contratação: PJGrau avançado em Ciênc. . .
SAO PAULO-SPData viz especialista (37306)
Há 14 diasAtuação remotaPeriodo Indeterminado Modelo de contratação: PJBacharelado em Ciência de Dado. . .
SAO PAULO-SPData viz pleno (37305)
Há 14 diasAtuação remotaPeríodo Indeterminado Modelo de contratação: PJBacharelado em Ciência. . .
SAO PAULO-SPData viz sênior (37304)
Há 14 diasAtuação remotaPeríodo indeterminado Modelo de contratação: PJBacharelado em Ciência. . .
SAO PAULO-SPData product manager
Há 14 dias+5 anos de gerenciamento de produtos;Experiência em tecnologia/desenvolvimento, afinal você será um PM técnico também.Disponi. . .
SAO PAULO-SPData engineer pl (36958)
Há 23 diasAtuação remotaPeríodo Indeterminado Modelo de contratação: PJ ou CooperadoBuscamos um prof. . .
SAO PAULO-SPData analytics
Há 23 diasSomos uma consultoria de marketing e tecnologia que utiliza ciências exatas para melhorar a relação entre marc. . .
SAO PAULO-SPData scientist pl (36955)
Há 27 diasAtuação remotaPeríodo Indeterminado Modelo de contratação: PJ ou CooperadoBuscamos um prof. . .
SAO PAULO-SP