Conhecimentos avançado na plataforma Databricks (Delta Lake, Unity Catalog, Notebook, Python, Pyspark, SQL, DLT, JOBs, Federation, Clusters) (Mínimo 3 anos de atuação)

Conhecimento avançado SQLPostgreSQLmongoDB (Mínimo 3 anos de atuação)

Vivência om pipeline de dados Azure Datafactory e/ou AirFlow

Vivência com integração de dados de fontes como MongoDB, APIs e arquivos .json

Conhecimento em Power BI

Lógica de Programação para escrever e revisar queries em banco de dados, usar parâmetros, criar variáveis Indispensável

Estamos em busca de um(a) Engenheiros de Dados com experiência mínima de 5 anos em processos de Ingestão, manipulação e tratamento de dados em Data Lake.

Conhecimento de Ferramentas e Linguagens (pelo menos 3 anos de experiência): Azure Data Factory, Azure Databricks, Python, Spark, SQL, Banco de dados relacional e No-SQL; Conhecimento em AWS;

Será responsável pelo desenvolvimento de pipeline de dados para o Data Lake usando Azure Data Factory e Databricks; Desenvolver pipelines de processamento de dados do hub de eventos usando Delta live tables (Databricks); Criar processos de integração com diferentes fontes de dados (MongoDB, APIs, arquivos .json, etc...); Realizar manutenção dos processos para correção de falhas/erros; Implementação de melhorias; Atuar como parte da equipe ágil; Colaborar com outros membros da equipe, Engenheiros, PO, QA, Scrum Master, Funcional e Tech Leader para resolver os desafios existentes; Desenvolver, implantar e operar aplicações na cultura DevOps; Modelagem de Dados Relacional e Dimensional.