O que esperamos de você?

Estamos em busca de um Engenheiro de Dados Pleno altamente qualificado para se juntar à nossa equipe dinâmica. Como parte deste papel desafiador e emocionante, você será fundamental na construção e otimização de pipelines de dados complexos, contribuindo para a integração, limpeza, transformação e análise de grandes volumes de dados. Aqui estão

os requisitos específicos para esta posição:

Conhecimento Profundo em SQL: Você deve ter um domínio sólido da linguagem SQL, capaz de escrever consultas complexas para manipulação eficiente de dados em diferentes sistemas de banco de dados.

Experiência em Python: Habilidade comprovada em Python é essencial, utilizando a linguagem para automatizar processos, criar scripts de extração e transformação de dados, e desenvolver aplicações de análise.

Domínio de Pandas: Experiência prática em Pandas é fundamental para a manipulação eficiente de dados estruturados, permitindo análises detalhadas e insights valiosos a partir de conjuntos de dados complexos.

Familiaridade com Spark: Conhecimento em Apache Spark é altamente desejável, permitindo o processamento escalável de dados em clusters distribuídos, facilitando análises de Big Data em tempo real e batch.

Conhecimento em Metodologia Scrum: Experiência prévia com a metodologia ágil Scrum é uma vantagem, pois você colaborará estreitamente com outros membros da equipe em sprints regulares para atender aos requisitos do projeto de forma iterativa e adaptativa.

Como será o seu dia a dia?

Análise de Requisitos:

Participação em reuniões com as equipes de negócios e de desenvolvimento para entender os requisitos de dados e as necessidades do projeto.

Colaboração na definição de especificações técnicas para pipelines de dados e soluções de armazenamento.

Desenvolvimento de Pipelines de Dados:

Projeto e implementação de pipelines de dados para coleta, processamento, transformação e armazenamento de dados.

Utilização de ferramentas e tecnologias como Python, Spark, Pandas e SQL para desenvolver scripts e workflows eficientes.

Manutenção e Otimização:

Monitoramento e manutenção contínua dos pipelines de dados para garantir sua integridade, desempenho e escalabilidade.

Identificação e resolução de problemas, otimizando o desempenho e a eficiência dos processos de dados.

Colaboração Agile:

Participação em sprints ágeis, trabalhando em estreita colaboração com outros membros da equipe para cumprir os objetivos do projeto.

Revisão e ajuste iterativo dos requisitos e entregas, conforme necessário, durante os ciclos de desenvolvimento ágil.

Testes e Validação:

Realização de testes unitários e integrados nos pipelines de dados para garantir sua precisão e confiabilidade.

Validação dos resultados das análises de dados para garantir sua consistência com as expectativas e requisitos do negócio.

Documentação e Compartilhamento de Conhecimento:

Documentação adequada dos pipelines de dados, incluindo fluxos de trabalho, processos de transformação e regras de negócios.

Compartilhamento de conhecimento e melhores práticas com outros membros da equipe, promovendo uma cultura de aprendizado contínuo e colaboração.