Requisitos técnicos (experiência):

• Cloud Computing na plataforma AWS;
• Apache Spark;
• Apache Airflow;
• Scala/Python;
• ETL/ELT;
• Git;
• SQL/NoSQL;
• Data Modeling;
• Docker;
• Linux;
• Databricks;
• Arquitetura Lambda/Kappa.
• Tempo mínimo de atuação prática (experiência): 3 anos.

Diferencial:

• Experiência com Big Data e Analytics;
• Experiência com ferramentas de Big Data da AWS: EMR/Spark, Athena, Glue, Lambda, Redshift, S3, Kafka, ou outros;
• Certificação AWS.

Responsabilidades:

• Criação/Sustentação de pipeline de dados entre camadas no data lake, assim como otimização.
• Preparação/modelagem de base de dados;
• Ingestão de bases de dados para o data lake;
• Garantir o funcionamento dos processos e do ambiente produtivo;
• Pró atividade para identificação prévia de problemas de perfomance e/ou dados.

Principais Atividades:

• Criar/sustentar pipeline de dados entre camadas no data lake;
• Documentar as evoluções das atividades no JIRA diariamente;
• Fazer ingestão de bases para o data lake;
• Realizar análise de qualidade de dados, e se certificar de que padrões de analytics estão sendo aplicados;
• Versionar códigos desenvolvidos.
• Utilização de técnicas para a sustentação de arquiteturas escaláveis no ambiente da AWS, desenvolvendo a coleta dos dados por meio de serviços ou Jobs, transformações e armazenamento por meio de pipelines diversos de todos os dados da companhia e garantir a disponibilidade por meio de serviços e interfaces.