Begins IT Solutions

 A Begins, do grupo de empresas da IstPay, tem como missão transforma ideias em realidade digital. Somos especialistas em desenvolvimento de software, comprometidos em criar soluções inovadoras e personalizadas para atender às necessidades exclusivas de nossos clientes. Junte-se a nós nesta jornada de inovação e descubra como a Begins pode impulsionar o sucesso do seu negócio através da tecnologia.

Descrição 

A posição de Engenheiro de Dados desempenha um papel essencial na organização, contribuindo para a extração e disponibilização de dados valiosos a partir pipelines complexos desenvolvidos nas clouds. O Engenheiro de Dados é responsável por extrair, trasformar e carregar os dados, disponibilizando acesso aos mesmos para as áreas de negócio, com o intuíto de orientar a tomada de decisões informadas dentro da empresa.

O que irá fazer?

•  Criação do projeto da plataforma de dados, data-lake e data-warehouse;
• Criação de pipelines de dados completos e disponibilização das informações no data-lake;
• Trasnformação e limpeza dos dados;
• Garantir o armazenamento e as rotinas de backup dos dados;
• Automatizar os processos de coletas de dados;
• Documentar os processos e pipelines;
• Manutenção nos jobs dos pipelines e suporte;

O que buscamos?

• Forte domínio na plataforma AWS, incluindo serviços como S3, EC2, EMR, Glue, Athena, VPC, DMS, EKS, SNS, SQS, Lambda, etc.;
• Sólidos conhecimentos com Infraestrutura como código (IaC) - Terraform;
• Sólidos conhecimentos em linguagem Python;
• Sólidos conhecimentos com Apache Airflow, Apache Spark;
• Compreensão sobre arquitetura de dados, integração e ETL/ELT;
• Conhecimento em ferramentas de versionamento de código, como Git;
• Capacidade de diagnosticar e resolver problemas em ambientes de dados da AWS;
• Experiência em gerenciamento de clusters Kubernetes na AWS usando Amazon EKS (Elastic Kubernetes Service), bem como Helm, ArgoCD;
• Conhecimentos em containers (Docker) e ambiente Linux.

Begins, inovando o novo!!