Engenheiro de Dados - Híbrido

Saia na frente:

CANDIDATE-SE

Vaga ofertada por parceiro do Jobbol:
Somos uma empresa do Pátria Investimentos, no segmento de varejo alimentício multiformato e multicanal com atuação nas regiões Sul, Sudeste e Centro Oeste, em processo de rápida expansão.Através de operações regionais, entregamos a melhor experiência para cada região do país, com marcas e produtos adaptados para o consumidor local.Nossos clientes contam com os benefícios de uma experiência local suportada por processos e ferramentas que só um varejista de escala nacional é capaz de oferecer.Sobre a vaga:Buscamos um Engenheiro de Dados para atuar na construção pipelines de dados robustos, experiência com SQL, Python e AWS entre outros.Responsabilidades e Atribuições:Obtenção de Dados: Implementar e manter jobs de coleta de dados, garantindo a captura precisa e oportuna dos dados.Transformação de Dados: Desenvolver processos de transformação de dados, assegurando a consistência e qualidade dos dados em cada etapa.Manutenção de Infraestrutura: Utilizar Terraform para criar, atualizar e gerenciar a infraestrutura necessária para o processamento de dados na AWS.Monitoramento e Melhoria: Monitorar a performance dos sistemas de dados, identificar gargalos e oportunidades de melhoria, implementando soluções para otimizar os processos existentes.Consultas e Análises: Realizar consultas e análises de grandes volumes de dados usando Redshift e Athena, otimizando o desempenho das consultas.Governança e Segurança: Implementar e monitorar políticas de governança de dados, assegurando conformidade com regulamentos e melhores práticas de segurança.Documentação: Documentar processos, fluxos de trabalho e arquiteturas desenvolvidas, facilitando o entendimento e manutenção dos sistemas.Colaboração com Equipes: Trabalhar com equipes de desenvolvimento, análise de dados e stakeholders para entender requisitos e entregar soluções que atendam às necessidades de negócio.Requisições e Qualificações:Superior completo em Engenharia de Software, Ciências da Computação, Estatística, Matemática ou área correlata.Mínimo de 2 anos de experiência profissionalLinguagens de Programação: Proficiência em SQL e Python para manipulação de dados.
Desejável experiência com Pyspark, Pandas e Boto3 (incluindo automação de processos)Stack Tecnológico: Experiência com AWS, em particular S3, Redshift, Athena, Lambda e Glue.
Desejável experiência com outras ferramentas de ingestão, orquestração e transformaçãoInfraestrutura como Código: Conhecimento em Terraform para gerenciamento e automação de utilização de serviços.Processos de ETL/ELT: Habilidade em construir pipelines/workflows de dados.Modelagem de Dados: Conhecimento em modelagem de dados e melhores práticas para organização e normalização de dados.SQL e Bancos de Dados: experiência com bancos de dados relacionais.
Desejável experiência com bancos de dados não relacionais.APIs: Entendimento sobre consumo de APIs e seu uso nos processos de ingestão e transformação de dados.Governança de Dados: Experiência em implementar políticas de governança e segurança de dados.Ferramentas de Versionamento: Conhecimento em sistemas de controle de versão, como Git e Code Commit.
Desejável experiência com dbtBoas práticas de Engenharia: Aplicação prática de conceitos de engenharia para tornar códigos mais fáceis de manter, diminuindo dependências, otimizando performance e buscando automação de tarefas.Local de trabalho: Vila Olimpia/SP Modelo: Híbrido SomosPlurix SomosSuper