Engenheiro de Dados Pleno

  

Engenheiro de Dados Pleno
Tarefas pertinentes a rotinas de Engenheiro de Dados Pleno.

Tempo Integral

A combinar

  
Outras Competências:Capaz de definir soluções tecnicamente flexíveis e escaláveis. Capacidade de organização e planejamento, bem como documentação das atividades diárias. Capacidade de resiliência para shift entre projetos e repriorizações. Capacidade de trabalho em equipe com passagem de conhecimento. Antecipação dos pontos de incerteza em projetos. Boa comunicação para agendas técnicas e de negócio. Capacidade de desenhar e implementar soluções técnicas dentro do time de atuação. Utilizar-se de revisões de código e melhores práticas para estruturação e desenvolvimento. Experiência em atuação técnica comprovada com Cloud AWS. Experiência em atuação técnica comprovada com modelagem de dados. Experiência em atuação técnica comprovada no desenvolvimento de pipeline de dados (ETL / ELT) e integrações (preferencialmente DMS, NiFi e Airflow). Experiência com cenários de captura, ingestão e consumo de dados. Experiência na criação e manutenção de datalakes e data lakehouses. Conhecimentos avançados em SQL. Conhecimentos intermediários em MySQL. Conhecimentos intermediários em Python (necessário a utilização de bibliotecas de dataframes, limpeza de dados e conversões). Conhecimentos intermediários em PySpark. Experiência com tecnologias de armazenamento e processamentos de BigData na AWS (preferencialmente S3, RedShift, Athena) Experiência com metodologia ágil (Kanban e/ou Scrum). Apache Nifi. Experiência com uso e criação de containers e APIs RESTful Experiência com Databricks Experiência com NoSQL Experiência com governança de dados (Data Discovery, Data Lineage e Data Quality).