Engenheiro de Dados - Remoto

Saia na frente:

CANDIDATE-SE

Vaga ofertada por parceiro do Jobbol:
Engenheiro de Dados SêniorSobre a posiçãoProcuramos um(a) Engenheiro(a) de Dados Sênior com experiência robusta em soluções de dados na nuvem AWS para liderar o desenvolvimento e a implementação de arquiteturas modernas e escaláveis.
Você será peça-chave na construção de pipelines de dados eficientes e resilientes, na implementação de data lakes e data warehouses, além de atuar no desenvolvimento de soluções analíticas de alto impacto com o ecossistema AWS, Databricks e Trino.Principais responsabilidadesProjetar e construir pipelines de dados eficientes utilizando AWS Athena, PySpark e Databricks;Implementar e gerenciar data lakes no Amazon S3 com estruturas otimizadas para alta performance e escalabilidade;Desenvolver e otimizar consultas complexas com Amazon Athena, Trino e Databricks;Planejar e executar processos de ETL/ELT, integrando múltiplas fontes de dados;Otimizar performance de queries e processamento massivo de dados;Promover code reviews e fornecer mentoria técnica para a equipe;Traduzir necessidades de negócio em soluções técnicas robustas e escaláveis;Implantar rotinas de monitoramento e observabilidade nos pipelines de dados;Agendar e orquestrar rotinas ETL com Apache Airflow.Requisitos TécnicosEssenciaisDomínio avançado de Python e SQL;Sólida experiência com serviços AWS, principalmente:Amazon S3 para armazenamento de dadosAmazon Athena para consultas serverlessVivência em Trino (PrestoSQL) para processamento distribuído de consultas;Proficiência em Databricks e Delta Lake para solução de dados analíticos;Experiência com PySpark para processamento em larga escala;Forte conhecimento em modelagem de dados e arquitetura de data warehousing;Prática em particionamento de dados e otimização de performance em data lakes;Domínio de versionamento Git e metodologias ágeis via Azure DevOps;Familiaridade com formatos como Parquet, Delta, Iceberg.DiferenciaisCertificações AWS (Data Analytics, Solutions Architect, Data Engineer);Experiência em orquestração com Apache Airflow;Projetos com streaming de dados (Kinesis, Kafka);Conhecimento de dbt (Data Build Tool) para transformações de dados;Experiência em qualidade de dados com Great Expectations;Compreensão de CDC (Change Data Capture);Conhecimento em observabilidade e monitoramento (Elastic Search e Kibana);Implementação de APIs RESTful;Familiaridade com containerização (Docker, Kubernetes);Vivência com Infraestrutura como Código (Terraform, CloudFormation).