Engenheiro de Dados - Remoto

Saia na frente:

CANDIDATE-SE

Vaga ofertada por parceiro do Jobbol:
Estamos em busca de um(a) Analytics Engineer Pleno Buscamos uma pessoa com experiência em ambientes distribuídos (Spark/EMR), pipelines com Airflow/Glue, arquitetura AWS e modelagem de dados para analytics.
Curioso(a), proativo(a) e com boa capacidade analítica para atuar de forma estratégica com diferentes times.Responsabilidades: Implementar arquiteturas de dados escaláveis na AWS, seguindo as boas práticas do AWS Well-Architected Framework.
Automatizar pipelines de dados (ETL/ELT) usando ferramentas como Apache Airflow, AWS Step Functions e AWS Glue (Jobs, Crawlers, Workflows).
Criar e otimizar transformações de dados em grande escala utilizando Apache Spark (EMR) e/ou AWS Glue, garantindo desempenho e eficiência.
Desenvolver modelos de dados otimizados para analytics, utilizando datalakes, lakehouse ou data warehouses.
Trabalhar com streaming de dados quase em tempo real utilizando Amazon Kinesis, Amazon MSK (Kafka) e AWS Lambda para processamentos event-driven.
Implementar e gerenciar arquiteturas Lakehouse utilizando o framework Apache Iceberg no Amazon S3, integrando com data warehouses como o Amazon Redshift.
Desenvolver dashboards avançados e relatórios analíticos no Amazon QuickSight, criando visualizações e campos calculados para suportar decisões de negócio.
Implantar soluções de governança de dados com AWS Lake Formation, Glue Data Catalog e controle de acessos, assegurando segurança e compliance (LGPD/GDPR) nos dados.
Configurar monitoramento e observabilidade dos pipelines de dados, criando métricas customizadas e alarmes no Amazon CloudWatch para garantir qualidade e rapidez na detecção de problemas.
Realizar troubleshooting e otimização em pipelines e jobs distribuídos, diagnosticando falhas em sistemas como Spark/EMR, Redshift, Athena etc., e implementando melhorias.
Colaborar e orientar engenheiros de dados juniores, promovendo boas práticas de engenharia de dados e analytics dentro do time.Requisitos: Experiência comprovada com ferramentas de Big Data e processamento distribuído: Apache Spark (PySpark/Scala) em ambiente AWS EMR, otimização de jobs e manipulação de grandes volumes de dados.
Sólidos conhecimentos em SQL avançado (consultas complexas, window functions, CTEs) para análise e transformação de dados.
Experiência em data lakes (Amazon S3) e data warehouses (Amazon Redshift), incluindo particionamento de dados, formatos otimizados (Parquet/ORC).
Conhecimento de arquitetura Lake House e formatos de tabela como Apache Iceberg para unificar lakes e warehouses.
Familiaridade com streaming de dados em tempo real (Amazon Kinesis, Firehose, Apache Kafka/MSK) e processamento serverless com AWS Lambda.
Prática com ferramentas de orquestração de workflows (Airflow criação de DAGs complexos, AWS Step Functions, AWS Glue Workflows) para automação de pipelines.
Experiência em visualização e analytics: construção de dashboards no Amazon QuickSight ou similar, análise estatística básica (pandas, NumPy, SciPy) e storytelling com dados.
Noções de governança de dados e segurança: catálogo de dados (Glue Data Catalog), definições de acessos fine-grained (Lake Formation) e melhores práticas de compliance.
Desejável experiência com projetos de IA focados em dados: preparação de dados para modelos preditivos ou analíticos, entendimento de RAG e uso de modelos generativos (ex.: familiaridade com AWS Bedrock é um plus).
Inglês técnico para leitura de documentações e conteúdos da área (fluência ou conversação avançada será um diferencial).
Certificações AWS relacionadas (como AWS Certified Data Engineer Associate, AWS Solutions Architect Associate/Professional) serão consideradas diferenciais positivos.Competências Comportamentais: Organização e capacidade de gerenciar múltiplas tarefas e projetos de dados simultaneamente, priorizando conforme as demandas do negócio.
Proatividade e capacidade de resolução de problemas: iniciativa para identificar e corrigir falhas em pipelines, otimizar consultas e melhorar a eficiência dos processos de dados.
Boa comunicação para documentar processos, elaborar reports técnicos e traduzir requisitos de negócio em soluções de dados claras.
Trabalho em equipe e disposição para colaborar em um ambiente multidisciplinar (engenheiros de dados, analistas, cientistas de dados), compartilhando conhecimento e melhores práticas.
Aprendizado contínuo: interesse em se manter atualizado sobre novas ferramentas e tecnologias de Big Data, Analytics e serviços AWS, aplicando inovações quando apropriado.
Pensamento analítico para compreender problemas de negócio e propor soluções baseadas em dados de forma estratégica.Benefícios da oportunidade: Vale Alimentação ou Refeição; Plano de saúde; Seguro de vida; Plano odontológico; Bônus por certificações AWS; Incentivo financeiro para treinamentos e cursos; Modelo de trabalho híbrido: flexibilidade para atuar presencialmente e remotamente; Oportunidade de crescimento em um ambiente inovador e colaborativo.