Pessoa Engenheira de Dados Sênior (DataSecOps)
Confidencial
Descrição da vaga
Você Irá: (Responsabilidades)Desenvolver, manter e evoluir pipelines de dados batch e streaming utilizando Airflow (EKS), EMR/Spark e DBT.Implementar ingestões de dados via DMS, APIs, arquivos e eventos, garantindo organização correta nas camadas do Data Lake.Investigar e corrigir incidentes de dados (falhas de DAG, erros de processamento, inconsistência de métricas, problemas de schema).Atuar na análise de causa raiz (RCA) e propor melhorias para evitar recorrência de falhas.Garantir qualidade dos dados através de testes automatizados (DBT tests), validações e reconciliações.Desenvolver e otimizar transformações em Spark e DBT visando performance e custo.Otimizar queries no Athena e modelos DBT, reduzindo custo de processamento e melhorando tempo de resposta.Trabalhar com cargas incrementais (append, overwrite, merge/upsert), garantindo consistência e idempotência.Apoiar a evolução da arquitetura atual, contribuindo com melhorias técnicas e padronizações.Realizar code reviews e seguir boas práticas de versionamento e documentação.Trabalhar próximo às áreas de negócio para garantir que os dados entregues atendam aos requisitos funcionais.Monitorar execuções e propor melhorias contínuas nos pipelines.
Requisitos e qualificações
Esses são os itens que não podem faltar:Experiência sólida como Engenheiro de Dados em ambiente cloud.Vivência prática com construção e manutenção de pipelines de dados em produção.Experiência com troubleshooting e resolução de incidentes.Experiência com modelagem analítica (fatos e dimensões).Experiência com cargas incrementais e particionamento.Stack Técnica EssencialAWS (S3, Athena, IAM, Glue Catalog
desejável EMR).Airflow (criação e manutenção de DAGs).Spark (PySpark – joins, particionamento, tuning básico de performance).DBT (modelagem, incremental models, testes).SQL avançado.Python.Git.Diferenciais:Experiência com arquitetura orientada a eventos.Conhecimento em tabelas versionadas (Iceberg/Hudi).Experiência com otimização de custos em Athena/EMR.Noções de observabilidade e monitoramento de dados.Participação em decisões técnicas ou padronização interna.