Description:
Junte-se à Digiage e participe de um dos maiores desafios de modernização de dados do mercado: a migração de um ambiente Azure Synapse para Databricks/AWS no maior player do setor de mobilidade e pagamento automático.
Na Digiage, acreditamos que dados bem estruturados e pipelines confiáveis são a base para decisões melhores e mais rápidas.
Estamos em busca de uma pessoa Engenheira de Dados Pleno para atuar de ponta a ponta na migração de processos de dados — ingestão, transformação (DW) e entrega —, construindo pipelines robustos e colaborando com o time técnico na definição dos padrões do projeto.
Responsabilidades e atribuições:
-
Desenvolver, testar e migrar pipelines de ingestão, processamento (DW) e entrega de dados.
- Traduzir jobs e regras de negócio existentes (Synapse/SQL) para PySpark/Databricks.
- Contribuir para a esteira de CI/CD do projeto, incluindo versionamento, deploy automatizado e testes.
- Realizar troubleshooting de performance e qualidade de dados em pipelines produtivos.
- Colaborar com arquitetos e engenheiros seniores na definição de padrões de código e boas práticas.
- Apoiar e mentorar engenheiros júnior nas tarefas do dia a dia.
- Participar de discussões técnicas sobre a estratégia de migração e sugerir melhorias de processo.
-
Requirements:
- Experiência prévia em engenharia de dados.
- Sólido conhecimento em SQL e Python.
- Experiência com Apache Spark (PySpark) e processamento distribuído.
- Conhecimento sólido em práticas de versionamento com Git.
- Experiência com construção e manutenção de pipelines de CI/CD.
- Vivência na construção e manutenção de pipelines de dados em ambiente produtivo.
Diferenciais:
-
Conhecimento na stack Azure Synapse Analytics, Azure Data Factory e Azure Data Lake Storage Gen2.
- Experiência com Databricks (Delta Lake, Workflows, Unity Catalog).
- Vivência em projetos de migração de Data Lake/Data Warehouse para nuvem (AWS/Databricks).
- Conhecimento de ferramentas de orquestração (Airflow, Databricks Workflows, ADF) ou uso de práticas de IA aplicada à migração.