AI Jobs Map

Ci&T · Remoto

[job-31693] Senior Data Developer, Brasil.

RemoteseniorPosted yesterday
Apply on IndeedIndeedOpens the original posting. AI Jobs Map never asks for your details.

Stack mentioned

agentic-aietlsqlapache-sparksql-serverdatabricksazuredata-engineeringanthropicgitci/cdllmpythonapache-airflowhadoopunityterraform

Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.

Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.

Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

### **Sobre a oportunidade**

A CI&T está conduzindo um programa de modernização de dados de alta complexidade para um dos maiores sistemas de saúde da América Latina.

O programa envolve o assessment, a racionalização e a migração de milhares de workloads de dados, incluindo pipelines ETL, packages SSIS, stored procedures, SQL Agent Jobs, integrações cross-system e processos PySpark/Sqoop, de uma stack legada baseada principalmente em SQL Server e SSIS para uma plataforma moderna construída sobre Databricks Lakehouse na Azure.

Buscamos uma pessoa Senior Data Engineer com experiência prática em engenharia de dados e modernização de ambientes legados. Essa pessoa atuará na análise, conversão, implementação e validação dos workloads, trabalhando em conjunto com lideranças técnicas, arquitetos e especialistas do cliente.

Além da experiência em dados, buscamos alguém que utilize coding agents, como Claude Code, Codex ou ferramentas equivalentes, de forma estruturada no dia a dia. Esperamos que essa pessoa saiba usar AI para investigar código, implementar conversões, gerar testes, diagnosticar falhas e produzir documentação, mantendo senso crítico e responsabilidade sobre a qualidade do resultado.

A pessoa também contribuirá para a evolução do harness de migração: o conjunto de instruções, contexto, ferramentas, automações, testes e quality gates que permite aos agentes executar atividades de engenharia com maior segurança e previsibilidade.

Esta é uma posição de engenharia de dados com forte atuação hands-on. Não é necessário possuir experiência em pesquisa, treinamento ou desenvolvimento de modelos de linguagem.

### **Missão da posição**

Implementar e validar a modernização dos workloads de dados, utilizando práticas sólidas de engenharia e ferramentas assistidas por AI para aumentar a produtividade, reduzir trabalho manual e preservar o comportamento dos processos legados.

### **Responsabilidades**

#### **Análise de workloads legados**

- Analisar workloads como packages SSIS, stored procedures, views, functions, SQL Agent Jobs, pipelines PySpark/Sqoop e scripts de integração.

- Identificar tabelas, arquivos, conexões, parâmetros, dependências e efeitos colaterais envolvidos em cada workload.

- Investigar regras de negócio e comportamentos implícitos ou pouco documentados.

- Apoiar a classificação dos workloads nas estratégias de migrar, converter, refatorar, substituir, eliminar ou postergar.

- Registrar riscos, dependências, limitações e dúvidas encontradas durante o assessment.

- Contribuir para o inventário técnico e o mapeamento de dependências do ambiente legado.

#### **Conversão e modernização**

- Implementar conversões de T-SQL para Databricks SQL, Spark SQL ou PySpark.

- Converter ou reconstruir fluxos SSIS utilizando notebooks, jobs, pipelines e workflows na plataforma-alvo.

- Modernizar SQL Agent Jobs e outros mecanismos de execução e agendamento conforme os padrões de orquestração definidos pelo programa.

- Aplicar padrões arquiteturais e de desenvolvimento estabelecidos pelas lideranças técnicas.

- Propor melhorias nos padrões quando identificar casos não contemplados, limitações ou oportunidades de simplificação.

- Tratar diferenças entre as plataformas relacionadas a tipos de dados, `NULL`, precisão decimal, datas, timezone, collation, ordenação, funções específicas e comportamento transacional.

- Preservar as regras de negócio e os resultados esperados, evitando reproduzir desnecessariamente limitações ou complexidades da solução legada.

- Participar de code reviews e apoiar outros integrantes do squad na investigação de problemas técnicos.

#### **Desenvolvimento assistido por AI**

- Utilizar coding agents, como Claude Code, Codex ou equivalentes, para análise de código, implementação, refatoração, geração de testes, troubleshooting e documentação.

- Fornecer aos agentes contexto técnico adequado, incluindo requisitos, padrões de conversão, arquitetura, exemplos e critérios de aceite.

- Revisar criticamente o código produzido por AI antes de aceitá-lo ou promovê-lo.

- Identificar problemas de correção, segurança, performance, manutenibilidade e equivalência semântica nos resultados gerados.

- Utilizar ciclos iterativos de geração, execução, coleta de erros, correção e validação.

- Registrar limitações, falhas recorrentes e aprendizados obtidos durante o uso das ferramentas.

- Transformar correções repetitivas em instruções, exemplos, regras, testes ou skills reutilizáveis pelo squad.

- Respeitar as políticas de segurança, privacidade e uso de ferramentas generativas definidas pela CI&T e pelo cliente.

#### **Contribuição para o harness de migração**

- Utilizar e contribuir para a estrutura de contexto, instruções, skills e ferramentas disponibilizada nos repositórios do programa.

- Criar ou aprimorar scripts, validadores e automações que apoiem o assessment, a conversão e a validação dos workloads.

- Integrar as atividades assistidas por AI com Git, pull requests, CI/CD e processos de revisão.

- Ajudar a tornar logs, erros, testes, metadados e documentação acessíveis aos agentes de desenvolvimento.

- Contribuir para ciclos automatizados de execução e feedback, permitindo que conversões sejam verificadas de forma repetível.

- Identificar atividades que podem ser automatizadas e situações que ainda exigem análise ou aprovação humana.

- Apoiar a evolução do tooling de migração com base nas dificuldades observadas nos workloads reais.

#### **Qualidade e reconciliação**

- Criar testes unitários, de integração e de regressão para pipelines e componentes convertidos.

- Executar validações de paridade entre workloads legados e modernizados.

- Comparar schemas, row counts, checksums, agregações, regras de negócio e resultados detalhados.

- Investigar divergências e identificar se sua origem está no código, nos dados, no ambiente ou na interpretação da regra de negócio.

- Criar dados e cenários de teste que cubram casos comuns e casos de borda.

- Contribuir para golden datasets, golden queries e outros artefatos utilizados na avaliação das conversões.

- Garantir que uma conversão não seja considerada concluída apenas porque o código compila ou executa.

- Produzir e registrar evidências de validação para os workloads migrados.

#### **Tooling e automação**

- Utilizar componentes do Lakebridge e outras ferramentas de análise, conversão e reconciliação adotadas pelo programa.

- Executar processos de inventário e análise sobre artefatos SQL, SSIS e demais tecnologias legadas.

- Avaliar os resultados produzidos por transpilers e conversores baseados em LLMs.

- Desenvolver automações e utilitários em Python para reduzir atividades manuais.

- Apoiar a integração entre ferramentas de assessment, metadata, lineage, conversão e validação.

- Contribuir com melhorias que possam ser reutilizadas em diferentes ondas da migração e em futuras iniciativas da CI&T.

- Registrar categorias de falha e apoiar a identificação de oportunidades para aumentar a taxa de automação.

#### **Integrações e complexidade legada**

- Investigar workloads com linked servers, integrações Oracle via OLE DB ou `OPENROWSET`, conexões SAP, `SendMailTask`, arquivos em file shares on-premises e outras dependências externas.

- Implementar as estratégias de migração definidas para cada categoria de integração.

- Trabalhar com os times de arquitetura, infraestrutura e segurança para solucionar dependências de rede, acesso e autenticação.

- Apoiar testes de coexistência, cutover, rollback e desativação dos componentes legados.

- Documentar exceções, restrições e dependências que possam impactar outros workloads.

#### **Segurança e governança**

- Seguir os controles definidos para o uso de ferramentas generativas em ambiente enterprise.

- Proteger credenciais, secrets, código proprietário, dados pessoais e informações sensíveis.

- Evitar o envio de dados ou artefatos para ferramentas, modelos ou endpoints não aprovados.

- Utilizar corretamente mecanismos de autenticação, autorização e segregação de ambientes.

- Manter rastreabilidade entre o artefato legado, o código convertido, as alterações realizadas e as evidências de validação.

- Aplicar as políticas de catálogo, acesso, lineage e governança estabelecidas para a plataforma.

#### **Colaboração e documentação**

- Trabalhar em parceria com Data Engineers, Tech Leads, arquitetos, especialistas do cliente e Databricks Professional Services.

- Participar de discussões técnicas, refinamentos, code reviews e sessões de troubleshooting.

- Comunicar riscos, bloqueios, dependências e alternativas de forma clara.

- Produzir e manter documentação técnica, incluindo mapeamentos, decisões, runbooks, evidências de teste e orientações operacionais.

- Compartilhar aprendizados e apoiar a evolução técnica dos demais integrantes do squad.

- Contribuir para que o conhecimento produzido durante a migração permaneça versionado, acessível e reutilizável.

### **Requisitos**

- Experiência sólida como Data Engineer ou Data Developer, preferencialmente em posição sênior.

- Experiência prática com desenvolvimento e manutenção de pipelines de dados.

- Conhecimento avançado de SQL e capacidade de compreender consultas e processos complexos.

- Experiência com SQL Server, incluindo T-SQL, stored procedures, views, functions, SQL Agent Jobs e integrações cross-database.

- Experiência prática com SSIS, incluindo leitura, desenvolvimento ou troubleshooting de packages `.dtsx`, control flows, data flows, parâmetros e connections.

- Experiência com Databricks ou com plataformas baseadas em Apache Spark.

- Conhecimento de Spark SQL, PySpark, notebooks, Delta Lake e execução de jobs.

- Experiência com Python para desenvolvimento de pipelines, scripts, automações ou testes.

- Familiaridade com Azure e serviços como ADLS Gen2, Azure SQL, Key Vault, identidades e networking.

- Experiência com Git, pull requests, revisão de código e práticas de CI/CD.

- Experiência com testes automatizados e validação de pipelines de dados.

- Experiência em projetos de migração, modernização ou sustentação de ambientes legados.

- Capacidade de investigar sistemas pouco documentados e trabalhar com ambiguidades.

- Experiência prática com coding agents, como Claude Code, Codex ou ferramentas equivalentes, em atividades reais de desenvolvimento.

- Capacidade de revisar e validar código gerado por AI sem depender da ferramenta para tomar a decisão técnica.

- Familiaridade com estratégias de fornecimento de contexto, instruções e feedback executável para agentes.

- Conhecimento de alguma solução de orquestração, como Apache Airflow, Databricks Workflows ou tecnologia equivalente.

- Boa comunicação e capacidade de colaborar com diferentes times técnicos.

- Português fluente e inglês suficiente para documentação e interação técnica.

### **Diferenciais**

- Experiência com ambientes que possuam centenas ou milhares de packages SSIS.

- Conhecimento de SSISDB, `.ispac` e Project Deployment Model.

- Experiência com Lakebridge, incluindo Analyzer, transpilers ou Reconcile.

- Experiência com conversores de SQL, static analysis, parsers ou transformação automatizada de código.

- Criação ou manutenção de instruções, skills, hooks, subagentes, MCP servers ou mecanismos equivalentes para coding agents.

- Experiência com APIs ou SDKs de modelos de linguagem, tool use ou structured outputs.

- Experiência criando evals ou conjuntos de casos de teste para código gerado por AI.

- Experiência com Oracle como source em ambientes SQL Server.

- Conhecimento de OLE DB, linked servers e `OPENROWSET`.

- Experiência com SAP, file shares on-premises, envio de e-mails ou outras integrações enterprise.

- Background com PySpark, Sqoop, Hadoop, Hive ou EMR.

- Experiência com Apache Airflow ou Databricks Workflows.

- Conhecimento de Unity Catalog, lineage e governança de dados.

- Conhecimento de Terraform, Databricks Asset Bundles ou Infrastructure as Code.

- Familiaridade com metadata management ou Knowledge Graphs.

- Experiência em saúde, serviços financeiros ou outros setores regulados.

- Conhecimento de LGPD e práticas de proteção de dados sensíveis.

### **O que esperamos dessa pessoa**

- Autonomia para conduzir a análise, implementação e validação de workloads de média e alta complexidade.

- Profundidade técnica para identificar riscos e questionar resultados inconsistentes.

- Postura hands-on e disposição para investigar código, dados, logs e ambientes.

- Uso responsável de AI como ferramenta de engenharia, sem abrir mão do julgamento técnico.

- Capacidade de aprender com falhas e transformar aprendizados em padrões reutilizáveis.

- Organização para documentar decisões, dependências e evidências de validação.

- Colaboração próxima com o squad e abertura para receber e oferecer feedback.

- Pragmatismo para equilibrar qualidade, prazo, risco e complexidade.

### **Indicadores de sucesso**

Esperamos que essa pessoa contribua para:

- Realizar análises confiáveis dos workloads sob sua responsabilidade.

- Entregar conversões aderentes aos padrões técnicos do programa.

- Produzir evidências suficientes de paridade entre os ambientes legado e modernizado.

- Identificar dependências e riscos antes que eles afetem o cutover.

- Reduzir o retrabalho por meio de testes, documentação e automações.

- Utilizar coding agents com produtividade, segurança e senso crítico.

- Transformar correções recorrentes em melhorias no harness e no tooling.

- Aumentar progressivamente a quantidade de workloads convertidos e validados pelo squad.

- Compartilhar conhecimento e contribuir para a evolução das práticas de modernização da CI&T.

Nossos benefícios:

- Plano de saúde e odontológico;

- Vale alimentação e refeição;

- Auxílio-creche;

- Licença parental estendida;

- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;

- Participação nos Lucros e Resultados (PLR);

- Seguro de Vida;

- Plataforma de aprendizagem contínua (CI&T University);

- Clube de descontos;

- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;

- Curso gestante e parentalidade responsável;

- Parceria com plataformas de cursos online;

- Plataforma para aprendizagem de idiomas;

- E muitos outros

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.

More jobs at Ci&T