O Data Engineer focado em AI é responsável por construir a infraestrutura que viabiliza Machine Learning e aplicações de Generative AI. Ele garante que dados estejam organizados, confiáveis, acessíveis e escaláveis para treinamento e inferência.
É um perfil orientado a arquitetura, escalabilidade e performance.
Responsabilidades:
-
Construir pipelines de ingestão batch e streaming
-
Estruturar data lakes e data warehouses
-
Criar datasets otimizados para ML
-
Implementar pipelines de embeddings
-
Construir indexação vetorial para RAG
-
Garantir qualidade, governança e segurança de dados
-
Otimizar custo de armazenamento e processamento
-
Trabalhar com AI Engineers para estruturar feature stores
Requisitos:
Linguagens:
-
Python
-
SQL avançado
-
Scala (opcional)
Orquestração & Transformação
-
Apache Airflow
-
dbt
-
Prefect
Processamento de Dados
-
Spark
-
Pandas
-
PySpark
Armazenamento
-
Data Lakes (S3, GCS, Azure Blob)
-
Data Warehouses (BigQuery, Snowflake, Redshift)
-
Bancos NoSQL
-
Bancos vetoriais (Pinecone, Weaviate, FAISS)
Streaming
-
Kafka
-
Pub/Sub
Infraestrutura
-
Docker
-
Kubernetes
-
Cloud (AWS, GCP ou Azure)
Hard Skills
-
Modelagem de dados
-
ETL / ELT
-
Processamento distribuído
-
SQL avançado
-
Arquitetura de dados escalável
-
Experiência com dados não estruturados (texto, logs, PDF)
-
Conceitos de DataOps
-
Versionamento e qualidade de dados
Benefícios
Vale-refeição e/ou vale-alimentação de R$950,00 por mês no cartão Ifood;
Convênio Médico SulAmérica (100% custeado pela empresa);
Plano Odontológico MetLife;
Plano de saúde Pet;
Seguro de vida;
️ Totalpass e Wellhub para manter as atividades físicas a qualquer hora e lugar;
Birthday Day Off para curtir no seu aniversário como quiser;
Parceria com o Sesc;
✈️ Parceria com a OnHappy (descontos em hotéis e passagens);
Parceria com instituições de ensino;
Reembolso creche;
Equipamentos de trabalho (Pode parecer óbvio, mas achamos importante reforçar);
Cultura de feedback e desenvolvimento;
Ambiente dinâmico e com grandes oportunidades de crescimento;
Empréstimo consignado com as menores taxas de juros;
Remuneração variável em reconhecimento de desempenho, performance e alinhamento de cultura.