AI Jobs Map

Compass UOL · São Paulo, Brazil

LLMs Data Analyst | Senior (Hybrid/SP)

Hybridseniorfull timePosted 16 days ago
Apply on LinkedInLinkedInOpens the original posting. AI Jobs Map never asks for your details.

Stack mentioned

llmdata-analysismlopsgenerative-aidata-sciencemachine-learningopenaiazureanthropicgeminipythonawsgcpsqlgitci/cd

Responsabilidades e atribuições

Desenvolver e evoluir soluções de IA Generativa para diferentes casos de negócio;

Projetar e implementar integrações com LiteLLM para orquestração de múltiplos provedores de LLM;

Definir estratégias de roteamento, fallback, observabilidade e governança de modelos;

Construir pipelines de dados para treinamento, avaliação e monitoramento de aplicações de IA;

Implementar práticas de LLMOps e MLOps, garantindo escalabilidade, confiabilidade e eficiência operacional;

Estruturar métricas, dashboards e indicadores para acompanhamento da performance dos produtos de IA;

Analisar utilização, qualidade das respostas, custos de inferência e eficiência dos modelos;

Identificar oportunidades de otimização de custos, considerando prompts, seleção de modelos, cache e estratégias de roteamento;

Apoiar times multidisciplinares na definição e adoção de boas práticas de arquitetura para soluções GenAI;

Atuar na evolução contínua da observabilidade, qualidade e performance das aplicações baseadas em LLMs.

Requisitos e qualificações

Experiência sólida como Analista de Dados Sênior, Data Scientist, ML Engineer ou em funções correlatas;

Experiência prática em projetos de IA Generativa em ambiente corporativo;

Conhecimento avançado em LiteLLM;

Experiência com múltiplos provedores de LLM, como OpenAI, Azure OpenAI, Anthropic, Gemini ou similares;

Experiência com LLMOps e MLOps;

Domínio de Python aplicado a dados e soluções de IA;

Experiência com APIs REST e integração de serviços de IA;

Conhecimento em observabilidade, monitoramento e avaliação de aplicações baseadas em LLMs;

Experiência com AWS, Azure ou Google Cloud Platform;

Domínio de SQL e experiência com grandes volumes de dados;

Experiência na construção de dashboards, métricas e análises para produtos digitais;

Conhecimento de Git, CI/CD e versionamento de modelos e artefatos.

More jobs at Compass UOL