Principais responsabilidades:
1. Definir a estratégia e os casos de teste dos agentes de IA (testes funcionais e de qualidade de resposta).
2. Avaliar acurácia, relevância, tom, alucinações e aderência aos guardrails dos agentes.
3. Criar datasets de avaliação e métricas de qualidade (ex.: groundedness, precisão e cobertura).
4. Testar fluxos construídos no Copilot Studio e no Power Automate.
5. Conduzir testes de segurança e de conteúdo (red-teaming básico).
6. Documentar defeitos, acompanhar correções e validar as entregas antes de cada publicação.
7. Criar documentação técnica e funcional.
8. Avaliar novas tecnologias (OpenAI, Anthropic, LangChain, CrewAI, etc.).
Requisitos Técnicos:
1. Experiência com QA / testes de software (manual e/ou automatizado).
2. Conhecimento em LLMs, orquestração de agentes e desenvolvimento low-code.
3. Entendimento de IA generativa e das limitações dos LLMs.
4. Experiência com frameworks de agentes (LangChain, LangGraph ou similares).
5. Experiência com arquiteturas multiagentes.
6. Capacidade de estruturar critérios de avaliação e casos de teste.
7. Disponibilidade para modelo híbrido em São Paulo.
Diferencial:
8. Conhecimento em Azure AI Foundry (recursos de avaliação de modelos).
9. Vivência com ferramentas de avaliação de LLM (evals) e automação de testes.
10. Noções de prompt engineering e experiência com Databricks.
Habilidades Comportamentais:
1. Perfil consultivo e colaborativo.
2. Pensamento Crítico: Capacidade de questionar respostas geradas pela IA, identificar inconsistências e antecipar possíveis riscos antes da publicação.