Analista QA Senior - Automação
Contrato PJ
Trabalho Remoto com dedicação exclusiva em horario comercial
Horário Comercial
Impressindível experiencia como Analista QA em projetos com integração LLM
Competências Técnicas Essenciais
A. Automação Tradicional (Base)
UI:
- Playwright (preferencial)
- Cypress
API:
- Postman/Newman
- Pytest
- RestAssured
Backend:
- Python
- TypeScript
- SQL
CI/CD + MLOps
Integração com:
- GitHub Actions
- Jenkins
- GitLab
- Docker
- Kubernetes
- MLflow
- Airflow
- SageMaker Pipelines
Gates modernos:
- Regression tradicional
- Prompt regression
- Model regression
- Safety regression
B. Automação para IA (Diferencial)
Testes de LLM / GenAI:
- Prompt validation suites
- Golden datasets
- Output consistency checks
- Semantic similarity validation
- Hallucination score
- Toxicity checks
Ferramentas:
- LangSmith
- DeepEval
- Promptfoo
- Ragas
- OpenAI Evals
- Hugging Face Evaluate
- MLflow
Tipos de Testes em Produtos de IA
1. Prompt Testing
Valida:
- Consistência de respostas
- Aderência ao contexto
- Resistência a prompt injection
- Jailbreak attempts
- Role leakage
2. Model Output Validation
Avalia:
- Relevância
- Faithfulness
- Groundedness
- Toxicidade
- Viés
3. RAG Validation
- Recall de contexto
- Precision da recuperação
- Chunk quality
- Citation correctness
- Context-window failures
4. Data Quality
- Dataset drift
- Label quality
- Input schema
- Missing values
- Bias nos dados