Se você é apaixonado por Testes de Software e gostaria de trabalhar em projetos globais relevantes para nossa sociedade, que te desafiarão continuamente a inovar e buscar diariamente o seu melhor, fazendo parte de uma equipe altamente colaborativa onde o desenvolvimento pessoal, aprendizado e crescimento são cultivados, então esta vaga pode ser para você!
Venha conhecer o SiDi, e saiba mais sobre esta oportunidade.
Responsabilidades e atribuições
- Planejar, desenvolver e executar testes manuais e automatizados em software e aplicações em desenvolvimento;
-
Projetar e executar planos de teste e validação de funcionalidades em sistemas baseadas em LLMs.
-
Definir e acompanhar métricas e benchmarks de avaliação de LLMs, construindo e mantendo datasets de teste (golden sets) e cenários de regressão para os modelos;
-
Automatizar rotinas de avaliação de modelos LLM e integrá-las ao pipeline de testes, garantindo avaliação contínua a cada nova versão de modelo;
-
Relatar os resultados obtidos e problemas encontrados à equipe, provendo apoio ao time de projeto na busca por soluções;
-
Participar do desenvolvimento do software analisando os requisitos e identificando cenários alternativos;
-
Ser o representante do usuário final junto à equipe de projeto demonstrando suas necessidades, traduzidas em impacto e priorização de funcionalidades e problemas;
-
Reportar resultados de testes de forma clara e objetiva, demonstrando a criticidade e o impacto dos bugs encontrados ao time do projeto;
-
Relatar o estado de suas atividades e garantir que elas sejam cumpridas no prazo e com qualidade.
Requisitos e qualificações
O que esperamos de você:
-
Bacharelado em andamento em Engenharia de Software, Engenharia da Computação, Ciência da Computação ou áreas correlatas;
-
Conhecimento em sistemas baseados em LLMs, incluindo arquitetura de Transformers, tokenização, janelas de contexto, embeddings, fine-tuning, RAG e parâmetros de inferência;
-
Experiência com processos de validação e avaliação de modelos LLM, incluindo definição de critérios de aceite, avaliação automática e humana (human-in-the-loop), testes de alucinação, robustez, viés e segurança;
-
Conhecimento em métricas e frameworks para avaliação de LLMs, como precisão/recall de respostas, groundedness, LLM-as-a-Judge, RAGAS, DeepEval ou equivalentes;
-
Conhecimento em Software Development Life Cycle (SDLC);
-
Disponibilidade para atuação em período integral.
O que será um diferencial:
-
Inglês intermediário ou superior;
-
Espanhol fluente ou nativo;
-
Experiência prática com frameworks e APIs de LLM, como LangChain, LlamaIndex, Hugging Face, OpenAI, Anthropic ou equivalentes;
-
Experiência com observabilidade e monitoramento de aplicações baseadas em LLM em produção;
-
Conhecimento em arquitetura de modelos de Inteligência Artificial e avaliação de sistemas RAG;
-
Conhecimento em ferramentas de gerenciamento de projetos, como JIRA, e ferramentas de documentação, como Confluence;
-
Certificação CTFL (Foundation Level);
-
Conhecimento em metodologias ágeis;
-
Conhecimento em lógica de programação e linguagem Python, incluindo bibliotecas para testes e automação;
-
Conhecimento em ferramentas de automação de testes;
-
Perfil criativo, curioso, colaborativo, flexível, questionador e atento aos detalhes;
-
Boa capacidade de trabalho em equipe e comprometimento.
Informações adicionais
Oportunidade de atuação presencial em Manaus-AM.
O que esperamos de todos os #SiDiers:
Abrir a mente para o novo
Manter diálogo aberto e direto
Desenvolver-se continuamente
Fazer o melhor, sempre
Construir em parceria
Pensar grande, fazer rápido
O que oferecemos?
-
Qualidade de vida: Jornada de 40 horas semanais em regime CLT, horário flexível com atuação híbrida (4 dias no Escritório e 1 dia Home Office);
- Bem-Estar: Gympass (WellHub, Ginástica Laboral, Quick-massage e Apoio Psicológico;
- Saúde: Convênio Médico e Odontológico para você e sua família;
- Filhos: Auxílio creche para os miniSiDiers, licença-maternidade de 120 dias e licença-paternidade estendida;
- Futuro: Aqui, o SiDi investe com vocês na Previdência Privada;
- Educação: Programa de incentivo para a continuidade dos estudos e especialização, incentivo para que nossos SiDiers se tornem fluentes em outras línguas e ciclos de palestras semanais sobre trend topics mundiais;
- Alimentação: Vale Refeição e Vale Alimentação flexíveis;
- Transporte: Subsídio/Ajuda de custo para o transporte até o SiDi e estacionamento para quem for trabalhar no escritório;
- Reconhecimento: Bônus anual por desempenho e premiações para SiDiers que fizeram algo incrível;
- Diversidade: Comitês sobre Bem-estar, Diversidade, Saúde Mental, Social, Sustentabilidade e Inclusão das mulheres na tecnologia
- Escritórios Modernos: Ambientes descontraídos e colaborativos com espaços de convivência, sala de descompressão, copa e máquina de café;
- Ainda quer mais? Dezenas de parcerias com benefícios e descontos!
Para nós, inclusão não é apenas somar mais um ao nosso time, é somar diferenças e particularidades. É justamente dessa mistura de técnicas, habilidades e histórias que nos inspiramos para fazer diferentes pontos de vista olharem para um mesmo horizonte, sempre para frente. Trabalhamos em um ambiente de oportunidades iguais, independente de gênero, orientação sexual, religião ou deficiência.
Todas as nossas vagas estão disponíveis para PCDs.
CÓDIGO DA VAGA: 6045 - N1
Somos um dos maiores institutos de ciência e tecnologia do Brasil e, com um time com mais de 800 SiDiers que não para de crescer, já estamos em Campinas, Manaus e Recife, os maiores parques tecnológicos e de inovações do Brasil. Pois quem tem a vontade de criar projetos que irão transformar o mundo, não pode parar de se transformar. Em 20 anos de história, nos especializamos em solucionar problemas e trazemos em nossa bagagem mais de 1.100 projetos que impactam a vida de milhões de pessoas, levando inovação e fazendo o futuro acontecer agora.