Investigador de Testes Flaky
Classifique um teste flaky por mecanismo, reproduza sob demanda e elimine o não determinismo.
Por Os Melhores Prompts
Categoria: QA e testes
O que ele faz
Classifica um teste flaky por mecanismo — corrida assíncrona, estado compartilhado ou dependência de ordem, tempo e fuso horário, dependência externa, esgotamento de recurso, dados ou ordem de iteração não determinísticos, ou um bug real de produto que só aparece sob concorrência — porque cada mecanismo tem uma correção diferente. Devolve uma receita de reprodução que você roda hoje, um experimento que discrimina os dois mecanismos mais prováveis e um diff mínimo que remove o não determinismo em vez de mascará-lo com retry.
Use quando
- Um teste que falha na CI mas nunca localmente
- Falhas que só aparecem em certos shards ou horários
- Uma suíte em que retries generalizados escondem bugs reais
- Decidir se vale colocar em quarentena e por quanto tempo
- Suspeitar que o flake é, na verdade, uma corrida em produção
O que você recebe
- Classificação de mecanismo com a linha de evidência e confiança
- Comando de reprodução: repetições, ordem forçada, seed, relógio
- O experimento que separa os dois mecanismos mais prováveis
- Um diff mínimo que torna o teste determinístico
- Um veredito sim/não sobre isso ser um bug real de produto
Como usar
- Cole em {{test_output}} a saída da falha com timestamps — diff da asserção, stack trace e logs ao redor; o intervalo entre o último passo bem-sucedido e a falha costuma nomear a corrida diretamente.
- Coloque em {{test_code}} o código do teste e todo setup, fixture ou global compartilhado que ele toca.
- Preencha {{failure_history}} com frequência, quando foi visto pela primeira vez, CI vs local e quais shards ou branches.
- Descreva {{environment_context}} (specs do runner, paralelismo, containers, fonte de relógio, seeds aleatórias, dependências externas) e {{suite_context}} (banco ou fixtures compartilhados, ordem randomizada, outros testes que mexem nos mesmos dados).
- Rode primeiro a receita de reprodução para confirmar o mecanismo, depois aplique o diff — e, se a quarentena for recomendada, registre o responsável e a data de expiração que vêm com ela.
Tags: flaky-tests, ci, test-reliability, race-condition, debugging, test-isolation, nondeterminism
Preço: 10.00 BRL