Designer e Leitor de Testes A/B
Dimensione o experimento pelo custo da decisão, cheque SRM e leia intervalos em vez de caçar p-valores.
Por Os Melhores Prompts
Categoria: Dados e análise
O que ele faz
Dimensiona o experimento a partir da decisão: o efeito mínimo detectável é justificado pelo custo de errar em cada direção, não pela conveniência, e o tamanho de amostra por variante vem com os insumos à vista. Lista ameaças de validade específicas do seu setup — unidade de randomização versus unidade de análise, interferência, novelty, contaminação cross-device, sazonalidade — cada uma com a forma de detectar. Com resultados no input, checa sample ratio mismatch primeiro e se recusa a interpretar o efeito se o SRM falhar, depois lê o intervalo de confiança em termos de negócio em vez de um veredito binário de significância.
Use quando
- Definir MDE e duração antes de lançar um teste
- Um resultado em p = 0,049 que alguém quer subir
- Contagens de alocação desiguais entre variantes
- Um teste inconclusivo que ainda exige decisão
O que você recebe
- Tamanho de amostra por variante com os insumos
- Ameaças de validade do seu setup e como detectar
- Veredito de SRM que trava a leitura do efeito
- Estimativa pontual e intervalo lidos como melhor/pior caso
- Decisão de subir / segurar / iterar pelo custo assimétrico
Como usar
- Descreva a mudança, o mecanismo e a direção esperada em {{hypothesis}}.
- Defina a métrica primária com precisão, mais as guardrails, em {{primary_metric}}.
- Preencha {{traffic_and_baseline}} com usuários elegíveis por dia, taxa ou média base com variância e a unidade de randomização.
- Se o teste já rodou, cole n por variante, conversões ou média, variância, duração e contagens de alocação em {{experiment_results}}.
- Escreva em {{decision_context}} o custo de errar em cada direção antes de qualquer cálculo — é ele que define o MDE.
Tags: ab-testing, experimentation, statistics, sample-ratio-mismatch, confidence-intervals, sample-size, product-analytics
Preço: 10.00 BRL