Erros e potência de um teste

Uma regra de teste pode rejeitar uma média correta ou deixar passar uma alteração real. As probabilidades desses erros descrevem o comportamento do procedimento entre repetições do estudo. Não são probabilidades atribuídas à decisão já observada.

Dois erros diferentes

Situação real	Rejeitar $H_0$	Não rejeitar $H_0$
$H_0$ verdadeira	Erro de tipo I	Decisão correta
Alternativa verdadeira	Decisão correta	Erro de tipo II

O nível de significância $\alpha$ controla a probabilidade de rejeitar uma nula verdadeira; para uma nula composta, o nível é um limite superior dessa probabilidade dentro da nula. Para uma alternativa concreta $\theta_1$, $\beta(\theta_1)$ é a probabilidade de não rejeitar quando esse valor é o verdadeiro, e a potência é $1-\beta(\theta_1)$.

Não existe um único valor de $\beta$ para todas as alternativas, porque detetar uma mudança pequena é mais difícil do que detetar uma grande. O valor-p observado também não fornece diretamente $\beta$.

A região é escolhida sob a nula

Considera uma amostra normal, $\sigma=8$, $n=64$, e o teste $H_0:\mu=100$ contra $H_1:\mu>100$, com $\alpha=0,05$. O erro padrão é 1. Rejeitamos quando

$$\bar X>100+z_{0,05}(1)\approx101,6449.$$

O limite foi escolhido para dar 5% de rejeições quando $\mu=100$; para calcular a potência noutra média, conservamos a região e mudamos a distribuição usada na probabilidade.

Potência na média alternativa

Se a verdadeira média for 102, $\bar X\sim N(102,1)$. O erro de tipo II é cair na região de não rejeição:

$$\beta(102)=P_{\mu=102}(\bar X\le101,6449) =\Phi(101,6449-102)\approx0,3612.$$

A potência é aproximadamente $0,6388$. A nula é falsa nessa alternativa, mas cerca de 36% das repetições não a rejeitariam.

Se n passar a 256, o erro padrão cai para 0,5. Mantendo $\alpha=0,05$, o novo limite é $100+1,6449(0,5)=100,8224$. Em $\mu=102$,

$$\beta(102)=\Phi\left(\frac{100,8224-102}{0,5}\right)\approx0,0093.$$

A potência sobe para aproximadamente 0,9907. O limite de rejeição mudou para conservar $\alpha$; manter o limite antigo seria um procedimento diferente.

Teste bilateral

Se a região de não rejeição for $[L,U]$, numa alternativa normal de média $\mu_1$,

$$\beta(\mu_1)=\Phi\left(\frac{U-\mu_1}{\sigma/\sqrt n}\right)-\Phi\left(\frac{L-\mu_1}{\sigma/\sqrt n}\right).$$

Usa ambos os limites. Com a nula e amostra anteriores, mas alternativa bilateral, $L=98,04$ e $U=101,96$. Em $\mu_1=102$, $\beta\approx0,4840$ e a potência é aproximadamente 0,5160. Em palavras, $\beta$ é a área da distribuição centrada em $\mu_1$ que cai dentro de $[L,U]$, e a potência é a área restante fora desse intervalo. Distribuir $\alpha$ pelas duas caudas torna mais difícil detetar este aumento do que no teste unilateral previamente justificado.

O que altera a potência

Mantendo o resto, aumentar n ou a dimensão real do efeito aumenta a potência, enquanto reduzir $\alpha$ exige uma região de rejeição mais extrema e geralmente reduz a potência. Não se pode prometer simultaneamente menos erros de ambos os tipos sem recolher mais informação ou mudar condições do estudo.

Para planeamento de um teste unilateral à direita com $\sigma$ conhecido, diferença positiva $\Delta=\mu_1-\mu_0$ e potência pretendida $1-\beta$, a potência pretendida exige $\beta(\mu_1)\le\beta$. Como $\beta(\mu_1)=\Phi(z_\alpha-\Delta\sqrt n/\sigma)$ e o quantil de cauda esquerda $\beta$ é $-z_\beta$, precisamos de

$$z_\alpha-\frac{\Delta\sqrt n}{\sigma}\le-z_\beta.$$

Isolando n, obtemos

$$n\ge\left(\frac{\sigma(z_\alpha+z_\beta)}{\Delta}\right)^2.$$

Por exemplo, para detetar um aumento de 2, com $\sigma=8$, $\alpha=0,05$ e potência 80%, $z_{0,2}\approx0,8416$. Exige-se $n\ge98,92$, logo 99 unidades. É um cálculo para esse efeito e esse modelo, não para qualquer alternativa.

Na figura, conserva a média alternativa 102 e compara a área de não rejeição sob essa distribuição. Os dois painéis usam a mesma escala horizontal: aumentar n concentra ambas as distribuições e aproxima o limite de rejeição da média nula.