Nessun test di ipotesi è sicuro al 100%. Poiché il test si basa sulle probabilità, c’è sempre la possibilità di giungere a una conclusione errata. Quando si fa un test d’ipotesi, sono possibili due tipi di errori: tipo I e tipo II. I rischi di questi due errori sono inversamente correlati e determinati dal livello di significatività e dalla potenza del test. Pertanto, è necessario determinare quale errore ha conseguenze più gravi per la vostra situazione prima di definire i loro rischi.
Errore di tipo I Quando l’ipotesi nulla è vera e la si rifiuta, si commette un errore di tipo I. La probabilità di commettere un errore di tipo I è α, che è il livello di significatività che impostate per il vostro test d’ipotesi. Un α di 0,05 indica che siete disposti ad accettare una probabilità del 5% di sbagliarvi quando rifiutate l’ipotesi nulla. Per abbassare questo rischio, dovete usare un valore più basso per α. Tuttavia, usare un valore più basso per alfa significa che avrete meno probabilità di rilevare una vera differenza se esiste davvero. Errore di tipo II Quando l’ipotesi nulla è falsa e non si riesce a rifiutarla, si commette un errore di tipo II. La probabilità di commettere un errore di tipo II è β, che dipende dalla potenza del test. Potete diminuire il rischio di commettere un errore di tipo II assicurandovi che il vostro test abbia abbastanza potenza. Potete farlo assicurandovi che la dimensione del vostro campione sia abbastanza grande da rilevare una differenza pratica quando esiste davvero.