Nenhum teste de hipóteses é 100% certo. Como o teste se baseia em probabilidades, há sempre uma hipótese de se chegar a uma conclusão incorrecta. Quando se faz um teste de hipóteses, dois tipos de erros são possíveis: tipo I e tipo II. Os riscos destes dois erros estão inversamente relacionados e determinados pelo nível de significância e pelo poder para o teste. Portanto, deve determinar qual o erro que tem consequências mais graves para a sua situação antes de definir os seus riscos.
Erro de tipo I Quando a hipótese nula é verdadeira e a rejeita, comete um erro de tipo I. A probabilidade de cometer um erro de tipo I é α, que é o nível de significância que define para o seu teste de hipóteses. Um α de 0,05 indica que está disposto a aceitar uma hipótese de 5% de que está errado quando rejeita a hipótese nula. Para reduzir este risco, deve usar um valor inferior para α. No entanto, usar um valor inferior para alfa significa que terá menos probabilidades de detectar uma diferença verdadeira se esta existir realmente. Erro de tipo II Quando a hipótese nula é falsa e não a rejeitamos, cometemos um erro de tipo II. A probabilidade de cometer um erro de tipo II é β, o que depende do poder do teste. Pode diminuir o risco de cometer um erro de tipo II, assegurando que o seu teste tem poder suficiente. Pode fazê-lo assegurando que o tamanho da sua amostra é suficientemente grande para detectar uma diferença prática quando realmente existe uma.