Ninguna prueba de hipótesis es 100% segura. Debido a que la prueba se basa en probabilidades, siempre existe la posibilidad de llegar a una conclusión incorrecta. Cuando se hace una prueba de hipótesis, son posibles dos tipos de errores: tipo I y tipo II. Los riesgos de estos dos errores están inversamente relacionados y vienen determinados por el nivel de significación y la potencia de la prueba. Por lo tanto, debe determinar qué error tiene consecuencias más graves para su situación antes de definir sus riesgos.
Error de tipo I Cuando la hipótesis nula es verdadera y usted la rechaza, comete un error de tipo I. La probabilidad de cometer un error de tipo I es α, que es el nivel de significación que usted establece para su prueba de hipótesis. Un α de 0,05 indica que está dispuesto a aceptar un 5% de probabilidades de equivocarse al rechazar la hipótesis nula. Para reducir este riesgo, debe utilizar un valor más bajo para α. Sin embargo, utilizar un valor más bajo para alfa significa que tendrá menos probabilidades de detectar una diferencia verdadera si realmente existe. Error de tipo II Cuando la hipótesis nula es falsa y no se rechaza, se comete un error de tipo II. La probabilidad de cometer un error de tipo II es β, que depende de la potencia de la prueba. Puede reducir el riesgo de cometer un error de tipo II asegurándose de que la prueba tiene suficiente potencia. Puede hacerlo asegurándose de que el tamaño de la muestra es lo suficientemente grande como para detectar una diferencia práctica cuando realmente existe.