Aucun test d’hypothèse n’est sûr à 100 %. Comme le test est basé sur des probabilités, il y a toujours une chance de tirer une conclusion incorrecte. Lorsque vous effectuez un test d’hypothèse, deux types d’erreurs sont possibles : le type I et le type II. Les risques de ces deux erreurs sont inversement liés et déterminés par le niveau de signification et la puissance du test. Par conséquent, vous devez déterminer quelle erreur a des conséquences plus graves pour votre situation avant de définir leurs risques.
Erreur de type I Lorsque l’hypothèse nulle est vraie et que vous la rejetez, vous commettez une erreur de type I. La probabilité de commettre une erreur de type I est α, qui correspond au niveau de signification que vous avez fixé pour votre test d’hypothèse. Un α de 0,05 indique que vous êtes prêt à accepter un risque de 5 % de vous tromper lorsque vous rejetez l’hypothèse nulle. Pour diminuer ce risque, vous devez utiliser une valeur inférieure pour α. Cependant, l’utilisation d’une valeur inférieure pour alpha signifie que vous aurez moins de chances de détecter une vraie différence si elle existe vraiment. Erreur de type II Lorsque l’hypothèse nulle est fausse et que vous ne parvenez pas à la rejeter, vous commettez une erreur de type II. La probabilité de commettre une erreur de type II est β, qui dépend de la puissance du test. Vous pouvez réduire le risque de commettre une erreur de type II en vous assurant que votre test est suffisamment puissant. Pour ce faire, vous devez vous assurer que la taille de votre échantillon est suffisamment grande pour détecter une différence pratique lorsqu’elle existe réellement.