Les émotions sont l’essence même de ce qui nous rend humains. Elles ont un impact sur nos routines quotidiennes, nos interactions sociales, notre attention, notre perception et notre mémoire.
L’un des indicateurs les plus forts des émotions est notre visage. Lorsque nous rions ou pleurons, nous exposons nos émotions, ce qui permet aux autres d’entrevoir notre esprit lorsqu’ils » lisent » notre visage en fonction des changements dans les caractéristiques clés du visage, comme les yeux, les sourcils, les paupières, les narines et les lèvres.
La reconnaissance informatique des expressions faciales imite nos compétences humaines en matière de codage de manière assez impressionnante, car elle capture les réponses émotionnelles brutes et non filtrées envers tout type de contenu engageant sur le plan émotionnel. Mais comment cela fonctionne-t-il exactement ?
Nous avons les réponses. Ce guide définitif de l’analyse des expressions faciales est tout ce dont vous avez besoin pour acquérir le tour de main de la reconnaissance des émotions et de la recherche de la qualité du comportement émotionnel. C’est le bon moment pour commencer.
N.B. ce post est un extrait de notre guide de poche sur l’analyse des expressions faciales. Vous pouvez télécharger votre exemplaire gratuit ci-dessous et obtenir encore plus d’informations sur le monde de l’analyse des expressions faciales.
Contenu :
- Qu’est-ce que les expressions faciales ?
- Expressions faciales et émotions
- Technologie
- Équipement
- Domaines d’application
Que sont les expressions faciales ?
Notre visage est une partie complexe et hautement différenciée de notre corps – en fait, c’est l’un des systèmes de signaux les plus complexes dont nous disposons. Il comprend plus de 40 muscles structurellement et fonctionnellement autonomes, chacun d’entre eux pouvant être déclenché indépendamment des autres.
Le système musculaire facial est le seul endroit de notre corps où les muscles sont soit attachés à un os et au tissu facial (les autres muscles du corps humain se connectent à deux os), soit au tissu facial uniquement, comme le muscle entourant les yeux ou les lèvres.
À l’évidence, l’activité des muscles faciaux est hautement spécialisée pour l’expression – elle nous permet de partager des informations sociales avec les autres et de communiquer de manière verbale et non verbale.
Le nerf facial contrôle la majorité des muscles faciaux
Tous les muscles de notre corps sont innervés par des nerfs, qui cheminent jusqu’à la moelle épinière et au cerveau. La connexion nerveuse est bidirectionnelle, ce qui signifie que le nerf déclenche des contractions musculaires sur la base de signaux cérébraux (cerveau-muscle), tandis qu’il communique en même temps des informations sur l’état actuel du muscle au cerveau (muscle-cerveau).
La quasi-totalité des muscles faciaux sont innervés par un seul nerf, donc simplement appelé nerf facial.
En termes un peu plus médicaux, le nerf facial est également connu sous le nom de « VII. nerf crânien ».
Le nerf facial émerge au plus profond du tronc cérébral, quitte le crâne légèrement sous l’oreille et se ramifie vers tous les muscles comme un arbre. Fait intéressant, le nerf facial est également câblé avec des régions motrices beaucoup plus jeunes de notre néo-cortex (néo car ces zones ne sont présentes que dans le cerveau des mammifères), qui sont principalement responsables des mouvements des muscles faciaux nécessaires pour parler.
Haut de la page
Expressions faciales et émotions
L’hypothèse du feedback facial : Comme l’ont ingénieusement découvert Fritz Strack et ses collègues en 1988, les expressions faciales et les émotions sont étroitement liées. Dans leur étude, les personnes interrogées ont été invitées à tenir un stylo dans leur bouche tout en évaluant des dessins animés en fonction de leur contenu humoristique. Alors qu’un groupe tenait le stylo entre ses dents, les lèvres ouvertes (imitant un sourire), l’autre groupe tenait le stylo uniquement avec ses lèvres (empêchant un sourire correct).
Voici ce que Fritz Strack a découvert : Le premier groupe a jugé le dessin animé comme plus humoristique. Strack et son équipe ont pris cela comme une preuve de l’hypothèse du feedback facial postulant que l’activation ou l’inhibition sélective des muscles faciaux a un fort impact sur la réponse émotionnelle aux stimuli.
Emotions, sentiments, humeurs
Qu’est-ce que les émotions exactement ?
Dans le langage courant, les émotions sont toutes les expériences conscientes relativement brèves caractérisées par une activité mentale intense et un haut degré de plaisir ou de déplaisir. Dans la recherche scientifique, une définition cohérente n’a pas encore été trouvée. Il y a certainement des chevauchements conceptuels entre les fondements psychologiques et neuroscientifiques des émotions, des humeurs et des sentiments.
Les émotions sont étroitement liées à l’excitation physiologique et psychologique avec différents niveaux d’excitation relatifs à des émotions spécifiques. En termes neurobiologiques, les émotions pourraient être définies comme des programmes d’action complexes déclenchés par la présence de certains stimuli externes ou internes.
Ces programmes d’action contiennent les éléments suivants:
1. Des symptômes corporels tels que l’augmentation du rythme cardiaque ou de la conductance de la peau. La plupart du temps, ces symptômes sont inconscients et involontaires.
2. Des tendances d’action, par exemple des actions de « combat ou de fuite » pour soit s’échapper immédiatement d’une situation dangereuse, soit préparer une attaque physique de l’adversaire.
3. Des expressions faciales, par exemple serrer les dents et froncer les sourcils.
4. Les évaluations cognitives des événements, des stimuli ou des objets.
Pouvez-vous classer les émotions ?
Les expressions faciales ne sont qu’un des nombreux corrélats de l’émotion, mais ce sont peut-être les plus apparents. Les humains sont évidemment capables de produire des milliers d’ensembles d’expressions faciales légèrement variables – cependant, il n’existe qu’un petit ensemble de configurations faciales distinctives que presque tout le monde associe à certaines émotions, indépendamment du sexe, de l’âge, du contexte culturel et de l’histoire de la socialisation.
Ces émotions catégorielles sont:
Le constat que presque tout le monde peut produire et reconnaître les expressions faciales associées à ces émotions a conduit certains chercheurs à l’hypothèse (discutée !) hypothèse selon laquelle elles sont universelles.
Voyez notre webinaire sur : Que sont les émotions et comment les mesurer
Top of Page
Techniques d’analyse des expressions faciales
Les expressions faciales peuvent être recueillies et analysées de trois façons différentes :
1. Par le suivi de l’activité électromyographique faciale (fEMG)
2. Par l’observation en direct et le codage manuel de l’activité faciale
3. Par l’analyse automatique des expressions faciales à l’aide d’algorithmes de vision
informatique
Expliquons-les plus en détail.
L’électromyographie faciale (fEMG)
Avec l’EMG facial, vous pouvez suivre l’activité des muscles faciaux à l’aide d’électrodes fixées à la surface de la peau. La fEMG détecte et amplifie les minuscules impulsions électriques générées par les fibres musculaires respectives pendant la contraction. Les sites de fEMG les plus courants se trouvent à proximité des deux principaux groupes musculaires suivants :
1. Corrugator supercilii droit/gauche (« fronceur de sourcils »):
C’est un petit muscle étroit et pyramidal situé près du sourcil, généralement associé au froncement des sourcils. Le corrugator tire le sourcil vers le bas et vers le centre du visage, produisant un plissement vertical du front. Ce groupe de muscles s’active pour éviter un fort éblouissement par le soleil ou lors de l’expression d’émotions négatives comme la souffrance.
2. zygomatique droit/gauche (majeur):
Ce muscle s’étend de chaque pommette aux coins de la bouche et tire l’angle de la bouche vers le haut et l’extérieur, généralement associé au sourire.
Le système de codage des actions faciales (FACS)
Le système de codage des actions faciales (FACS) représente un système de classification entièrement standardisé des expressions faciales pour les codeurs humains experts, basé sur des caractéristiques anatomiques. Les experts examinent soigneusement les vidéos de visages et décrivent toute occurrence d’expressions faciales comme des combinaisons de composants élémentaires appelés unités d’action (UA).
Une idée fausse courante est que le FACS est lié à la lecture des émotions. En fait, le FACS est juste un système de mesure et n’interprète pas le sens des expressions. C’est comme dire que le but de faire du vélo est d’aller au travail. Bien sûr, vous pouvez faire du vélo pour aller travailler, mais vous pouvez aussi utiliser votre vélo pour beaucoup d’autres choses (pour les loisirs, l’entraînement sportif, etc.). Vous comprenez l’idée.
Cependant, pendant la phase analytique, le système FACS permet une construction modulaire des émotions basée sur la combinaison des UA.
Avec le codage des unités d’action faciales, vous pouvez obtenir toutes les connaissances pour dissocier les trois catégories d’expressions faciales suivantes :
- Les macro-expressions durent généralement entre 0.5 – 4 secondes, se produisent dans les interactions quotidiennes et sont généralement évidentes à l’œil nu.
- Les micro-expressions durent moins d’une demi-seconde, se produisent lorsqu’on essaie de dissimuler ou de réprimer consciemment ou inconsciemment l’état émotionnel actuel.
- Les expressions subtiles sont associées à l’intensité et à la profondeur de l’émotion sous-jacente. Nous ne sommes pas perpétuellement en train de sourire ou de hausser les sourcils – l’intensité de ces actions faciales varie constamment. Les expressions subtiles dénotent tout début d’expression faciale où l’intensité de l’émotion associée est encore considérée comme faible.
De ces limitations, une nouvelle génération de technologies d’expression faciale a émergé étant entièrement automatisée et informatisée.
Haut de la page
Technologie d’analyse des expressions faciales
Sur la base des recherches révolutionnaires d’institutions académiques centrales aux États-Unis et en Europe, des procédures de reconnaissance automatique des expressions faciales ont été développées et mises à la disposition du grand public, détectant instantanément les visages, codant les expressions faciales et reconnaissant les états émotionnels.
Cette percée a été principalement permise par l’adoption d’algorithmes de vision par ordinateur et d’apprentissage automatique de pointe, ainsi que par la collecte de bases de données d’expressions faciales de haute qualité partout dans le monde.
Ces technologies utilisent des caméras intégrées dans des ordinateurs portables, des tablettes et des téléphones mobiles ou des webcams autonomes montées sur des écrans d’ordinateur pour capturer des vidéos des personnes interrogées lorsqu’elles sont exposées à des contenus de diverses catégories.
L’utilisation de webcams peu coûteuses élimine la nécessité d’appareils spécialisés de haut niveau, ce qui rend le codage automatique des expressions parfaitement adapté à la capture de vidéos de visages dans une grande variété de contextes environnementaux naturalistes tels que le domicile des répondants, leur lieu de travail, leur voiture, les transports publics, et bien d’autres encore.
Voyez notre webinaire sur la recherche à distance avec iMotions : Analyse des expressions faciales & Codage comportemental depuis votre canapé
Quels sont exactement les procédés scientifiques et technologiques qui se cachent sous le capot de cette boîte noire magique ?
La technologie derrière le codage facial automatique
Plus ou moins, tous les moteurs de reconnaissance des émotions comprennent les mêmes étapes. Emotient FACET, par exemple, applique les éléments suivants :
Détection du visage
La position d’un visage est trouvée dans une trame vidéo ou une image, ce qui peut être réalisé en appliquant l’algorithme du classificateur en cascade de Viola Jones, par exemple. Cela peut sembler sophistiqué, mais vous pouvez en fait trouver cette technologie dans la caméra de votre iPhone ou de votre smartphone Android également. Le résultat est une boîte de visage encadrant le visage détecté.
Détection des caractéristiques
Au sein du visage détecté, les points de repère du visage tels que les yeux et les coins des yeux, les sourcils, les coins de la bouche, le bout du nez, etc. sont détectés. Ensuite, un modèle interne du visage est ajusté en position, en taille et en échelle afin de correspondre au visage réel du répondant. Vous pouvez imaginer cela comme un maillage virtuel invisible qui est placé sur le visage de la personne interrogée : Chaque fois que le visage du répondant bouge ou change d’expression, le modèle de visage s’adapte et suit instantanément. Comme son nom l’indique, le modèle de visage est une version simplifiée du visage réel de la personne interrogée. Il comporte beaucoup moins de détails (appelés caractéristiques) que le visage réel, mais il contient exactement les caractéristiques du visage nécessaires à l’accomplissement de la tâche. Les caractéristiques exemplaires sont des points de repère uniques (coins des sourcils, coins de la bouche, pointe du nez) ainsi que des groupes de caractéristiques (toute la bouche, toute l’arcade sourcilière, etc.), reflétant toute la « Gestalt » d’une zone du visage indicatrice d’émotion.
Classification des traits
Une fois le modèle de visage simplifié disponible, les informations de position et d’orientation de tous les traits clés sont introduites dans des algorithmes de classification qui traduisent les traits en codes d’unité d’action, en états émotionnels et autres métriques affectives.
Affectiva AFFDEX
- Orientation de la tête (lacet, pitch, roll)
- Distance interoculaire et 33 repères faciaux
- 7 émotions de base ; valence, engagement, attention
- 20 métriques d’expression faciale
Voici un peu de théorie (et d’analyse) derrière tout ça.
La traduction des caractéristiques du visage en métriques est accomplie statistiquement, en comparant l’apparence réelle du visage et la configuration des caractéristiques numériquement avec les bases de données normatives fournies par les moteurs d’expression faciale.
Qu’est-ce que cela signifie ? L’expression faciale actuelle d’un répondant n’est pas comparée une à une avec toutes les centaines de milliers d’images de la base de données – ce serait assez fastidieux et prendrait une éternité. Au lieu de cela, les bases de données contiennent des statistiques et des distributions normatives de toutes les caractéristiques des répondants provenant de plusieurs régions géographiques et profils démographiques, ainsi que des catégories de stimulus et des conditions d’enregistrement. Chaque moteur d’analyse des expressions faciales utilise une base de données différente. C’est l’une des raisons pour lesquelles vous pourriez obtenir des résultats légèrement différents en alimentant le même matériel source dans différents moteurs.
La classification se fait à un niveau purement statistique. Voici un exemple : Si les coins de la bouche du répondant sont tirés vers le haut, un codeur humain coderait cela comme une activité de AU12 (« tireur de coins de lèvres ») – indiquant que le répondant sourit. Le moteur d’expression faciale doit plutôt calculer la différence verticale entre les commissures des lèvres et le centre de la bouche, et retourner une valeur de 10 mm. Cette valeur est comparée à toutes les valeurs possibles dans la base de données (valeurs comprises entre 0 mm et 20 mm, par exemple).
Dans notre exemple, l’expression du répondant se situe apparemment en plein milieu de la distribution des « sourires » (0 << 20 mm). Pour le moteur, il est définitivement sûr de dire que l’expression actuelle est plus forte qu’un léger sourire, cependant pas aussi forte qu’un grand sourire.
Dans un monde idéal, le classificateur renvoie soit « Oui » soit « Non » pour chaque émotion, UA ou métrique. Malheureusement, ce n’est pas si simple. Regardez à nouveau le classificateur » sourire » :
Les points remplis (plutôt vers la gauche) sont toutes les configurations de bouche de la base de données qui ne sont pas classées comme des sourires, tandis que les points blancs (plutôt vers la droite) représentent les configurations de bouche qui sont considérées comme des sourires.
La ligne orange dénote le critère de classification.
Tout ce qui se trouve à gauche de la ligne est classé comme « pas un sourire », tandis que tout ce qui se trouve à droite est classé comme « sourire ».
Il existe évidemment une zone de transition diffuse entre les non-sourires et les sourires où certaines configurations de bouche sont mal classées – il peut s’agir de sourires subtils qui restent sous le radar ou d’autres configurations d’ouverture de bouche qui pourraient être plutôt des bâillements que des sourires. En conséquence, le classificateur ne peut renvoyer qu’un résultat probabiliste, reflétant la probabilité ou la chance que l’expression soit un authentique « sourire ».
Dans notre exemple, le sourire du répondant est plutôt évident, se retrouvant tout à droite de l' »espace des caractéristiques ». Ici, le classificateur est très certain du résultat d’un sourire et renvoie un solide 90%. Dans d’autres cas, le classificateur pourrait être moins confiant quant à sa performance.
La classification des caractéristiques est effectuée pour chaque émotion, unité d’action et caractéristique clé indépendamment – le classificateur pour les sourires ne sait rien du classificateur pour les froncements de sourcils, ils sont simplement codés indépendamment les uns des autres. Ce qui est bien, c’est que le codage automatique est accompli de manière beaucoup plus objective que le codage manuel où les humains – en particulier les codeurs novices – ont tendance à interpréter l’activation d’une unité d’action de concert avec d’autres unités d’action, ce qui modifie considérablement les résultats.
Avant de creuser plus profondément dans la visualisation et l’analyse des résultats de la classification faciale, nous aurons un aperçu de quelques lignes directrices et recommandations sur la façon de recueillir les meilleures données de leur catégorie.
Haut de la page
Équipement
Passons à la pratique.
Que faut-il prendre en compte pour acquérir des données de haute qualité, quels sont les stimuli optimaux, que faut-il garder à l’esprit pour recruter et instruire les répondants ? Nous sommes là pour vous aider.
- Pour commencer, la reconnaissance automatique des expressions faciales peut être accomplie en ligne, c’est-à-dire pendant que les répondants sont exposés à des stimuli émotionnels et que leurs expressions faciales sont surveillées (et/ou enregistrées).
- A part la collecte de données en ligne, la détection des expressions faciales peut être appliquée hors ligne, par exemple pour traiter des captures faciales qui ont été enregistrées auparavant. Vous pouvez même enregistrer un public plus large et, avec un montage minimal, analyser les expressions faciales de chaque répondant.
Un mot sur les webcams : Nous suggérons d’utiliser n’importe quelle webcam HD. Vous pouvez bien sûr accomplir une analyse automatique des expressions faciales avec n’importe quelle autre caméra, y compris les caméras de smartphones, les caméras IP ou les webcams internes d’ordinateurs portables (en fonction de votre application). Cependant, sachez que ces caméras sont généralement dotées de capacités limitées en matière de mise au point automatique, de luminosité et de compensation de la balance des blancs.
Vérifiez : Comment l’analyse des expressions faciales peut se faire à distance
L’analyse des expressions faciales (FEA) : Domaines d’application
Avec la reconnaissance des expressions faciales, vous pouvez tester l’impact de tout contenu, produit ou service censé susciter une excitation émotionnelle et des réponses faciales – objets physiques tels que des sondes ou des emballages alimentaires, vidéos et images, sons, odeurs, stimuli tactiles, etc. Les expressions particulièrement involontaires ainsi qu’un subtil écartement des paupières sont d’un intérêt clé car elles sont considérées comme reflétant les changements de l’état émotionnel déclenchés par des stimuli externes réels ou des images mentales.
Maintenant, quels domaines de la recherche commerciale et universitaire ont adopté les techniques de reconnaissance des émotions ces derniers temps ? Voici un aperçu des domaines de recherche les plus en vue :
Noscience du consommateur et neuromarketing
Il n’y a aucun doute là-dessus : L’évaluation des préférences des consommateurs et la délivrance d’une communication persuasive sont des éléments essentiels du marketing. Si les auto-évaluations et les questionnaires peuvent être des outils idéaux pour obtenir un aperçu des attitudes et de la conscience des répondants, ils peuvent être limités dans la capture des réponses émotionnelles non biaisées par la conscience de soi et la désirabilité sociale. C’est là qu’intervient la valeur de l’analyse des émotions : Le suivi des expressions faciales peut être exploité pour enrichir considérablement les déclarations volontaires avec des mesures quantifiées des réponses émotionnelles plus inconscientes envers un produit ou un service. L’analyse des expressions faciales permet d’optimiser les produits, d’évaluer les segments de marché et d’identifier les publics cibles et les personas. Il y a pas mal de choses que l’analyse de l’expression faciale peut faire pour vous afin d’améliorer votre stratégie marketing – il suffit d’y penser !
Tests médias & publicité
Dans les études médias, les personnes interrogées individuellement ou les groupes de discussion peuvent être exposés à des publicités télévisées, des bandes-annonces et des pilotes complets tout en surveillant leurs expressions faciales. Identifier les scènes où les réponses émotionnelles (en particulier les sourires) étaient attendues mais où le public n’a tout simplement pas » compris » est aussi crucial que de trouver les images clés qui entraînent les expressions faciales les plus extrêmes.
Dans ce contexte, vous pourriez vouloir isoler et améliorer les scènes qui déclenchent des expressions négatives indésirables indiquant des niveaux élevés de dégoût, de frustration ou de confusion (ce genre d’émotions n’aiderait pas exactement une émission comique à devenir une série à succès, n’est-ce pas ?) ou d’utiliser la réponse de votre public envers une projection afin d’augmenter le niveau global d’expressions positives dans la version finale.
Recherche psychologique
Les psychologues analysent les expressions faciales pour identifier comment les humains réagissent émotionnellement envers des stimuli externes et internes. Dans les études systématiques, les chercheurs peuvent faire varier spécifiquement les propriétés des stimuli (couleur, forme, durée de présentation) et les attentes sociales afin d’évaluer comment les caractéristiques de la personnalité et les histoires d’apprentissage individuelles ont un impact sur les expressions faciales.
Psychologie clinique et psychothérapie
Les populations cliniques telles que les patients souffrant de troubles du spectre autistique (TSA), de dépression ou de trouble de la personnalité limite (TPL) sont caractérisées par de fortes déficiences dans la modulation, le traitement et l’interprétation de leurs propres expressions faciales et de celles des autres. La surveillance des expressions faciales pendant que les patients sont exposés à des stimuli émotionnels ou à des signaux sociaux (visages d’autres personnes, par exemple) peut accroître considérablement le succès de la thérapie cognitivo-comportementale sous-jacente, tant pendant la phase de diagnostic que pendant la phase d’intervention. Un excellent exemple est le « Smile Maze », mis au point par le Temporal Dynamics of Learning Center (TDLC) de l’université de San Diego. Ici, les enfants autistes entraînent leurs expressions faciales en jouant à un jeu de type Pacman où le fait de sourire dirige le personnage du jeu.
Applications médicales & chirurgie plastique
Les effets de la paralysie du nerf facial peuvent être dévastateurs. Les causes incluent la paralysie de Bell, les tumeurs, les traumatismes, les maladies et les infections. Les patients luttent généralement contre des changements significatifs de leur apparence physique, de leur capacité à communiquer et à exprimer leurs émotions. L’analyse de l’expression faciale peut être utilisée pour quantifier la détérioration et évaluer le succès des interventions chirurgicales, de l’ergothérapie et de la physiothérapie ciblées sur la réactivation des groupes musculaires paralysés.
L’interface utilisateur des logiciels & la conception de sites Web
Idéalement, la manipulation des logiciels et la navigation sur les sites Web devraient être une expérience agréable – les niveaux de frustration et de confusion devraient certainement être maintenus aussi bas que possible. Le suivi des expressions faciales pendant que les testeurs naviguent sur des sites Web ou des dialogues de logiciels peut fournir des indications sur la satisfaction émotionnelle du groupe cible souhaité. Chaque fois que les utilisateurs rencontrent des barrages routiers ou se perdent dans des sous-menus complexes, vous pourriez certainement constater une augmentation des expressions faciales « négatives » telles que le froncement des sourcils ou le froncement des sourcils.
Ingénierie des agents sociaux artificiels (avatars)
Jusqu’à récemment, les robots et les avatars étaient programmés pour répondre aux commandes des utilisateurs sur la base des entrées du clavier et de la souris. Les dernières percées en matière de technologie matérielle, de vision par ordinateur et d’apprentissage automatique ont jeté les bases d’agents sociaux artificiels, capables de détecter de manière fiable et de répondre avec souplesse aux états émotionnels du partenaire de communication humain. Le Siri d’Apple pourrait être la première génération de machines émotionnellement vraiment intelligentes, cependant les informaticiens, les médecins et les neuroscientifiques du monde entier travaillent dur sur des capteurs et des algorithmes encore plus intelligents pour comprendre l’état émotionnel actuel de l’utilisateur humain, et y répondre de manière appropriée.
Comment bien faire avec iMotions
N.B. Ceci est un extrait de notre guide gratuit « Analyse des expressions faciales – Le guide complet de poche ». Pour obtenir le guide complet avec plus d’informations sur la configuration du stimulus, la visualisation de la sortie des données &, les biocapteurs supplémentaires et « comment bien faire avec iMotions », cliquez sur la bannière ci-dessous. Si vous avez des questions concernant l’analyse des expressions faciales, n’hésitez pas à nous contacter.
Top of Page