Le emozioni sono l’essenza di ciò che ci rende umani. Hanno un impatto sulla nostra routine quotidiana, le nostre interazioni sociali, la nostra attenzione, la percezione e la memoria.
Uno degli indicatori più forti delle emozioni è il nostro viso. Quando ridiamo o piangiamo, mettiamo in mostra le nostre emozioni, permettendo agli altri di intravedere le nostre menti mentre “leggono” il nostro volto in base ai cambiamenti delle caratteristiche chiave del viso, come occhi, sopracciglia, palpebre, narici e labbra.
Il riconoscimento delle espressioni facciali basato sul computer imita in modo impressionante le nostre capacità umane di codifica, poiché cattura le risposte emotive grezze e non filtrate verso qualsiasi tipo di contenuto emotivamente coinvolgente. Ma come funziona esattamente?
Abbiamo le risposte. Questa guida definitiva all’analisi delle espressioni facciali è tutto ciò di cui hai bisogno per ottenere la padronanza del riconoscimento delle emozioni e la ricerca della qualità del comportamento emotivo. Ora è il momento giusto per iniziare.
N.B. questo post è un estratto della nostra Facial Expression Analysis Pocket Guide. Puoi scaricare la tua copia gratuita qui sotto e ottenere ancora più informazioni sul mondo dell’Analisi delle Espressioni Facciali.
Contenuto:
- Cosa sono le espressioni facciali?
- Espressioni facciali ed emozioni
- Tecniche FEA
- Tecnologia
- Applicazioni
- Campi di applicazione
Cosa sono le espressioni facciali?
Il nostro viso è una parte intricata e altamente differenziata del nostro corpo – infatti, è uno dei sistemi di segnali più complessi a nostra disposizione. Comprende più di 40 muscoli strutturalmente e funzionalmente autonomi, ognuno dei quali può essere attivato indipendentemente l’uno dall’altro.
Il sistema muscolare facciale è l’unico posto nel nostro corpo in cui i muscoli sono collegati a un osso e al tessuto facciale (altri muscoli nel corpo umano si collegano a due ossa), o solo al tessuto facciale come il muscolo che circonda gli occhi o le labbra.
Ovviamente, l’attività dei muscoli facciali è altamente specializzata per l’espressione – ci permette di condividere informazioni sociali con gli altri e comunicare sia verbalmente che non verbalmente.
Il nervo facciale controlla la maggior parte dei muscoli facciali
Tutti i muscoli del nostro corpo sono innervati da nervi, che arrivano fino al midollo spinale e al cervello. La connessione nervosa è bidirezionale, il che significa che il nervo sta innescando le contrazioni muscolari sulla base di segnali cerebrali (cervello-muscolo), mentre allo stesso tempo comunica informazioni sullo stato attuale del muscolo al cervello (muscolo-cervello).
Quasi tutti i muscoli facciali sono innervati da un unico nervo, quindi semplicemente chiamato nervo facciale.
In termini leggermente più medici, il nervo facciale è anche conosciuto come “VII. nervo cranico”.
Il nervo facciale emerge dal profondo del tronco encefalico, lascia il cranio leggermente sotto l’orecchio, e si dirama verso tutti i muscoli come un albero. È interessante notare che il nervo facciale è anche collegato a regioni motorie molto più giovani della nostra neo-corteccia (neo in quanto queste aree sono presenti solo nel cervello dei mammiferi), che sono principalmente responsabili dei movimenti dei muscoli facciali necessari per parlare.
Top of Page
Espressioni facciali ed emozioni
L’ipotesi del feedback facciale: Come ingegnosamente scoperto da Fritz Strack e colleghi nel 1988, le espressioni facciali e le emozioni sono strettamente intrecciate. Nel loro studio, agli intervistati è stato chiesto di tenere una penna in bocca mentre valutavano i cartoni animati per il loro contenuto umoristico. Mentre un gruppo teneva la penna tra i denti con le labbra aperte (imitando un sorriso), l’altro gruppo teneva la penna solo con le labbra (impedendo un vero sorriso).
Ecco cosa ha scoperto Fritz Strack: Il primo gruppo ha valutato il cartone animato come più divertente. Strack e il team hanno preso questo come prova per l’ipotesi di feedback facciale che postula che l’attivazione o l’inibizione selettiva dei muscoli facciali ha un forte impatto sulla risposta emotiva agli stimoli.
Emozioni, sentimenti, stati d’animo
Cosa sono esattamente le emozioni?
Nel linguaggio comune, le emozioni sono esperienze coscienti relativamente brevi caratterizzate da un’intensa attività mentale e da un alto grado di piacere o dispiacere. Nella ricerca scientifica, non è stata ancora trovata una definizione coerente. Ci sono certamente delle sovrapposizioni concettuali tra le basi psicologiche e neuroscientifiche delle emozioni, degli stati d’animo e dei sentimenti.
Le emozioni sono strettamente legate all’eccitazione fisiologica e psicologica con vari livelli di eccitazione relativi a emozioni specifiche. In termini neurobiologici, le emozioni potrebbero essere definite come programmi d’azione complessi attivati dalla presenza di determinati stimoli esterni o interni.
Questi programmi d’azione contengono i seguenti elementi:
1. Sintomi corporei come l’aumento della frequenza cardiaca o della conduttanza cutanea. Per lo più, questi sintomi sono inconsci e involontari.
2. Tendenze all’azione, per esempio azioni “fight-or-flight” per evadere immediatamente da una situazione pericolosa o per preparare un attacco fisico dell’avversario.
3. Espressioni facciali, per esempio mostrare i denti e accigliarsi.
4. Valutazioni cognitive di eventi, stimoli o oggetti.
Si possono classificare le emozioni?
Le espressioni facciali sono solo uno dei tanti correlati delle emozioni, ma potrebbero essere i più evidenti. Gli esseri umani sono ovviamente in grado di produrre migliaia di serie leggermente diverse di espressioni facciali – tuttavia, c’è solo una piccola serie di configurazioni facciali distintive che quasi tutti associano a certe emozioni, indipendentemente dal sesso, dall’età, dal background culturale e dalla storia di socializzazione.
Queste emozioni categoriche sono:
La scoperta che quasi tutti possono produrre e riconoscere le espressioni facciali associate a queste emozioni ha portato alcuni ricercatori alla (discussa!
Guarda il nostro webinar su: Cosa sono le emozioni e come le misuriamo
In cima alla pagina
Tecniche di analisi delle espressioni facciali
Le espressioni facciali possono essere raccolte e analizzate in tre modi diversi:
1. Tracciando l’attività elettromiografica facciale (fEMG)
2. Attraverso l’osservazione dal vivo e la codifica manuale dell’attività facciale
3. Attraverso l’analisi automatica delle espressioni facciali utilizzando algoritmi di computer-vision
Spieghiamoli più in dettaglio.
Elettromiografia facciale (fEMG)
Con l’EMG facciale è possibile tracciare l’attività dei muscoli facciali con elettrodi attaccati alla superficie della pelle. La fEMG rileva e amplifica i piccoli impulsi elettrici generati dalle rispettive fibre muscolari durante la contrazione. I siti fEMG più comuni sono in prossimità dei seguenti due grandi gruppi muscolari:
1. Corrugator supercilii destro/sinistro (“corrugatore del sopracciglio”):
Questo è un muscolo piccolo, stretto, piramidale vicino al sopracciglio, generalmente associato all’aggrottamento delle sopracciglia. Il corrugatore disegna il sopracciglio verso il basso e verso il centro del viso, producendo un corrugamento verticale della fronte. Questo gruppo muscolare è attivo per evitare l’abbagliamento del sole o quando si esprimono emozioni negative come la sofferenza.
2. Zigomo destro/sinistro (maggiore):
Questo muscolo si estende da ogni zigomo agli angoli della bocca e disegna l’angolo della bocca in alto e in fuori, tipicamente associato al sorriso.
Il Facial Action Coding System (FACS)
Il Facial Action Coding System (FACS) rappresenta un sistema di classificazione delle espressioni facciali completamente standardizzato per codificatori umani esperti basato su caratteristiche anatomiche. Gli esperti esaminano attentamente i video dei volti e descrivono ogni occorrenza di espressioni facciali come combinazioni di componenti elementari chiamate Action Units (AUs).
Un comune equivoco è che il FACS sia legato alla lettura delle emozioni. In realtà, il FACS è solo un sistema di misurazione e non interpreta il significato delle espressioni. È come dire che lo scopo di andare in bicicletta è quello di andare al lavoro. Certo, si può andare in bici al lavoro, ma si può usare la bici anche per molte altre cose (per il tempo libero, per l’allenamento sportivo, ecc.). Avete capito bene.
Tuttavia, durante la fase analitica, il sistema FACS permette una costruzione modulare delle emozioni basata sulla combinazione delle AU.
Con la codifica dell’unità d’azione facciale è possibile ottenere tutte le conoscenze per dissociare tra le seguenti tre categorie di espressione facciale:
- Le macroespressioni durano tipicamente tra 0.5 – 4 secondi, si verificano nelle interazioni quotidiane, e generalmente sono evidenti ad occhio nudo.
- Le microespressioni durano meno di mezzo secondo, si verificano quando si cerca di nascondere o reprimere consciamente o inconsciamente lo stato emotivo corrente.
- Le espressioni sottili sono associate all’intensità e alla profondità dell’emozione sottostante. Non stiamo perpetuamente sorridendo o alzando le sopracciglia – l’intensità di queste azioni facciali varia costantemente. Le espressioni sottili denotano qualsiasi insorgenza di un’espressione facciale in cui l’intensità dell’emozione associata è ancora considerata bassa.
Da queste limitazioni, è emersa una nuova generazione di tecnologie di espressione facciale completamente automatizzata e basata sul computer.
Top of Page
Tecnologia di analisi delle espressioni facciali
Costruita sulla ricerca innovativa delle principali istituzioni accademiche negli Stati Uniti e in Europa, le procedure di riconoscimento automatico delle espressioni facciali sono state sviluppate e rese disponibili al grande pubblico, rilevando istantaneamente i volti, codificando le espressioni facciali e riconoscendo gli stati emotivi.
Questa svolta è stata resa possibile soprattutto grazie all’adozione di algoritmi all’avanguardia di computer vision e machine learning e alla raccolta di database di alta qualità di espressioni facciali in tutto il mondo.
Queste tecnologie utilizzano telecamere incorporate in laptop, tablet e telefoni cellulari o webcam indipendenti montate su schermi di computer per catturare video degli intervistati mentre sono esposti a contenuti di varie categorie.
L’uso di webcam poco costose elimina la necessità di dispositivi specializzati di alta classe, rendendo la codifica automatica delle espressioni idealmente adatta a catturare video dei volti in un’ampia varietà di ambienti naturalistici come le case degli intervistati, il posto di lavoro, l’auto, i trasporti pubblici e molti altri.
Guarda il nostro webinar sulla ricerca a distanza con iMotions: Analisi delle espressioni facciali & Codifica del comportamento dal tuo divano
Quali sono esattamente le procedure scientifiche e tecnologiche sotto il cappuccio di questa magica scatola nera?
La tecnologia dietro la codifica facciale automatica
Più o meno, tutti i motori di riconoscimento delle emozioni comprendono gli stessi passi. Emotient FACET, per esempio, applica quanto segue:
Rilevamento del volto
La posizione di un volto viene trovata in un fotogramma o immagine video, il che può essere ottenuto applicando l’algoritmo Viola Jones Cascaded Classifier, per esempio. Questo potrebbe sembrare sofisticato, ma in realtà è possibile trovare questa tecnologia anche nella fotocamera del vostro iPhone o smartphone Android. Il risultato è un riquadro che incornicia il volto rilevato.
Rilevamento delle caratteristiche
Nel volto rilevato, vengono rilevati i punti di riferimento del viso come gli occhi e gli angoli degli occhi, le sopracciglia, gli angoli della bocca, la punta del naso ecc. Dopodiché, un modello interno del viso viene regolato in posizione, dimensione e scala in modo da corrispondere al viso reale dell’intervistato. Si può immaginare questo come una maglia virtuale invisibile che viene messa sul volto dell’intervistato: Ogni volta che il volto dell’intervistato si muove o cambia espressione, il modello del volto si adatta e lo segue istantaneamente. Come indica il nome, il modello del viso è una versione semplificata del viso reale dell’intervistato. Ha molti meno dettagli (le cosiddette caratteristiche) rispetto al volto reale, tuttavia contiene esattamente le caratteristiche del volto per svolgere il lavoro. Esempi di caratteristiche sono singoli punti di riferimento (angoli delle sopracciglia, angoli della bocca, punta del naso) così come gruppi di caratteristiche (l’intera bocca, l’intero arco delle sopracciglia ecc.), che riflettono l’intera “Gestalt” di un’area del viso emotivamente indicativa.
Classificazione delle caratteristiche
Una volta che il modello semplificato del volto è disponibile, le informazioni di posizione e orientamento di tutte le caratteristiche chiave vengono inserite negli algoritmi di classificazione che traducono le caratteristiche in codici di unità d’azione, stati emotivi e altre metriche affettive.
Affectiva AFFDEX
- Orientamento della testa (yaw, pitch, roll)
- Distanza interoculare e 33 punti di riferimento facciali
- 7 emozioni di base; valenza, impegno, attenzione
- 20 metriche di espressione facciale
Ecco un po’ di teoria (e analisi) dietro.
La traduzione dalle caratteristiche del viso in metriche è realizzata statisticamente, confrontando l’aspetto reale del viso e la configurazione delle caratteristiche numericamente con i database normativi forniti dai motori di espressione facciale.
Cosa significa? L’attuale espressione facciale di un intervistato non viene confrontata una per una con tutte le centinaia di migliaia di immagini nel database – questo sarebbe abbastanza noioso e richiederebbe un’eternità. Invece, i database contengono statistiche e distribuzioni normative di tutte le caratteristiche tra gli intervistati di diverse regioni geografiche e profili demografici, nonché categorie di stimoli e condizioni di registrazione. Ogni motore di analisi delle espressioni facciali utilizza un database diverso. Questo è uno dei motivi per cui si possono ottenere risultati leggermente diversi quando si inserisce lo stesso materiale di partenza in diversi motori.
La classificazione è fatta a livello puramente statistico. Ecco un esempio: Se gli angoli della bocca dell’intervistato sono tirati verso l’alto, un codificatore umano lo codificherebbe come attività di AU12 (“tiratore di angoli delle labbra”) – affermando che l’intervistato sta sorridendo. Il motore di espressione facciale deve invece calcolare la differenza verticale tra gli angoli della bocca e il centro della bocca, restituendo un valore di 10 mm. Questo valore viene confrontato con tutti i valori possibili nel database (valori tra 0 mm e 20 mm, per esempio).
Nel nostro esempio, l’espressione dell’intervistato apparentemente è proprio nel mezzo della distribuzione del “sorriso” (0 << 20 mm). Per il motore è sicuramente sicuro dire che l’espressione attuale è più forte di un leggero sorriso, tuttavia non così forte come un grande sorriso.
In un mondo ideale, il classificatore restituisce o “Sì” o “No” per ogni emozione, AU o metrica. Sfortunatamente, non è così facile. Date un’altra occhiata al classificatore del “sorriso”:
I punti pieni (piuttosto a sinistra) sono tutte le configurazioni della bocca nel database che non sono classificate come sorriso, mentre i punti bianchi (piuttosto verso destra) rappresentano configurazioni della bocca che sono considerate come sorriso.
La linea arancione denota il criterio di classificazione.
Tutto ciò che si trova sul lato sinistro della linea è classificato come “non sorriso”, mentre tutto ciò che si trova sul lato destro è classificato come “sorriso”.
C’è ovviamente una zona di transizione diffusa tra i non sorrisi e i sorrisi dove alcune configurazioni della bocca sono classificate in modo errato – potrebbero essere sorrisi sottili che rimangono sotto il radar o altre configurazioni di apertura della bocca che potrebbero essere piuttosto sbadigli che sorrisi. Di conseguenza, il classificatore può solo restituire un risultato probabilistico, che riflette la probabilità che l’espressione sia un autentico “sorriso”.
Nel nostro esempio, il sorriso dell’intervistato è piuttosto ovvio, finendo tutto a destra dello “spazio delle caratteristiche”. Qui, il classificatore è molto sicuro del risultato di un sorriso e restituisce un solido 90%. In altri casi, il classificatore potrebbe essere meno sicuro della sua performance.
La classificazione delle caratteristiche è fatta per ogni emozione, unità d’azione e caratteristica chiave in modo indipendente – il classificatore per i sorrisi non sa nulla del classificatore per le smorfie, sono semplicemente codificate indipendentemente l’una dall’altra. L’aspetto positivo è che la codifica automatica è realizzata in modo molto più oggettivo della codifica manuale in cui gli esseri umani – in particolare i codificatori inesperti – tendono a interpretare l’attivazione di un’unità d’azione di concerto con altre unità d’azione, il che altera significativamente i risultati.
Prima di approfondire la visualizzazione e l’analisi dei risultati della classificazione facciale, daremo un’occhiata ad alcune linee guida e raccomandazioni su come raccogliere i dati migliori.
Top of Page
Attrezzature
Andiamo sul pratico.
Cosa bisogna considerare quando si acquisiscono dati di alta qualità, quali sono gli stimoli ottimali, cosa tenere a mente quando si reclutano e si istruiscono i partecipanti? Siamo qui per aiutarti.
- Per cominciare, il riconoscimento automatico delle espressioni facciali può essere effettuato online, cioè mentre gli intervistati sono esposti a stimoli emotivi e le loro espressioni facciali sono monitorate (e/o registrate).
- Oltre alla raccolta di dati online, il riconoscimento delle espressioni facciali può essere applicato offline, ad esempio per elaborare le catture facciali che sono state registrate in precedenza. È anche possibile registrare un pubblico più grande e, con un editing minimo, analizzare le espressioni facciali di ogni intervistato.
Una parola sulle webcam: Suggeriamo di utilizzare una qualsiasi webcam HD. È naturalmente possibile realizzare l’analisi automatica delle espressioni facciali con qualsiasi altra telecamera, comprese le telecamere degli smartphone, le telecamere IP o le webcam interne dei laptop (a seconda della vostra applicazione). Tuttavia, siate consapevoli che queste telecamere sono generalmente dotate di limitate capacità di auto-focus, luminosità e compensazione del bilanciamento del bianco.
Guarda: Come l’analisi delle espressioni facciali può essere fatta a distanza
Analisi delle espressioni facciali (FEA): Campi di applicazione
Con il riconoscimento delle espressioni facciali è possibile testare l’impatto di qualsiasi contenuto, prodotto o servizio che dovrebbe suscitare eccitazione emotiva e risposte facciali – oggetti fisici come sonde alimentari o pacchetti, video e immagini, suoni, odori, stimoli tattili, ecc. In particolare le espressioni involontarie, così come un sottile allargamento delle palpebre, sono di fondamentale interesse in quanto si ritiene che riflettano i cambiamenti dello stato emotivo innescati da stimoli esterni o immagini mentali reali.
Ora quali campi della ricerca commerciale e accademica hanno adottato ultimamente le tecniche di riconoscimento delle emozioni? Ecco una panoramica delle aree di ricerca più importanti:
Neuroscienze del consumatore e neuromarketing
Non ci sono dubbi: Valutare le preferenze dei consumatori e fornire una comunicazione persuasiva sono elementi critici nel marketing. Mentre gli auto-rapporti e i questionari potrebbero essere strumenti ideali per ottenere intuizioni sugli atteggiamenti e la consapevolezza degli intervistati, potrebbero essere limitati nel catturare le risposte emotive non influenzate dall’autoconsapevolezza e dalla desiderabilità sociale. È qui che entra in gioco il valore dell’analisi delle emozioni: Il monitoraggio delle espressioni facciali può essere sfruttato per arricchire sostanzialmente gli auto-rapporti con misure quantificate di risposte emotive più inconsce verso un prodotto o servizio. Sulla base dell’analisi delle espressioni facciali, i prodotti possono essere ottimizzati, i segmenti di mercato possono essere valutati, e il pubblico target e le personas possono essere identificati. Ci sono molte cose che l’analisi dell’espressione facciale può fare per voi per migliorare la vostra strategia di marketing – basta pensarci!
Test sui media & pubblicità
Nella ricerca sui media, i singoli intervistati o i focus group possono essere esposti a pubblicità televisive, trailer e filmati completi mentre monitorano le loro espressioni facciali. Identificare le scene in cui le risposte emotive (in particolare i sorrisi) erano attese ma il pubblico non le ha “capite” è cruciale quanto trovare i fotogrammi chiave che provocano le espressioni facciali più estreme.
In questo contesto, si potrebbe voler isolare e migliorare le scene che innescano espressioni negative indesiderate che indicano livelli elevati di disgusto, frustrazione o confusione (questo tipo di emozioni non aiuterebbero esattamente uno show comico a diventare una serie di successo, vero?) o utilizzare la risposta del tuo pubblico verso una proiezione per aumentare il livello generale di espressioni positive nella versione finale.
Ricerca psicologica
Gli psicologi analizzano le espressioni facciali per identificare come gli esseri umani rispondono emotivamente a stimoli esterni e interni. In studi sistematici, i ricercatori possono specificatamente variare le proprietà dello stimolo (colore, forma, durata della presentazione) e le aspettative sociali al fine di valutare come le caratteristiche della personalità e le storie di apprendimento individuali abbiano un impatto sulle espressioni facciali.
Psicologia clinica e psicoterapia
Popolazioni cliniche come i pazienti affetti da disturbo dello spettro autistico (ASD), depressione o disturbo borderline di personalità (BPD) sono caratterizzati da forti compromissioni nella modulazione, elaborazione e interpretazione delle espressioni facciali proprie e degli altri. Il monitoraggio delle espressioni facciali mentre i pazienti sono esposti a stimoli emotivamente eccitanti o a spunti sociali (i volti degli altri, per esempio) può aumentare significativamente il successo della terapia cognitivo-comportamentale sottostante, sia durante la fase diagnostica che quella di intervento. Un ottimo esempio è il “Labirinto del sorriso” sviluppato dal Centro di Dinamica Temporale dell’Apprendimento (TDLC) alla UC San Diego. Qui, i bambini autistici allenano le loro espressioni facciali giocando a un gioco simile a Pacman dove sorridere guida il personaggio del gioco.
Applicazioni mediche & chirurgia plastica
Gli effetti della paralisi dei nervi facciali possono essere devastanti. Le cause includono la paralisi di Bell, tumori, traumi, malattie e infezioni. I pazienti generalmente lottano con cambiamenti significativi nel loro aspetto fisico, la capacità di comunicare e di esprimere emozioni. L’analisi dell’espressione facciale può essere usata per quantificare il deterioramento e valutare il successo degli interventi chirurgici e della terapia occupazionale e fisica mirata a riattivare i gruppi muscolari paralizzati.
Software UI & design del sito web
In definitiva, maneggiare il software e navigare nei siti web dovrebbe essere un’esperienza piacevole – i livelli di frustrazione e confusione dovrebbero certamente essere tenuti il più bassi possibile. Il monitoraggio delle espressioni facciali mentre i tester navigano su siti web o dialoghi software può fornire intuizioni sulla soddisfazione emotiva del gruppo target desiderato. Ogni volta che gli utenti incontrano blocchi stradali o si perdono in complessi sotto-menu, si potrebbe certamente vedere un aumento delle espressioni facciali “negative”, come corrucciare le sopracciglia o aggrottare le sopracciglia.
Ingegneria degli agenti sociali artificiali (avatar)
Fino a poco tempo fa, i robot e gli avatar erano programmati per rispondere ai comandi dell’utente sulla base degli input della tastiera e del mouse. Le ultime scoperte nella tecnologia hardware, nella visione del computer e nell’apprendimento automatico hanno gettato le basi per gli agenti sociali artificiali, che sono in grado di rilevare in modo affidabile e rispondere in modo flessibile agli stati emotivi del partner di comunicazione umano. Siri di Apple potrebbe essere la prima generazione di macchine emotivamente veramente intelligenti, tuttavia gli scienziati informatici, i medici e i neuroscienziati di tutto il mondo stanno lavorando duramente su sensori e algoritmi ancora più intelligenti per capire lo stato emotivo attuale dell’utente umano, e per rispondere in modo appropriato.
Come farlo bene con iMotions
N.B. Questo è un estratto della nostra guida gratuita “Facial Expression Analysis – The Complete Pocket Guide”. Per ottenere la guida completa con ulteriori informazioni sulla configurazione dello stimolo, la visualizzazione dei dati in uscita &, biosensori aggiuntivi, e “come farlo bene con iMotions”, fare clic sul banner qui sotto. Per qualsiasi domanda sull’analisi delle espressioni facciali, non esitare a contattarci.
Inizio pagina