Automatizuota žmogaus veido išraiškų analizė ir emocijų vertinimas

Pastaraisiais metais Vilniaus universiteto Filosofijos fakultete vis daugiau dėmesio skiriama šiuolaikinėms technologijoms ir jų panaudojimo, atliekant mokslinius tyrimus, galimybėms didinti. Nepaisant plataus mokslinių tyrimų išteklių pasirinkimo mūsų fakultete, jie sulaukia gana nedidelio dėstytojų ir studentų susidomėjimo.

Dėl to kilo sumanymas parengti penkių apžvalginių straipsnių ciklą, kuriame supažindinsime Jus su kai kuriais Filosofijos fakulteto ištekliais ir jų panaudojimo galimybėmis atliekant empirinius tyrimus psichologijos, psichofiziologijos, sociologijos ir kriminologijos mokslų srityse. Pristatome jums pirmąjį straipsnį.

Pav. 1. Šešios pagrindinės emocijos ir veido išraiškos pagal Paul Eckman et al.6 Emocijos Small

 Automatizuota žmogaus veido išraiškų analizė ir emocijų vertinimas su Facereader 6.1.

Facereader 6.1. galimybės: atpažįsta šešių pagrindinių emocijų, t. y.: džiaugsmo, pykčio, liūdesio, baimės, pasibjaurėjimo ir nuostabos išraiškas, taip pat – neutralią išraišką. Veido išraiškos gali būti analizuojamos realiu laiku (filmuojant vaizdo kamera) arba po tyrimo (iš paveikslėlių arba vaizdo įrašų). Facereader 6.1. pateikia tiek kiekvienos paskiros emocinės išraiškos stiprumą konkrečiu laiku kaip intervalinius kintamuosius, tiek vyraujančią emociją kaip kategorinį kintamąjį. Programa atpažįsta ir koduoja akių, antakių bei burnos padėtis. Iš veido išraiškų išskaičiuoja emocinės išraiškos valentingumą bei sužadinimą.

Pav. 2. Facereader 6.1. langas
2 TestFR60 61 Dziaugsmas2 cut Small

Facereader 6.1. privalumai: veido išraiškų analizė – ilgas, varginantis ir daug kruopštumo reikalaujantis darbas. Jo metu, vadovaudamiesi Veido išraiškų kodavimo sistema (angl. Facial Action Coding System [FACS]) (Ekman, Friesen, & Hager, 2002), mažiausiai du nepriklausomi ekspertai vertina tyrimo dalyvių veido išraiškų atitikimą skirtingoms emocijoms. Naujausi tyrimai rodo, kad Facereader 6.1. programa sugeba atpažinti šešias pagrindines emocijas taip pat gerai, kaip ir vertintojai ekspertai (Lewinski, den Uyl, & Crystal Butler, 2014; Terzis, Moridis, & Economides, 2013), o neutralią išraišką – netgi geriau (Lewinski, 2015a). Remiantis nurodytų tyrimų rezultatais, ši programa žmogaus veido išraiškoms emocijas (arba jų nebuvimą) teisingai priskiria 87-90 proc. atvejų. Tokį tikslų veidų atpažinimą užtikrina Facereader 6.1. objektyvumas: programa, kitaip negu ekspertai, nėra veikiami subjektyvios gyvenimo patirties ir dviprasmiškų detalių neinterpretuoja tendencingai; be to, ji neatsižvelgia į socialinį ar konkrečios situacijos kontekstą, kuriame yra vertinama veido išraiška.

Pav. 3. Facereader analizės tikslumas
Horizontaliai: ekspertų priskirtos emocijos nuotraukoms iš Radboud duomenų bazės. Vertikaliai: FaceReader (4 versijos) priskirtos emocijos.
3 FRAccurate Small
Šaltinis: Loijens, L., Krips, O., Kuilenburg, H.,  Uyl, M., Ivan, P. (2015) Facereader 6.1 Reference manual, p. 11

Facereader 6.1. ribotumai: Facereader 6.1. susiduria su sunkumais, kai emociją reikia priskirti veidams, kurie a) ekrane matomi iš šono (t. y.: pasisukę didesniu negu 45° kampu); b) stipriai juda (pvz., artikuliuoto kalbėjimo metu). Be to, programa yra jautri apšvietimui (svarbu, kad tiriamo dalyvio veidas būtų apšviestas iš priekio ir taip, kad veido dalys nemestų šešėlių arba jie būtų nežymūs), vertikaliam veido sukiojimui, jo pridengimui ranka, ant veido krentantiems plaukams, storiems akinių rėmeliams ir pan. Galima dar pridurti, kad veidų modelių bazė, kuria remdamasi programa veidams priskiria emocinių išraiškų stiprumą, yra gana skurdi (t. y.: šiuo metu siekia vos 10 tūkst. modelių). Kartais tai apsunkina netipinių veidų išraiškų priskyrimą emocijoms, nors tyrėjas gali nesunkiai tai padaryti ir pats. Tą paaiškinti nesunku. Manoma, kad 30 metų asmuo per šį gyvenimo laikotarpį tiek sąmoningu būdu, tiek be sąmoningos kontrolės yra apdorojęs iki trilijono veidų!

Mokslinio pritaikymo pavyzdžiai: neurorinkodara yra viena pagrindinių sričių, kurioje Facereader 6.1. pritaikymas gali būti itin naudingas praktiškai. Pavyzdžiui, P. Lewinski (2015b) atliko tyrimą, kuriuo siekė išsiaiškinti, kurios bankų paslaugas reklamuojančių asmenų emocinės reakcijos (duomenys rinkti analizuojant YouTube vaizdo įrašus) labiausiai įtraukia žiūrovą ir leidžia prognozuoti vaizdo įrašų populiarumą. Tyrimo rezultatai parodė, kad bankų paslaugas reklamuojančių YouTube vaizdo įrašų populiarumą sustiprino šios juose kalbančių asmenų emocinės veido išraiškų charakteristikos a) žemi džiaugsmo ir liūdesio požymiai; b) aukšti nuostabos požymiai. Be to, nustatyta, kad pykčio, baimės ir pasibjaurėjimo išraiškos nebuvo reikšmingos prognozuojant vaizdo įrašų populiarumą. Panaši tyrimo schema įvairiomis savo atmainomis gali būti pritaikyta psichologijos moksle. Pavyzdžiui, politikos psichologijos kontekste būtų prasminga tirti politiniuose debatuose dalyvaujančių asmenų emocinių reakcijų ir žiūrovų nuostatų į juos (lyderystės, sąžiningumo, kompetencijos ir kt. aspektais) ryšius. Reklamos psichologijos srityje prasminga tyrinėti reklamų efektyvumą teigiamų emocijų sužadinimo požiūriu, juolab, kad panašūs tyrimai, naudojant Facereader 6.1. ir kitas priemones, skirtas tirti žmogus autonomines reakcijas (širdies darbą, odos galvaninę reakciją ir t. t. ) dar tik pradedami vykdyti (pvz., Lewinski, Fransen, & Tan, 2014).

Pav. 4. Facereader ir akių judesių sekimo duomenų integravimas programoje Observer XT
4 FROBS StatesBionda Small

Vartotojų elgsenos tyrimuose Facereader 6.1. gali būti naudojamas nagrinėti ir labai subtilius reiškinius, taikant eksperimentinės psichologijos principus. Pavyzdžiui, W. He ir bendraautoriai (2014) atliko tyrimą, kuriuo siekė atskleisti veido išraiškų pokyčius susidūrus su malonų ir nemalonų kvapą (atitinkamai, apelsino ir žuvies kvapą) skleidžiančiais stimulais. Apdorojus duomenis paaiškėjo, kad emocijas žyminčios veido išraiškos leidžia diferencijuoti malonaus / nemalonaus kvapo potyrį skirtingais laikotarpiais vos 2-ų sekundžių intervale! Kalbant konkrečiai, neutralios veido išraiškos pokyčiai atsiranda praėjus 100 ms, pasibjaurėjimą žyminčios veido išraiškos – praėjus 180 ms, pyktį – 500 ms, nuostabą – 580 ms, liūdesį – 820 ms, baimę – 1020 ms ir džiaugsmą – 1780 ms.

Pristatyti tyrimai rodo, kad Facereader 6.1. programa gali būti pritaikyta plačiam spektrui mokslinių problemų; telieka paieškoti tik Jus labiausiai dominančios srities.

Pav. 5. Detalių veido išraiškų intensyvumo reikšmių integravimas į programą Observer XT
5

LITERATŪRA

Ekman, P., Friesen, W. V., & Hager, J. C. (2002). Facial Action Coding System: The Manual. Salt Lake City, UT: Research Nexus.

He, W., Boesveldt, S., de Graaf, C., & de Wijk, R. A. (2014). Dynamics of automatic nervous system responses and facial expression to odors. Frontiers in Psychology, 5(110), 1–8. doi:10.3389/fpsyg.2014.00110

Lewinski, O. (2015a). Automated facial coding software outperforms people in recognizing nautral faces as neutral from standardized datasets. Frontiers in Psychology, 6(1186), 1–6. doi:10.3389/fpsyg.2015.01386

Lewinski, P. (2015b). Don’t look blank, happy, or sad: patterns of facial expression of speakers in banks’ Youtube videos predict video’s popularity over time. Journal of Neuroscience, Psychology, and Economic, 8(4), 241–249. doi:10.13140/RG.2.1.4653.6409

Lewinski, P., den Uyl, T., & Butler, C. (2014). Automated facial coding: validation of basic emotions and FACS AUs in Facereader. Journal of Neuroscience, Psychology, and Economics, 7(4), 227–236.

Lewinski, P., Fransen, M. L., & Tan, E. S. H. (2014). Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. Journal of Neuroscience, Psychology, and Economics, 7(1), 1–14. doi:10.1037/npe0000012

Terzis, V., Moridis, C. M., & Economides, A. A. (2013). Measuring instant emotions based on facial expressions during computer-based assessment. Personal and Ubiquitous Computing, 17(1), 43–52. doi:10.1007/s00779-011-0477-y

Norėdami išmokti naudotis įranga kreipkitės į dokt. Tomą Maceiną (004 a.), o norėdami gauti leidimą ja naudotis – į Antaną Voznikaitį (402 a.).

Parengė: dokt. Tomas Maceina
Tomas Maceina.png