Computingul afectiv – modalitate de analiză a sentimentelor exprimate online. Termenul se referă la tehnicile implicate în identificarea şi modelarea semnăturii afective individuale şi colective, pornind de la analiza conţinutului generat de utilizator, folosind programe de inteligenţă artificială avansate.
În cazul neuroaugmentării, determinarea statusului afectiv permite evaluarea gradului de control al reacțiilor emoționale individuale (în condiții bazale sau ca rezultat al unei proceduri de neuroaugmentare), interpretarea variației performanțelor cognitive în condiții de stres psihoemoțional, identificarea, evaluarea și clasificarea metodelor direcționate de afectare a capacității cognitive și afective (degradare), rafinarea urmei biometrice electronice a subiectului, determinarea unor vulnerabilități sau a calităților excepționale psiho-emoționale dificil de evaluat prin metodele clasice, realizarea unor strategii personalizate de răspuns la stres și optimizare a performanțelor cognitive în condiții reale.
Corelarea datelor afective și cognitive obținute prin mijloace instrumentale pe o perioadă îndelungată de timp cu cele obținute prin evaluările standardizate oferă o hartă extinsă (profil) a capacităților emoționale și personalității unui subiect și, eventual, a intențiilor, intensitatea motivației și a limitelor capacităților sale cognitive și emoționale.
Alte aplicații ale computingului afectiv în domenii de interes pentru securitatea națională, precum culegerea de informații on- și offline (SOCMINT), conflictele informaționale și neocorticale[1], securitatea cibernetică, contraintelligence, securitate în sensul general etc., sunt în curs de dezvoltare și vor fi menționate pe scurt în acest subcapitol.
În prezent, în mod uzual este utilizată analiza semantică a conţinutului online, care realizează o analiză automată a limbajului natural, cu scopul de a identifica şi extrage informaţii cu caracter subiectiv din materialele analizate. O altă metodă mai accesibilă constă în analiza reacțiilor la conținutul postat de utilizatorii rețelelor sociale sub forma ideogramelor emoționale (în cazul rețelei Facebook – emoticoane, emoji, reactions), al căror număr este de câteva mii, cu toate că reprezintă variații și combinații ale celor șase emoții de bază[2]. Rezultatele constau în identificarea stării afective a autorului (exprimată sub forma emoţiilor, atitudinilor sau opiniilor) la redactarea textului precum şi a intensităţii emoţionale şi a tipului de emoţii pe care autorul doreşte să le împartă cu audienţă.
Limitările metodei sunt totuşi evidente – accesarea emoţiilor utilizând doar un singur canal (cel al limbajului scris), posibilitatea de fraudare din partea sursei (inclusiv conformismul social), dificultăţile de traducere şi adaptare în cazul textelor multilingvistice sau multiculturale, dificultăţile de contextualizare etc. În fapt, aceste limitări au determinat strânsa colaborare cu domeniul neuroștiințelor sociale, recent fiind demarat proiectul „Afectomului uman”, destinat cartografierii întregului spectru de senzații și emoții, alături de identificarea substratului neurobiologic și social[3].
Biometria (neurobiometria) utilizează algoritmi care permit identificarea unor tipare foarte specifice, pornind de la amprenta subiectului din mediul electronic. Abordarea în acest context se justifică prin utilizarea instrumentelor de inteligenţă artificială, a semnalelor bioelectrice, identificării unor persoane cu performanțe deosebite, evaluarea mijloacelor de protejare împotriva identificării online etc.
Datele biometrice online se referă în general la elemente anatomice, fiziologice sau comportamentale dificil de duplicat sau falsificat[4]: amprente digitale, desenul vascular (palmar, facial, retinian), aspectul irisului, recunoașterea vocală, dinamica buzelor (pronunţarea sunetelor, a cuvintelor, expresii mimico-faciale precum zâmbetul, râsul, dezgustul) etc.
Menționăm în continuare o serie de tehnici care permit analiza unor date biofizice complexe cu specificitate crescută, utilizate în procesul de recunoaștere biometrică.
Semnalele bioelectrice (ECG, EEG), care pot suferi modificări semnificative în funcţie de o serie de stări fiziologice sau patologice, iar achiziția parametrilor biofizici poate fi dificilă chiar și în condiții bune; cu toate neajunsurile însă, rezultatele obținute din sesiuni prelungite de monitorizare sunt foarte bune. Menționăm în cadrul acestei secțiuni un sistem potențial revoluționar, denumit MindMi™[5], creație a inventatorului român ing. Dumitru Grigore, care generează rapoarte psihologice amănunțite prin plasarea mâinilor pe un scanner și prelucrează algoritmic achiziția de biosemnale. Sistemul a fost premiat și apreciat în cadrul mai multor competiții naționale și internaționale.
Semnăturile bioacustice au în vedere evaluarea neinvazivă și rapidă a anatomiei și proprietăților biomecanice a unui țesut. Acuratețea identificării poate depăși 95% iar utilizarea alături de o altă metodă de biometrie permite atingerea unui procent de peste 99% rată de identificare. Semnăturile bioacustice sunt dificil de reprodus sau falsificat[6].
Există un trend ascendent al utilizării neuro-jocurilor în diverse ramuri sportive, prin care se obțin indicatori ai performanțelor cognitive și semnături biometrice ale activității electrice și reacțiilor individuale la un spectru larg și specific de stimuli[7]. Media potențialelor evocate, relaționate cu un stimul, este considerată un candidat promițător pentru identificarea biometrică (protocolul CEREBRE)[8]. Utilizarea neurotehnologiilor în cadrul rețelelor sociale, deși în stadiu incipient, facilitează obținerea și stocarea de amprente (neuro)biometrice[9].
Comportamente rezultate din interacţiunea om-computer (recunoaştere comportamentală) sunt rezultatul secundar al utilizării mediului online, însă constituie un tipar comportamental suficient de specific şi dificil de falsificat. O serie de comportamente, în general involuntare, rezultă din interacţia directă cu computerul – ritmul tastării (keystroke dynamics), presiunea cu care se apasă un ecran cu cristale lichide, modul de mişcare a mouseului (mouse dynamics)[10]. Este posibilă evaluarea interesului unui utilizator faţă de un conţinut online în funcţie de mişcările involuntare ale mouseului sau trackballului[11]. Cele mai utilizate tipare comportamentale se referă la modul de utilizare a poştei electronice, stocarea datelor electronice, strategia utilizată în cadrul unor jocuri (de strategie, MMORPG, MOBA, FPS, driving) etc. De exemplu, analiza contribuţiei unui participant la un joc (adolescent sau adult tânăr) poate fi utilă în generarea unui model statistic al aptitudinilor acestuia şi al posibilelor domenii în care profesează[12], inteligența fluidă[13] sau în stabilirea rolului pe care şi-l asumă în cadrul unei ierarhii[14].
Progrese s-au realizat și în domeniul recunoașterii bazate pe dinamica mișcărilor oculare voluntare sau chiar a micro-mișcărilor oculare, care sunt involuntare și prezintă o specificitate crescută[15]. În industria gamingului se implementează soluții non-contact tot mai avansate care utilizează sisteme de recunoaștere a emoțiilor faciale și algoritmi de machine-learning pentru a înțelege stările afective ale utilizatorilor și a realiza un mediu de joc interactiv[16] (variații ale vitezei sau dificultății jocului, modificarea scenariului și a graficii etc.). Soluții similare sunt deja utilizate și în industria cinematografică și se estimează că „tehnologia empatică” va reprezenta o dotare standard a viitoarelor „case inteligente” (smart homes)[17].
Alți markeri comportamentali studiați sunt memoria de scurtă durată[18] sau memoria semantică[19], care ar putea fi extrapolate pornind de la analiza mişcărilor mouse-ului sau recunoașterii unui cuvânt familiar. Perfecţionarea modelelor de recunoaştere comportamentală a permis elaborarea unor soluţii de securitate bazate pe metode biometrice[20], care combină markeri anatomici (ex. amprenta digitală), fiziologici (ex. reacția pupilară la lumină) și comportamentali (ex. gestul de rotire cu mâna al unui întrerupător circular virtual).
Cea mai crescută eficienţă este obţinută prin utilizarea simultană a mai multor metode (ex. electroencefalografie și conductibilitatea acustică a oaselor craniului) sau transformarea datelor biometrice în chei criptografice[21], care să caracterizeze subiectul, utilizând date achiziţionate şi prelucrate independent, provenite de la mai multe canale[22]. Această fuziune a datelor permite realizarea unui număr foarte mare de combinaţii între diversele metode utilizate, oferind soluţii individualizate în funcţie de particularităţile obiectivului şi a canalelor de achiziţie accesibile[23].
Complexitatea comportamentului utilizatorilor atunci când interacționează cu mediul virtual prin intermediul calculatorului i-a determinat pe cercetătorii de la Stanford și Penn State University să lanseze proiectul denumit „Human Screenome Project”. Scopul este realizarea unei „hărți multidimensionale a vieții digitale” (un veritabil „screenom”) care utilizează diverse instrumente informatice instalate la nivelul smartphone-ului sau altor dispozitive, cu acordul utilizatorilor înrolați în studiu. Rezultatele obținute până în prezent au pus în evidență o serie de tipare comportamentale foarte specifice în funcție de persoană, cu toate că s-a observat și o variație importantă individuală (în funcție de orele zilei, aplicația utilizată, contextul de moment). Un alt obiectiv al studiului este înțelegerea pârghiilor psihologice prin intermediul cărora conținutul digital influențează credințele, atitudinile și comportamentele din viață reală[24].
Extinderea sistemelor de supraveghere, îmbunătățirea calității sistemelor de machine learning și dezvoltarea biometriei au determinat dezvoltarea softurilor de predicție comportamentală pentru ordinea publică. Deși aflate la prima generație, eficienţa lor este suficient de mare încât să ridice probleme etice, în special în cazul țărilor cu regimuri restrictive sau dictatoriale[25].
[1] Sara King. Military Social Influence in the Global Information Environment: A Civilian Primer. Anal. of Soc. Issues and Public Policy, Vol.11, pp. 1–26, dec. 2011, disponibil la http://onlinelibrary.wiley.com /doi/10.1111/j.1530-2415.2010.01214.x/full.
[2] Petra Kralj Novak, Jasmina Smailović, et al., Sentiment of Emojis, 08.12.2015, PLoS ONE 10(12): e0144296, 2015, disponibil la http://arxiv.org/abs/1509.07761.
[3] http://neuroqualia.org/
[4] Omar Alzoubi, Md. Sazzad Hussain, Sidney D’Mello, Rafael A. Calvo, Affective Modeling from Multichannel Physiology: Analysis of Day Differences, pp. 4-14,în Sidney D’Mello,Arthur Graesser et all, Affective Computing and Intelligent Interaction, SUA, Ed. Springer-Verlag, 2011.
[5] https://www.mindmisystem.com
[6] J. Y. Sim, H. W. Noh, W. Goo, N. Kim, S. Chae, C. Ahn. Identity Recognition Based on Bioacoustics of Human Body. 04.10.2019, IEEE Transactions on Cybernetics, disponibil la https://ieeexplore.ieee.org/ document/8859636/metrics#metrics.
[7] Taylor Bloom, Science in Sports: Is Cognitive Training of Athletes Next Frontier, 10.11.2014 disponibil la https://iq.intel.com/cognitive-training-next-frontier-sports/.
[8] Maria V. Ruiz-Blondet, Zhanpeng Jin, Sarah Laszlo, CEREBRE: A Novel Method for Very High Accuracy Event-Related Potential Biometric Identification. IEEE Transactions on Information Forensics and Security, 11(7), pp1618 – 1629, iulie 2016, disponibil la http://ieeexplore.ieee.org/document/7435286/.
[9] Guest Post, First biometric social network,17.05.2015,disponibil la http://neurogadget.net/2015 /06/17/first-biometric-social-network/11417.
[10] Kenneth Revett, Behavioral biometrics. A remote control acces, Wiley, SUA, 2008, pp. 73-96.
[11] University os Sussex, Computers can tell if you’re bored, shows new BSMS study, 26.02.2016, disponibil la http://www.eurekalert.org/pub_releases/2016-02/uos-cct022416.php.
[12] Gang Wang, Andrew Gallagher, Jiebo Luo, David Forsyth, Recognizing Occupations Through Probabilistic Models: A Social View,pp. 117-133, in Ming Shao, Yun Fu. Human-Centered Social Media Analytics. Ed. Springer-Verlag, SUA, 2014.
[13] Athanasios V. Kokkinakis, Peter I. Cowling, Anders Drachen, Alex R. Wade, Exploring the relationship between video game expertise and fluid intelligence. PLOS ONE, 2017; vol. 12 (11), disponibil la https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5687598/.
[14] Benedikt Fuchs, Didier Sornette, Stefan Thurner, How Virtual Gaming Worlds Are Revealing the Nature of Human Hierarchies Emerging Technology. ArXiv, 19.03.2014, disponibil la http://www.technologyreview.com/view/525696/how-virtual-gaming-worlds-are-revealing-the-nature-of-human-hierarchies/?utm_campaign=socialsync &utm_medium=social-post&utm _source=facebook.
[15] Ingrid Fadelli, DeepEyedentification: identifying people based on micro eye movements, TechExplore, 16.07.2019, disponibil la https://techxplore.com/news/2019-07-deepeyedentification-people-based-micro-eye.html.
[16] Fernando Bevilacqua, Henrik Engström, Per Backlund, Game-Calibrated and User-Tailored Remote Detection of Stress and Boredom in Games. Sensors (Basel). 08.2019; vol. 19(13): 2877, disponibil la https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6650833/.
[17] Poppy Crum, AI That Understands Your Body Language. Forbes, 11.02.2019, disponibil la https://www.forbes.com/sites/insights-intelai/2019/02/11/ai-that-understands-your-body-language/#745 c29c4055f.
[18] Roman V. Yampolskiy, Behavioral, Cognitive and Virtual Biometrics, în Albert Ali Salah, Computer Analysis of Human Behavior, Ed. Springer-Verlag, SUA, 2011, pp. 355-368.
[19] M. Ruiz-Blondet, N. Khalifian, B. C. Armstrong, Z. Jin, K. J. Kurtz, S. Laszlo, Brainprint: Identifying unique features of neural activity with machine learning, In Proc. 36th Annual Conf. of the Cognitive Science Society, 05.2014.
[20] Chorng-Shiuh Koong, Tzu-I Yang, Chien-Chao Tseng, A User Authentication Scheme Using Physiological and Behavioral Biometrics for Multitouch Devices. The Scientific WorldJournal, Volume 2014 (2014), Article ID 781234, disponibil la http://www.hindawi.com/journals/tswj/2014/781234/.
[21] Fujitsu Press Release. Technology to securely turn biometric data into a cryptographic key. 27.10.2015, disponibil la https://phys.org/news/2015-10-technology-biometric-cryptographic-key.html.
[22] University of Calgary, “Researchers advance biometric security”. ScienceDaily, 21 iunie 2012, disponibil la http://ucalgary.ca/news/utoday/june19-2012/biometric.
[23] Md. Sazzad Hussain, Hybrid Fusion Approach for Detecting Affects from Multichannel Physiology in Sydney D’Mello, Arthur Graesser, Bjorn Schuller, Affective Computing and Intelligent Interaction, 4th Internațional Conference, ACII 2011, oct. 2011, Ed. Springer-Verlag, SUA, 2011.
[24] Sandra Feder. Researchers propose ‘Human Screenome Project’ to study the impacts of digital media. Stanford University, 16.01.2020, disponibil la https://phys.org/news/2020-01-human-screenome-impacts-digital-media.html?fblid=IAR0A6l1Z-8Txi-ZStd9DYd075_12c81Cq2-zg9QQHg9sdZkOYrFyP871hq w.
[25] Sean Gallagher, China is building a big data platform for “precrime. 03.09.2016, Ars Tehnica, disponibil lahttps://arstechnica.com/information-technology/2016/03/china-is-building-a-big-data-plaform-for-precrime.
