- Augmentarea senzorială presupune extinderea spectrului de recepție și a sensibilității senzoriale, realizată în special cu mijloace tehnice. O serie de proiecte propun augmentarea senzorială prin inginerie genetică (ex. extinderea spectrului vizual sau a capacității de vedere nocturnă), neuroimplanturi ori implantarea de organe bionice[1].
Deși augmentarea senzorială este un domeniu cu multiple aplicaţii civile şi militare[2], interacţiunea complexă om-computer deschide noi posibilități inedite de comunicare, aplicabile dincolo de domeniul medical. De exemplu, în domeniul vizual, a fost realizat un prototip avansat al unei lentile de contact cu sursă autonomă de alimentare de câteva ore și microcircuite încorporate, urmând ca în versiunea finală să integreze circuite electronice transparente bazate pe grafen. Aplicațiile acestui sistem de „vedere asistată” sunt în domeniul realității virtuale, asistenței cognitive, medicinei, monitorizării biochimice etc[3]. Dispozitive similare au fost concepute în cadrul programului Soldier Centric Imaging via Computational Cameras (SCENICC)[4] dezvoltat de DARPA începând cu anul 2011.
În domeniul civil compania americană Mojo Vision[5] dezvoltă de aproape un deceniu lentile de contact inteligente care în prezent sunt în etapa de prototip funcțional. Aceste „smart lents” de prima generație sunt alcătuite dintr-un microecran, sistem de comunicare radio, senzori, o sursă de energie wireless și un microcomputer auxiliar extern. Principalele utilizări estimate sunt ca și dispozitiv periferic pentru smartphone-uri, în industria divertismentului și în medicină.
Alte experimente s-au concentrat pe extinderea percepției vizuale și în spectrul infraroșu-aproape (NIR) prin utilizarea de bionanotehnologii. Aplicată în prezent doar la animale de experiență, metoda presupune utilizarea de nanoparticule capabile să absoarbă radiațiile electromagnetice cu lungimea de undă de 980 nm și să le convertească în radiații cu lungimea de undă de 535 nm (corespunzător culorii verde din spectrul vizibil). Aceste nanoparticule au fost atașate de proteine care prezintă specificitate pentru receptorii vizuali foveali, existând o reacție atât la nivel retinian, cât și la nivelul ariilor de proiecție vizuală la stimularea cu infraroșu. Experimentele pe animale au confirmat extinderea spectrului de percepție în NIR[6]. Deși aflată într-un stadiu experimental, această abordare poate fi utilizată și în cazul oamenilor pentru extinderea spectrului de percepție a radiației electromagnetice dincolo de spectrul optic (380-750 nm)[7].
Extinderea percepției dincolo de spectrul optic sau de intervalul de sensibilitate a ochiului uman se realizează în mod uzual cu ajutorul unor dispozitive care permit vizualizarea într-un mod accesibil, estetic și analitic (culori false bazate pe o legendă prestabilită, la o frecvență adecvată, mai estompate sau accentuate etc.). Printre cele mai utilizate dispozitive menționăm: ochelari cu vedere pe timp de noapte, camere cu vedere în spectrul IR și UV, app-uri pentru vizualizarea undelor radio[8] etc. Aplicațiile sunt în special în domeniul medical, inginerie (defectoscopie, fizica materialelor, spectroscopie), biologie (ex. reproducerea modului în care diverse specii percep mediul înconjurător), astronomie, matematică (corpuri geometrice virtuale, multidimensionale, fractale), arhitectură, design, artă etc. Tendința este ca dispozitivele de realitate mixtă (ex. Microsoft HoloLens) sau VR să încorporeze elemente de augmentare senzorială, eye-tracking[9], softuri analitice complexe în timp real etc.
În segmentul acustic, menţionăm realizarea unui prototip destinat amplificării vibrațiilor emise de corzile vocale care are forma unui tatuaj purtabil transparent (tip „piele artificială”) plasat în zona laringiană, fiind capabil să genereze limbaj articulat doar pe baza mișcării corzilor vocale, fără emisia unui sunet. Utilizarea unui modul de machine learning va permite antrenarea și personalizarea răspunsului în funcție de particularitățile anatomice sau patologice ale fiecărui utilizator[10]. O altă variantă constructivă de interfață de vorbire silențioasă (silent speech interface SSIs) utilizează o tehnică de articulografie bazată pe magneți permanenți (permanent magnetic articulography – PMA), care are totuși dezavantajul plasării intraorale a unor micropastile magnetice[11]. Și prin analiza complexă a electromiografiilor de precizie de la nivelul nervilor periferici implicați în vorbire, achiziționate prin intermediul unor senzori aderenți la piele, se poate reconstrui mesajul verbal transmis voluntar, fără a necesita vocalizarea acestuia[12].
Pornind de la tehnicile de ecolocație dezvoltate pentru persoane cu deficiențe de vedere, au fost create programe de învățare pentru utilizarea ecolocaţiei în situații speciale de către personalul de intervenție rapidă (ex. pompieri, salvamont etc.)[13]. În cazul indivizilor sănătoși care au atins performanțe ridicate în utilizarea ecolocaţiei s-au observat adaptări la nivel cerebral (obiectivate prin RMN funcțional) similare cu modificările produse la învățarea unui instrument muzical. Există și variante de ecolocaţie în care pot fi utilizate „radare acustice” care sporesc gradul de eficienţă în localizarea tridimensională, însă presupun un travaliu cognitiv mai intens din partea factorului uman.
Ca și în cazul analizatorului vizual, extensia spectrului auditiv se realizează prin intermediul unor dispozitive care analizează vibrațiile mediului dincolo de gradul de percepție uman și le pot converti (pe baza unei convenții) în sunete audibile, imagini, senzații haptice [14].
În mediul militar, poate menționa tehnologia încorporată în căștile piloților de pe avioanele F-35[15] (ex. capacitatea de vizualizare 360 grade prin accesarea camerelor dispuse pe fuselaj, comunicare cu alți piloți) sau cea din căștile Diver Augmented Visual Display helmet – DAVD[16] (utilizarea realității virtuale). Augmentarea polisenzorială și cea în rețea (distribuită între membrii unei echipe) necesită dobândirea unor abilități de integrare multisenzorială sau chiar sinestezice, care pot fi dezvoltate prin intermediul tehnicilor de învățare perceptuală.
Substituția senzorială reprezintă transformarea semnalelor achiziționate printr-un canal senzorial (biologic sau artificial) în senzații percepute prin intermediul altui canal senzorial, cu păstrarea conținutului informațional (păstrând funcțiile cheie ale simțului inițial). Cele mai utilizate tipuri de substituție senzorială cu scopul de augmentare (la indivizi sănătoși) sunt cele care transformă informațiile vizuale în senzații audio sau tactile[17] sau pe cele audio în senzații tactile. Au fost realizate în scop civil și alte forme de substituție: tactilă-vestibulară, tactilă-tactilă, auditiv-vizuală (tehnologii asistive).
Neuroplasticitatea permite realizarea unor noi căi funcționale în urma antrenamentului, astfel încât noul „simț” rezultat prin substituție senzorială să fie integrat și utilizat ca un canal senzorial normal. Astfel se pot forma noi „simțuri” în care informația inițială (semnalul care urmează să fie receptat și transformat) să nu fie specifică omului. De exemplu, o serie de cercetări în domeniul magnetopercepției (percepția câmpurilor geomagnetice) au stabilit că există o reacție reproductibilă la nivelul undelor alfa electroencefalografice (desincronizare alfa generată de eveniment – alpha-ERD) la efectuarea de rotații în plan orizontal și modificarea polarității unui subiect situat în câmp geomagnetic. Pornind de la aceste observații, deși substratul neurofiziologic nu a fost încă stabilit, se încearcă realizarea unor dispozitive în scopul percepției câmpului magnetic (magnetorecepţie), utile de exemplu în vizualizarea câmpului magnetic al minelor sau percepția punctelor cardinale[18].
O direcție aflată în plină dezvoltare este realizarea unor membre/părți anatomice externe robotice supranumerare sau inexistente la om, capabile de comunicare bidirecţională prin intermediul unor interfețe neinvazive. Diversitatea constructivă este tot mai mare, fiind realizate degete („al șaselea deget”[19]), urechi sau cozi robotice[20]. Deși demersul se adresează în prezent industriei de divertisment și medicale[21], pe măsură ce tehnologia se va maturiza, probabil în asociere cu elemente de robotică flexibilă/soft și elemente de machine learning, va prezenta tot mai multe aplicații comerciale și militare.
Polidactilie (hexadactilie) Proteză augmentativă tip “al șaselea deget”
Aceste metode oferă o nouă dimensiune de interacție cu mediul și presupun formarea de noi căi funcționale neuronale, necesare pentru integrarea și fuziunea noului simț. Pentru a înțelege modul în care aceste proteze robotice pot fi integrate asemenea unui organ natural și au potențialul de a genera aptitudini noi și performanțe superioare, a fost studiată neuromecanica persoanelor cu polidactilie (6 degete naturale). S-a observat că celui de-al șaselea deget îi corespunde o arie de proiecție corticală proprie, că prezintă mișcări independente de celelalte degete, se pot executa mișcări mai complexe prin utilizarea tuturor degetelor (inclusiv care oferă un grad de libertate superior). Nu au fost observate deficite neuromotorii asociate prezenței celui de-al șaselea deget, în repaus sau la efectuarea de mișcări complexe[22]. S-a concluzionat astfel că datorită neuroplasticităţii există suficiente resurse necesare integrării cu succes a unui membru supranumerar robotic (sau biologic, prin transplant).
O altă formă de substituție senzorială presupune recunoașterea și conversia sunetelor în senzații haptice codate prin intermediul unei brățări, aplicația fiind destinată în special persoanelor cu deficite severe de auz. Dispozitivul[23] utilizează un modul de machine learning capabil să discrimineze între diverse sunete și zgomote (alarme, claxoane, sunete foarte puternice, zgomote emise de oameni – râs, plâns sau de către animale – lătrat) și să le convertească în senzații haptice distincte, capabile să fie identificate și înțelese de un subiect. Potențialul acestui tip de dispozitiv este determinat doar de capacitatea utilizatorului de a recunoaște semnalele haptice, nefiind limitat doar la conversia de sunete.
Un dispozitiv haptic purtabil dedicat persoanelor cu deficit auditiv sever, este și SoundShirt. Scopul sau este generarea unui limbaj tactil prin utilizarea a 30 de micro-actuatori care sunt utilizați pentru conversia muzicii, rezultatul fiind o experiență unică în cazul fiecărei piese muzicale[24].
În sprijinul persoanelor cu deficiențe vizuale severe se poate utiliza și conversia imaginilor în senzații haptice astfel încât să ofere acestora un grad de autonomie în societate. Imaginile tridimensionale sunt achiziționate cu o cameră specială și apoi transformate în senzații haptice proiectate pe fața dorsală a mâinii. Poziția vibrației oferă informații despre localizarea obiectului în raport cu utilizatorul în timp ce distanța este codată prin intensitatea vibrației[25].
Soluțiile mai avansate integrează mai multe forme de substituție și augmentare senzorială sub forma unor costume destinate simulărilor imersive totale utilizate în gamingul avansat[26] sau antrenamentul sintetic. Unul din cele mai avansate costume imersive, destinat îmbunătățirii performanțelor neuromotorii și cognitive, reabilitării și antrenamentului realist este Testa Suit. Costumul permite înregistrarea în timp real a mișcărilor efectuate, a unei multitudini de parametri biometrici, are integrat sistem de feed-back haptic complex, iar în variantele mai avansate va utiliza și dispozitive de stimulare electrică transcutanată.
Utilizarea substituției senzoriale în scop militar oferă noi posibilități de adaptare la medii fizice (subacvatic, subteran, montan, deșert, stratosferic, spațiu), în condiții de luptă ostile/extreme (ex. intervenția contrateroristă, scufundările de mare adâncime)[27] sau în cazul antrenamentelor sintetice realiste.
[1] Applegate, R.A., Limits to vision: Can we do better than nature?, Journal of Refractive Surgery (2000)16(5): S547-S551 disponibil la https://www.ncbi.nlm.nih.gov/pubmed/ 11019869.
[2] MacRae, Supernormal vision, hypervision, and customized corneal ablation, Journal of Cataract and Refractive Surgery, 2000, vol. 26, no. 2, pp. 154-157, disponibil la https://www.ncbi.nlm.nih.gov /pubmed/10683772.
[3] Pierre-Hervé Vaillant, The first stand-alone contact lens with a flexible micro battery, IMT-Atlantique 16.04.2019, disponibil la https://www.imt-atlantique.fr/en/the-school/news/first-stand-alone-contact-lens-flexible-micro-battery.
[4] https://www.darpa.mil/program/soldier-centric-imaging-via-computational-cameras
[5] https://www.mojo.vision/mojo-lens.
[6] Warren M., Night-vision ‘super-mice’ created using light-converting nanoparticles. Nature. 03.2019 vol. 567(7746), pp. 16-17, disponibil la https://www.nature.com/articles/d41586-019-00735-4.
[7] Seth Robson, Troops of the future may ditch night-vision goggles in favor of eye injections to see in the dark, Star and Stripes. 03.10.2019, disponibil la https://www.stripes.com/news/us/troops-of-the-future-may-ditch-night-vision-goggles-in-favor-of-eye-injections-to-see-in-the-dark-1.597052.
[8] http://www.architectureofradio.com/
[9] https://varjo.com/vr-1/
[10] https://www.acs.org/content/acs/en/pressroom/presspacs/2019/acs-presspac-july-24-2019/artificial-throat-could-someday-help-mute-people-speak.html
[11] Lam A. Cheah, James M. Gilbert, Jose A. Gonzalez, Phil D. Green, A Wearable Silent Speech Interface based on Magnetic Sensors with Motion-Artefact Removal. BIODEVICES 2018: pp. 56-62, disponibil la https://pdfs.semanticscholar.org/e26f/6801b92d3a6e9abce246ef4385a9d23c982a.pdf.
[12] https://technology.nasa.gov/patent/TOP2-131
[13] Bo N. Schenkman, Human echolocation in different situations and rooms, The Journal of the Acoustical Society of America, vol. 141, no. 5, pp. 3452-3452, disponibil la https://www.researchgate.net /publication/318976001_Human_echolocation_in_different_situations_and_rooms_Threshold_values.
[14] Árni Kristjánsson, Alin Moldoveanu, Ómar I. Jóhannesson, Oana Balan, Simone Spagnol, Vigdís Vala Valgeirsdóttir, Rúnar Unnthorssonc, Designing sensory-substitution devices: Principles, pitfalls and potential, Restor Neurol Neurosci., 2016, vol. 34, no. 5, pp. 769–787, disponibil la https://www.ncbi.nlm. nih.gov/ pmc/articles/PMC5044782/.
[15] https://www.f35.com/about/capabilities/helmet
[16] Amani Lyle, Eyes in the Dark: Navy Dive Helmet Display Emerges as Game-Changer, 27.06.2017, disponibil lahttps://www.defense.gov/News/Article/Article/873877/eyes-in-the-dark-navy-dive-helmet-display-emerges – as- game-changer/.
[17] Gallace A., Spence C., The cognitive and neural correlates of “tactile consciousness”: A multisensory perspective, Consciousness and Cognition, vol. 17, no. 1, pp. 370–407, disponibil la https://www.ncbi. nlm.nih.gov/pubmed/17398116.
[18] Wang Connie X., Hilburn Isaac A., Wu Daw-An, Mizuhara Yuki, Cousté Christopher et al., Transduction of the Geomagnetic Field as Evidenced from Alpha-band Activity in the Human Brain. eNeuro, 6 (2). Art. No. e0483-18, 03.05.2019, disponibil la https://authors.library.caltech.edu/90480/5/ENEURO.0483-18.201 9.full.pdf.
[19] https://www.daniclodedesign.com/thethirdthumb
[20] https://thetailcompany.com/
[21] Hussain, I., Spagnoletti, G., Salvietti, G. & Prattichizzo, D., Toward wearable supernumerary robotic fingers to compensate missing grasping abilities in hemiparetic upper limb. Int. J. Robot. Res. Vol. 36, pp. 1414–1436, (2017), disponibil la https://pdfs.semanticscholar.org/7b76/63e4cc5837aeaa15440e0ae3 2a4661b66e80.pdf?_ga=2.172429476.68346240.1565103383-2119314601.1562440724.
[22] C. Mehring, M. Akselrod, L. Bashford, M. Mace, H. Choi, M. Blüher, A.-S. Buschhoff, et al., Augmented manipulation ability in humans with six-fingered hands. Nature Communications, vol. 10, no: 2401 (2019), disponibil la https://www.nature.com/articles/s41467-019-10306-w?fbclid=IwAR3vv5u NzTeoAjnGRb7DTFoB151oascUkvrd6PK688w-Nd8bar0hS_dEumc#article-info.
[23] https://neosensory.com/?v=f5b15f58caba
[24] https://cutecircuit.com/soundshirt/.
[25] https://unfoldingspace.jakobkilian.de/en/
[26] https://www.bhaptics.com/news
[27] Anil Raj, Anthro-Centric Multisensory Interface for Vision Augmentation/Substitution, Florida Institute for Human and Machine Cognition, 2011, disponibil la http://www.dtic.mil/dtic/tr/fulltext/ u2/a559634.pdf.
