Tactiele feedback in virtual en augmented reality

Na decennia onderzoek staan virtual en augmented reality eindelijk op het punt door te breken in de commerciële markt. Deze systemen zijn vooral gebaseerd op het visuele zintuig, en worden soms ook begeleid door auditieve elementen. De volgende stap? Tactiele feedback.
 
Virtual reality (VR) staat ons toe om compleet virtuele omgevingen te maken. Wanneer men aan de echte wereld denkt, denken we vaak aan de vijf zintuigen: zien, horen, voelen, ruiken en proeven. Vanwege het zogenaamde ‘visual dominance’-fenomeen zijn veel systemen alleen gebaseerd op dit zintuig. Wie de kans heeft gehad om een dergelijk systeem uit te proberen, heeft vermoedelijk het volgende ervaren: je strekt jouw arm uit om een virtueel object te pakken, maar je voelt het niet, waarna de illusie dat je je in een andere wereld bevindt ook afneemt.
Zogeheten ‘tactiele feedback’ zou de illusie weer kunnen versterken, maar jammer genoeg is het toevoegen van tactiele feedback niet makkelijk te combineren met andere zintuigen. Onderzoek in multimodale interactie heeft verschillende ‘illusies’ opgeleverd, zoals het ‘McGurk-effect’ (McGurk & MacDonald, 1976), ‘ventriloquist-effect’ (Howard & Templeton, 1966) en ‘double-flash illusion’ (Shams, Kamitani & Shimojo,2000). Uit deze illusies blijkt dat een prikkel in het ene zintuig de ervaring van een prikkel in een andere zintuig kan veranderen. Een voorbeeld van een illusie met betrekking tot voelen is de ‘rubber hand illusion’ (Botvinick & Cohen, 1998). De armen van de deelnemer worden uitgestrekt op tafel neergelegd, en een daarvan buiten beeld gehouden, met daarnaast een zichtbare rubberen arm. Door zowel de rubberen arm als de verborgen arm simultaan aan te raken, krijgt de deelnemer de illusie dat de rubberen arm zijn eigen arm is. Deze illusie is in VR ook mogelijk met een heel lichaam. Voorwaarde is wel dat deze zogenoemd ‘body-swap illusion’ vanuit een eerstepersoonsperspectief wordt gezien en een correcte visuo-motor-correlatie heeft. In hedendaagse VR-applicaties wordt deze body-swap illusion vaak toegepast.
De verwachting is dat er een relatie bestaat tussen deze illusie en het eerder genoemde principe van presence: ervaren dat je je ergens bevindt; voor VR betekent dit dat je denkt dan je je echt in de nieuwe virtuele omgeving bevindt in plaats van bijvoorbeeld in een laboratorium met een VR-bril op.
Momenteel zijn applicaties met tactiele feedback wat ‘grof’. Ze kunnen alleen een eenzijdig vorm van voelen reproduceren, zoals een trilling of druk. Wel wordt veel onderzoek verricht om deze feedback zo realistisch mogelijk te maken. Dat spitst zich toe op het in één systeem integreren van verschillende vormen van voelen. Ik heb mij afgevraagd of dat überhaupt nodig was: kunnen wij deze stimuli niet realistischer maken door ze te combineren met visuele en auditieve stimuli?
 
Visueel en tactiel
Het doel van mijn masterscriptie was om de interactie tussen visuele, auditieve en passieve tactiele stimuli te onderzoeken. Onder passieve tactiele stimuli vallen het voelen van wind of regen. Er is sprake van actieve stimuli als de persoon zelf de aanraking veroorzaakt, bijvoorbeeld het vastpakken van een object.
In de eerste set experimenten heb ik de volgende onderzoeksvraag gesteld: ‘Is het mogelijk de illusie te scheppen dat verschillende intensiteiten van een bepaald tactiele eigenschap (gewicht en temperatuur) worden ervaren door een simpel en niet-gerelateerde soort aanraking (trillingen) in combinatie met overtuigende soort-gerelateerde visuele elementen grootte, valsnelheid en kleur?’ Voor de experimenten hebben we steeds dezelfde setup gebruikt: Unity 4.6.3f1 is gebruikt om de virtuele omgeving te bouwen samen met de Ocu-lus Rift DK2, de Elitac tactile display met zestien mogelijke trillingsintensiteiten om de rechterarm gebonden, en een Sennheiser HD201 koptelefoon (voor ruis).
 
                                                   
De setup van de eerste experimenten   
 
De virtuele avatar van een mannelijke deelnemer

Elke deelnemer kreeg de instructies om op een bepaald manier te gaan zitten, zodat de positionering van het echte lichaam overeenkwam met die van zijn avatar.
Elk experiment ging als volgt: de deelnemers werd verteld dat er twee keer achter elkaar een bal in de lucht zou verschijnen die vervolgens op hun arm zou vallen; een standaardstimulus en een vergelijkingsstimulus. Deze ballen verschilden in het ene experiment van gewicht en in een ander experiment van temperatuur.
De visuele stimuli van het gewichtexperiment: ballen met verschillende groottes en valsnelheden
 
De visuele stimuli van het temperatuur- experiment: ballen met verschillende kleuren
 
De standaardstimulus bestond alleen uit tactiele feedback (trilling), terwijl een vergelijkingsstimulus uit de combinatie van tactiele informatie (trilling) en visuele informatie (bal met grootte en valsnelheid voor gewicht, kleur voor temperatuur) bestond. Deze trillingen hadden verschillende intensiteiten, en de deelnemer gaf aan of de tweede tactiele sensatie lichter, zwaarder of gelijk was aan de eerste; voor temperatuur gaf de deelnemer aan of deze kouder, warmer of gelijk was. De intensiteit van de tweede werd dan aangepast volgens het antwoord van de deelnemer, en de ronde begon opnieuw met de aangepaste intensiteit, maar wel met dezelfde visuele informatie. Zodra de deelnemer de intensiteiten gelijk vond, werden de intensiteiten en de visuele informatie gelogd, en begon er een nieuwe ronde.
Er zijn drie intensiteiten voor de standaardstimuli gebruikt, en drie visuele intensiteiten, plus een control, voor de vergelijkingsstimuli. Na afloop van het experiment hebben we elk deelnemer twee vragen gesteld:
• Had je het gevoel dat de virtuele arm jouw eigen arm was?
• Op basis van welke waarneming is antwoord gegeven? De visuele input (gewicht/temperatuur) of de intensiteit van de sensatie op jouw arm?
 
Resultaten
In het ‘gewichtexperiment’ bleek dat visuele waarneming van grote invloed is op de ervaring: er was een intensere trilling nodig om een visueel zware bal even zwaar te laten voelen als een trilling zonder visuele hints.
In het ‘temperatuurexperiment’ bleek visuele waarneming nauwelijks invloed te hebben. Uit de antwoorden op de vragen die na het experiment gesteld zijn, bleek dat de ‘rubber hand illusion’ sterker was tijdens het gewichtexperiment dan tijdens het temperatuurexperiment (figuur 1 en 2) .
 
Figuur 1. De resultaten van het gewicht- experiment. Ref5, Ref8, Ref11 geven de standaardintensiteit aan; C de visuele control; 0 de kleine bal die langzaam viel; 1 de medium bal die met medium snelheid viel; 2 de grote bal die snel viel
 
Figuur 2. De resultaten van het temperatuur- experiment. Ref5, Ref8, Ref11 geven de standaardintensiteit aan; C de visuele control; 0 de blauwe bal; 1 de grijze bal; 2 de rode bal
 
 
Wat betekent dit?
De vraag was of iemand een tactiele sensatie kan voelen door een andere tactiele sensatie te com-bineren met visuele informatie. Dit is geverifieerd voor het gewichtexperiment eigenschap: een visueel zwaardere bal werd lichter ervaren dan een visueel lichtere bal, ook al waren ze tactiel gelijk in die zin dat de intensiteit van de trillingen gelijk waren. Bovendien gold dit voor meer standaardintensiteiten. Dit komt overeen met twee bekende illusies: de speed-force illusion (Arai & Okajima, 2009) en de size-weight illusion (Ho et al., 2014). De antwoorden gaven echter aan dat deelnemers vooral de intensiteit van de trillingen hebben gebruikt: ze hebben met behulp van de visuele stimuli onbewust de verwachting van gewicht gewekt, waardoor wellicht zowel de intensiteit als het type aanraking is veranderd. Er is echter geen bewuste associatie met gewicht gemaakt. We kunnen dus niet concluderen dat de deelnemers werkelijk gewicht hebben ervaren.
 
De setup van het vervolgexperiment
 
 
De visuele stimuli van het vervolgexperiment: verschillende vormen van neerslag
 
 
De virtuele landschap met kamer in het midden
 

Toch zijn deze bevindingen nodig voor het ontwerpen van een VR-systeem met tactiele feedback. We weten nu dat wanneer een persoon in een VR-omgeving zowel tactiele als visuele feedback krijgt, de tactiele feedback overdreven moet worden om het gewicht van voorwerpen correct te ervaren. Voor temperatuur hebben we die eenduidige relatie niet gevonden. Dat komt waarschijnlijk door het verschil in receptoren die nodig zijn voor temperatuur en trillingen; temperatuur en gewicht zijn te verschillend van aard om samen begrepen te kunnen worden, terwijl hier gewicht en trillingen allebei voor vervorming van de huid zorgen.
Tot slot blijkt uit de antwoorden op de vragen dat de rubber hand illusion sterker was bij het gewichtexperiment dan bij het temperatuurexperiment. Dit kan betekenen dat de sterkte ervan overeenkomt met de mate waarin iemand stimuli van verschillende modaliteiten als overeenkomstig ervaart.
 
Visueel, auditief en tactiel
Bovengenoemde experimenten hebben alleen de invloed van visuele hints op de tactiele perceptie getest. Maar hoe zit dat met auditieve elementen? In een vervolgexperiment hebben we dit nader onderzocht in een andere situatie. In plaats van abstracte ballen, hebben we neerslag in de vorm van sneeuw, regen en hagel gebruikt. Dit bestond zowel uit visuele als auditieve elementen (opgenomen clips van YouTube). De onderzoeksvraag was als volgt: ‘Is het mogelijk om de illusie te scheppen dat je verschillende intensiteiten van een botsing ervaart middels een simpel en niet-gerelateerde soort aanraking (trillingen) in combinatie met overtuigende soort-gerelateerde visuele-en auditieve elementen?’
De setup was vergelijkbaar met het eerste experiment; dit keer zaten de personen gespiegeld ten opzichte van de eerste experimenten, en werd een Philips SHC8535 draadloos koptelefoon gebruikt. Vanwege de ‘meer natuurlijke’ basis, namelijk neerslag in plaats van zwevende ballen, was de setting een kamer met ramen en een gat in het dak, opgesteld in een virtueel landschap. De opdracht was vergelijkbaar met die van de eerste experimenten: pas de intensiteit van de vergelijkingsstimulus aan zodat deze gelijk is aan de standaardintensiteit.
Er waren vier condities (control, visueel, auditief, en visueel-auditief), een standaardintensiteit, vier visuele en auditieve intensiteiten (control, sneeuw, regen, hagel). Achteraf zijn vragen gesteld over het eigen voelen van de virtuele arm, de mate van overtuiging van de stimuli van verschillende modaliteiten, het ervaren realisme tussen de condities, en of visuele/auditieve informatie is gebruikt bij het uitvoeren van het experiment.
 
Figuur 3. De resultaten van het temperatuurexperiment. C, V, A, VA geven de conditie aan; S is sneeuw; R is regen; H is hagel.
 
Er zijn geen significante effecten gevonden over neerslagintensiteit of conditie (figuur 3) . Uit nader onderzoek bleek dat de resultaten deels te verklaren waren door de gebruikte visuele grootte en valsnelheid. Verder bleek ook dat het realisme van de visuele- en auditieve elementen van grote invloed waren op het ervaren van de scenario’s. De belangrijkste les van deze vervolgexperimenten is dat we te weinig weten over de vraag hoe verschillende modaliteiten elkaar beïnvloeden. Ondanks het stijgende aantal onderzoeken die gericht zijn op multimodale interactie, is er weinig bekend over interactie tussen meer dan twee modaliteiten. Om VR zo echt mogelijk te maken, dan moeten op dat punt meer onderzoek worden verricht.
Nina Rosa, MSc. (n.e.rosa@uu.nl) is promovenda bij de Universiteit Utrecht, departement Informatica. Rosa studeerde aan de Universiteit Utrecht en rondde haar master ‘Game and Media Technology’ af met de scriptie ‘Immersive Multimodal Virtual Reality Experiences -Using Visual and Auditory Stimuli to Improve Tactile Experiences’, die gebaseerd is op experimenten met gecombineerde zintuiglijke ervaringen.
Literatuur
Arai, K. & Okajima, K. (2009). Tactile force perception depends on the visual speed of the collision object. Journal of Vision, 9(11):19. Botvinick, M. & Cohen, J. (1998). Rubber hands ‘feel’ touch that eyes see. Nature, 391:756.
Ho, H.-N., Iwai, D., Yoshikawa, Y., Watanabe, J., & Nishida, S.(2014). Combining colour and temperature: A blue object is more likely to be judged as warm than a red object.
Scientic Reports, 4(5527).
Howard, I. P. & Templeton, W. B. (1966). Human spatial orientation.
McGurk, H. & MacDonald, J. (1976). Hearing lips and seeing voices.
Rosa, N., Hürst, W., Vos, W., Werkhoven, P. (2015). The Influence of Visual Cues on Passive Tactile Sensations in a Multimodal Immersive Virtual Environment. Proceedings of the 2015 ACM on International Conference on Multimodal Interaction. ACM, 2015. 327-334.
Shams, L., Kamitani, Y. & Shimojo, S. (2000). Illusions: What you see is what you hear. Nature, 408(6814): 788.
 

Tag

Onderwerp



Niet gevonden? Vraag het de redactie!

Heeft u het antwoord op uw vraag niet gevonden, of bent u op zoek naar specifieke informatie? Laat het ons weten! Dan zorgen we ervoor dat deze content zo snel mogelijk wordt toegevoegd, of persoonlijk aan u wordt geleverd!

Stel uw vraag