SENSIKS X TNO TECHNOLOGY CLUSTER - Funded by TNO and Dutch Ministry of Economic Affairs

TC Multi Sensorische Interactieve Belevingscabine (SENSORY REALITY POD)

KORTE SAMENVATTING VAN HET KENNISOVERDRACHTPROJECT

Multi-sensorische en interactieve belevingscabines’ zijn een product-innovatiestap waarin de krachten van een aantal high-tech MKBs gebundeld worden. Het overdragen van kennis en kunde bij het oplossen van technisch vraagstukken is van kritisch belang om deze ontwikkeling te laten slagen. TNO levert kennis aan over het gebruik van fysiologische signalen voor bio-feedback toepassingen en ondersteunt de betrokkenen bij de ontwikkeling van een systeem dat op basis van fysiologische signalen multi-sensorische belevingsprogramma’s aanstuurt.

Kernpunten hierbij zijn: a. multi-sensorisch: de beleving in de warmte cabine (SENSORY REALITY POD) wordt verrijkt met bijv. beelden, geluiden, wind, tactiele stimulatie, geuren, etc. Dit maakt het mogelijk om belevingsprogramma’s af te spelen (bijv. een belevingsprogramma ‘strand’ of ‘bos’); b. modulair: de cabines worden niet alleen met CNC freestechnieken op maat gemaakt maar zijn volledig modulair. Dit maakt het mogelijk om (naar wens of als toekomstige uitbreiding) panelen in de POD te vervangen door belevingspanelen met bijv. speakers, windgenerator, geurdispenser, etc.; c. interactief: de belevingsprogramma’s kunnen aangestuurd worden met (of reageren op) fysiologische signalen van de gebruiker (bio-feedback) zoals hartslag, ademhaling, huidgeleiding en evt. hersensignalen.

Hiermee ontstaat de mogelijkheid om belevingsprogramma’s bijv. optimaal stress-reducerend te maken. Nu er reeds een eerste proefopstelling is gemaakt, bestaat er bij betrokken MKB-ers grote behoefte aan ondersteuning op technisch-wetenschappelijk vlak bij de ontwikkeling van een bio-feedback systeem op basis van fysiologische signalen, en bij het ontwikkelen van effectieve multisensorische belevingsprogramma’s.

KENNISBEHOEFTE DOELGROEP

Het verrijken van de individuele ervaring staat centraal. Daartoe heeft SENSIKS. de handen ineengeslagen met andere high-tech MKB ondernemingen om de interactieve belevingscabine te ontwikkelen

Het consortium vraag zich bijvoorbeeld af welke aspecten van een bosomgeving essentieel zijn voor het opwekken van een realistische boservaring. Zijn dat mineralen in de lucht? Specifieke eigenschappen van het zonlicht (spectrum) dat een sensorische ervaring geeft? Draagt het geluid van de wind door de bladeren bij? En welke frequenties van tonen zijn dan van belang? En hoe kun je de input van de verschillende zintuigen optimaal op elkaar afstemmen zodat de hersenen daadwerkelijk overtuigd raken dat je in het bos bent en je dus ook het gevoel krijgt dat je echt in het bos aanwezig bent? Is visuele input voldoende of neemt het lichaam ook op via de huid? In hoeverre draagt geur bij aan de beleving? En hoe meten we of het beoogd bos effect bereikt wordt en in welke mate het dan overeenkomt met een echte boservaring?

De bedoeling van het consortium is om de volgende sensorische stimuli aan te bieden in de interactieve belevingscabine:

• Licht
• Geluid
• Beeld (AV – VR)
• Geur
• Temperatuur
• Wind
• Schone Lucht (mineralen bijvoorbeeld zeezout)

Daarbij is het streven om in eerste instantie de volgende ervaringen te kunnen aanbieden:

• Bos
• Strand
• Berg
• Ruimte (Spacetrip)
• Nacht

Deze belevingen kunnen voorzien in de uiteenlopende behoeften van diverse doelgroepen. Verder kunnen gebruikers ook zelf belevingen programmeren en deze vervolgens met andere gebruikers delen via de cloud.

Specifieke vraagstukken waar in dit technologiecluster aan gaat werken is kennisoverdracht over:

– Multi-sensorische waarneming: hoe ontwikkel je effectieve belevingsprogramma’s (hoe zorg je ervoor dat er een gewenste en consistente beleving ontstaat, m.a.w. dat de verschillende sensorische modaliteiten met elkaar en met een gegeven beleving in overeenstemming zijn).

– Biofeedback: welke fysiologische parameters zijn relevant, hoe kun je die meten, en hoe kun je de metingen vertalen naar de juiste parameters (bijv. hartslag en huidweerstand vertalen naar stress niveau) voor de verschillende sensorische modaliteiten (bijv. temperatuur, beeld, geluid, geur).

Door uitvoering van het Technologiecluster leren de deelnemers:

• Hoe zij de bijdrage van hun deelproducten aan de POD beleving effectief kunnen afstemmen en integreren en de effecten op gebruikers kunnen monitoren.
• Welke methoden en instrumenten zij kunnen toepassen om samen met andere dienstverleners geïntegreerde belevingsconcepten te realiseren.
• Welke klantwaarde kan worden gerealiseerd door toepassing van de voor de bovengenoemde punten gebruikte methoden en instrumenten, en welke lessen hieruit zijn te trekken voor bredere toepassing van de opgedane kennis.

Het TNO Technologie Cluster beperkt zich tot de volgende stappen:

• Het overdragen van kennis van de relevante sensorische stimuli van het toepassingsdomein voor het interactieve saunaconcept.
• Meten van gebruikerservaringen en het gebruik van biofeedback methoden voor de validering en optimalisatie van belevingsprogramma’s door middel van monitoring en meting van de gebruikersrespons, met gebruikmaking van diverse daarvoor geschikte methoden
• Het in samenwerking met de andere deelnemende bedrijven ontwerpen van een modulair geïntegreerd inrichtings- en belevingsconcept.
• Definiëren van de gewenste aanpak voor validering van het geïntegreerde inrichtingsconcept.

BESCHIKBARE KENNIS

2.1 Stand van de kennis op dit gebied

Wat is de over te dragen kennis, ligt er voldoende kennis op de plank om te voldoen aan de onder 1. benoemde kennisbehoefte van het MKB? Het is de bedoeling dat het voor het MKB om nieuwe kennis gaat, die bij TNO “op de plank” ligt. In welk kader is de kennis bij TNO ontwikkeld (cofinancieringsproject(en), EU-project(en), opdracht(en) e.d.)? Hoe uniek is de TNO kennis, of is die ook elders beschikbaar? Om consultants e.d. geen valse concurrentie aan te doen moet sprake zijn onderscheidende TNO kennis. Maak dat duidelijk.

Induceren emoties

TNO heeft recentelijk een model ontwikkeld dat het verband beschrijft tussen de emotionele respons van een waarnemer en de verschillende sensorische eigenschappen van een omgeving [1]. Belangrijke aspecten in dit model zijn

• de context afhankelijkheid van stimuli (stimuli moeten logisch passen in de context),
• de congruentie tussen de verschillende modaliteiten (verschillende modaliteiten moeten met elkaar in overeenstemming zijn), en
• de ecologische validiteit van de stimuli (stimuli moeten natuurlijk overkomen).

TNO heeft ervaring met het induceren van emoties en belevingen d.m.v. stimuli in verschillende sensorische modaliteiten:

• statische [2] en dynamische [3, 4] visuele patronen,
• lichtniveaus [5, 6]
• tactiele patronen [7]
• geur [8, 9]
• audio [10, 11]
• multimodale patronen [7]

Het meten van emoties

TNO heeft veel ervaring met het bepalen van de cognitieve belasting [12-14] en emotionele [15] toestand van personen op basis van fysiologische metingen. Bovendien zijn wij als enige in staat dergelijke metingen ook buiten het laboratorium te doen in ongecontroleerde dagelijkse omgevingen. Zo kunnen we bijvoorbeeld door het classificeren van fysiologische signalen vaststellen of iemand een emotionele of niet-emotionele passage in een boek aan het lezen is [16], en of iemand kip of meelwormen aangeboden krijgt om te koken [17].

NEUROFEEDBACK

TNO heeft ervaring met

• Het gebruik van brain-computer interfaces als intuïtieve manier om te communiceren met computers [18]
• het ontwerpen en optimaliseren van de design van brain–computer interfaces [19, 20]
• Visualisaties die zich aanpassen aan de mentale toestand van de gebruiker [21]

Multi-sensorische stimuli voor health en wellbeing

We weten hoe audio-tactiele stimulering kan bijdragen aan gezondheid en well-being [22]
We hebben recentelijk aangetoond dat Virtual Reality in combinatie met bio-neuro feedback een effectief hulpmiddel kan zijn bij PTSD therapie [23].

Virtuele Omgevingen en Gaming

TNO heeft ervaring met het toepassen van geluid [10, 24], lichtniveaus [5, 6], dynamiek [10, 24] en geur [25] in virtuele omgevingen om de emotionele respons van gebruikers te beïnvloeden.

Meten van de emotionele beleving van (echte en virtuele) omgevingen

TNO heeft ervaring met het meten van de emotionele beleving van echte [26] en virtuele [5, 6] omgevingen.

[1] E. Schreuder, J. van Erp, A. Toet et al., “Emotional responses to multisensory environmental stimuli,” SAGE Open, 6(1), 1-19 (2016).

[2] A. Toet, and S. Tak, “Look out, there’s a triangle behind you! The effect of primitive geometric shapes on perceived facial dominance,” i-Perception, 4(1), 53-56 (2013).

[3] A. Toet, M. Henselmans, M. P. Lucassen et al., “Emotional effects of dynamic textures,” i-Perception, 2(9), 969-991 (2012).

[4] A. Toet, S. Tak, M. P. Lucassen et al., [Behind every strong man there is a strong background: The effect of dynamic background textures on facial evaluation], (2012).

[5] A. Toet, J. M. Houtkamp, and P. E. Vreugdenhil, “Effects of personal relevance and simulated darkness on the affective appraisal of a virtual environment,” PeerJ, 4(e1743), 1-24 (2016).

[6] A. Toet, M. van Welie, and J. M. Houtkamp, “Is a dark virtual environment scary?,” CyberPsychology & Behavior, 12(4), 363-371 (2009).

[7] J. B. F. van Erp, A. Toet, and J. B. Janssen, “Uni-, bi- and tri-modal warning signals: Effects of temporal parameters and sensory modality on perceived urgency,” Safety Science, 72(0), 1-8 (2015).

[8] A. Toet, M. A. M. Smeets, E. van Dijk et al., “Effects of pleasant ambient fragrances on dental fear: comparing apples and oranges,” Chemosensory Perception, 3-4(3), 182-189 (2010).

[9] M. A. M. Smeets, J. de Groot, A. Kaldewaij et al., “Stress-reducing effects from orange odor exposure in humans in an experimental setting.” 38.

[10] J. M. Houtkamp, E. L. Schuurink, and A. Toet, “Thunderstorms in my computer: the effect of visual dynamics and sound in a 3D environment.” 11-17.

[11] A.-M. Brouwer, N. Van Wouwe, C. Muehl et al., “Perceiving blocks of emotional pictures and sounds: Effects on physiological variables,” Frontiers in Human Neuroscience, 7(article nr. 295), 1-10 (2013).

[12] M. A. Hogervorst, A.-M. Brouwer, and J. B. F. van Erp, “Combining and comparing EEG, peripheral physiology and eye-related measures for the assessment of mental workload,” Frontiers in Neuroscience, 8(Article 322), 1-14 (2014).

[13] E. B. J. Coffey, A.-M. Brouwer, and J. B. F. van Erp, “Measuring workload using a combination of electroencephalography and near infrared spectroscopy,” Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 56(1), 1822-1826 (2012).

[14] A.-M. Brouwer, M. A. Hogervorst, J. B. Van Erp et al., “Estimating workload using EEG spectral power and ERPs in the n-back task,” Journal of neural engineering, 9(4), 045008 (2012).

[15] A.-M. Brouwer, T. O. Zander, J. B. F. van Erp et al., “Using neurophysiological signals that reflect cognitive or affective state: Six recommendations to avoid common pitfalls,” Frontiers in Neuroscience, 9(Article number 136), 1-11 (2015).

[16] A.-M. Brouwer, M. Hogervorst, B. Reuderink et al., “Physiological signals distinguish between reading emotional and non-emotional sections in a novel,” Brain-Computer Interfaces, 1-14 (2015).

[17] A. M. Brouwer, E. H. Zandstra, M. A. hogervorst et al., [The quantified cook – Physiological responses during cooking food associated with different levels of valence and arousal.], Asilomar, CA, USA(2016).

[18] A.-M. Brouwer, J. van Erp, D. Heylen et al., “Effortless passive BCIs for healthy users.” Lecture Notes in Computer Science Volume 8009,, 615-622.

[19] M. E. Thurlings, J. B. F. van Erp, A.-M. Brouwer et al., “Control-display mapping in brain-computer interfaces,” Ergonomics, 55(5), 564-580 (2012).

[20] A.-M. Brouwer, and J. B. F. Van Erp, “A tactile P300 brain-computer interface,” Frontiers in Neuroscience, 4, (2010).

[21] S. Tak, A.-M. Brouwer, A. Toet et al., “Exploring the potential of neurophysiological measures for user-adaptive visualization.” Available from http://webhome.cs.uvic.ca/~mtory/WUAV/papers/wuav2013_paper_8.pdf.

[22] E. O. Dijk, A. Nijholt, J. B. F. van Erp et al., “Audio-tactile stimuli to improve health and well-being.” CTIT Proceedings Series WP10-01, 1-10.

[23] A.-M. Brouwer, M. A. Neerincx, V. L. Kallen et al., “EEG alpha asymmetry, heart rate variability and cortisol in response to virtual reality induced stress,” Journal of CyberTherapy & Rehabilitation, 4(1), 21-34 (2011).

[24] E. L. Schuurink, J. M. Houtkamp, and A. Toet, “Engagement and EMG in serious gaming: experimenting with sound and dynamics in the Levee Patroller training game.” Lecture Notes in Computer Science 5294, 139-149.

[25] A. Toet, and M. G. van Schaik, “Visual attention for a desktop virtual environment with ambient scent,” Frontiers in Psychology, 4(883), 1-11 (2013).

[26] A. Toet, and M. G. van Schaik, “Effects of signals of disorder on fear of crime in real and virtual environments,” Journal of Environmental Psychology, 32(3), 260-276 (2012).

PROJECTOMSCHRIJVING

3.1 Werkplan
Welke activiteiten / werkpakketten worden voorgesteld om de bedrijven aan te zetten tot innovatie en de benoemde kennisoverdracht te realiseren?

Binnen het project wordt een aantal workshops georganiseerd met ‘huiswerk’ voor de deelnemers. Om de kennisoverdracht concreet toepasbaar te maken zal een “belevingsconcept” centraal staan. Het daarbij reeds ontwikkelde concept (alphaversie) zal daarbij dienen als iteratieve testomgeving voor de deelnemers van het technologiecluster. De bedoeling is dat door stapsgewijs toepassen van overgedragen kennis en kunde aan het einde van het technologiecluster een Beta-versie van de belevingscabine gereed is. In de beta-versie is dan een werkend concept-interactief belevingsprogramma gereed, waarin de lessons learned zijn verwerkt.

Op hoofdlijnen ziet de aanpak er als volgt uit:

Fig 1:aanpak TC: in blauw activiteiten en samenhang, in geel TNO kennisoverdracht.

De opbouw van de workshop is als volgt:

WORKSHOP 1: PROGRAMMA & SCOPE DEFINITIE

In de eerste workshop wordt bepaald met welke set van sensorische stimuli en voor welke doelstelling de beleving in de interactieve belevingscabine wordt gecreëerd. Deze eerste stap dient om de doelstelling het project helder af te bakenen. Vanuit TNO wordt kennis ingebracht over stimuli, gecombineerde multi-sensorische stimuli (consistentie van stimuli in verschillende zintuigen) en effectkennis van stimuli op beleving.

Het resultaat van de workshop is een helder geformuleerd projectdoel dat haalbaar is binnen de context van het technologiecluster, en dat aangeeft welke belevingsprogramma’s er ontwikkeld gaan worden en welke sensorische stimuli en biofeedback technieken daarbij in de cabine worden toegepast zullen worden.

Resultaat:

• Product beschrijving met specificatie van beoogde belevingen, gewenste biofeedback, interactie mogelijkheden en toepassingen.

WORKSHOP 2 & 3: PROGRAMMEREN VAN STIMULI & METEN VAN FEEDBACK

Het doel van workshop 2 en 3 is het bijeenbrengen van de verschillende stimuli in een belevingsprogramma en het inzichtelijk maken van meetmethoden van bio- en neurofeedback.

Op basis van TNO kennis over het maken van valide multi-sensorische simulaties wordt een handreiking gegeven voor de opbouw en duur van een programma, alsmede de randvoorwaarden voor een consistentie beleving (gericht op een bepaald programmadoel).

Op basis van de keuzes van de MKB-ers worden vervolgens keuzes voorgesteld voor de opbouw van het multi-sensorische stimulerings programma (welke soorten stimuli zijn mogelijk, welk verwacht effect hebben de verschillende stimuli, hoe werkt interactie tussen stimuli van verschillende modaliteiten). Afhankelijk van de feedback door de MKB partners worden specifieke programma’s voorgesteld en wordt door de leden van het TC een eerste set aan stimuli uitgewerkt (denk aan ritme, intensiteit, diversiteit stimuli en duur van het programma).

Daarbij wordt gekeken naar de toepassing van diverse hardware oplossingen die bijdragen om verschillende belevingen te realiseren, bijv

• geurdispensers
• warmtebronnen
• ventilatoren
• verdampers
• luidsprekers
• tactiele materialen en stimulatoren
• displays

In workshop 2 wordt een eerste aanzet gegeven, workshop 3 is bedoeld voor een verdiepingsslag en (afhankelijk van de voortgang) een eerste feedback sessie.

WORKSHOP 4 FEEDBACK & INTERACTIE

Vanuit TNO wordt in eerste instantie de technische mogelijkheden voor het real time toepassen van bio-feedback toegelicht en de implicaties voor de toepassing en gebruik in belevingscabines besproken.

De doelstelling van het programma is om een effectief programma aan te bieden aan de gebruiker. Centraal hierbij staat de vraag op welke manier tijdens het belevingsprogramma en erna de effectiviteit van het aangeboden programma kan worden geëvalueerd. Hoe kan de interactie tijdens de beleving worden gemeten en teruggekoppeld (feedback) aan het systeem; hoe moeten de stimuli (veilig en consistent) worden aangepast.

Een tweede aspect is het meten van de gebruikservaring van de persoon die het programma ondergaat (in de alpha-versie). Op welke manier kan een ervaring worden gemeten? Hoe kan dat voor de ontwikkeling van programma’s het beste worden aangepakt en welke methoden kunnen het beste worden toegepast in het eindproduct. Door het geven van inzicht in diverse methode en de keuze van het consortium wordt voor de alpha en betaversie een keuze gemaakt.

Verschillende feedback methoden presenteren met hun voor- en nadelen, bijv

• via lichamelijk contact:
  • Huidweerstand
  • Hersengolven
• contactloos- op afstand:
  • Gezichtsuitdrukking
  • Hartslag

Een andere noodzakelijke stap is het opstellen van randvoorwaarden voor de verwerking en interpretatie van de neurofysiologische signalen voor de biofeedback toepassingen en het faciliteren van de gebruikers interactie.

Daarnaast is een belangrijke vraag op welke manier de beleving als geheel van grotere waarde krijgt voor de eindgebruiker? Hoe wordt de belevingscabine en het programma ervaren en hoe kan de gebruikerservaring verder worden geoptimaliseerd? Hoe meet je of – en in hoeverre – een programma de beoogde beleving inderdaad opwekt ?

Definiëren van methoden en protocollen waarmee kan worden vastgesteld:

• Hoe geloofwaardig een beleving wordt ervaren door de gebruiker.
• In hoeverre de verschillende componenten in de cabine goed samenwerken.
• In hoeverre terugkoppeling op de gewenste manier bijdraagt aan de beleving.
• Of interactie door de gebruiker bijdraagt aan de beleving.

Resultaten:

• Methoden en protocollen waarmee kan worden vastgesteld of het systeem een beoogde beleving inderdaad opwekt.

WORKSHOP 5 REACHING OUT

De ontwikkelde methode en kennis voor het programmeren van één interactief belevingsprogramma in de alpha versie met rudimentaire meetmethoden is een eerste stap; hoe worden de geleerde ervaringen omgezet in een beta versie; waarin de finetuning en optimalisatie plaatsvindt voor de eindklant (zowel voor methoden van interactie als voor beleving).

Op welke manier kunnen nieuwe programma’s sneller worden ontwikkeld en getest en op welke manier testen we (externe) programma’s op een veilige en consistente beleving als we de belevingscabine in een “open” source omgeving vrijgeven?

Hoe dissemineren we de kennis voor het maken van een programma en welke andere doelen in programma’s kunnen in een vervolgstap worden ontwikkeld door andere partijen (bijvoorbeeld reactivatie van dementerenden, therapie voor revalidanten of gaming.

3.2 Brede kennisverspreiding

Geef concreet aan hoe de bredere verspreiding van de kennis plaatsvindt (naar ten minste 20 MKB)?

Het doel is om samen met de topsector te komen tot een inspirerend bijeenkomst om de potentie voor interactieve multi-sensorische belevingen te verkennen voor een grote doelgroep ondernemers en om als doel meer interactieve multi-sensorische programma’s te ontwikkelen voor de specifieke belevingscabine.

Hiertoe wordt tevens een verkenning gemaakt van de markt voor interactieve multi-sensorische belevingsprogramma’s voor aanpalende domeinen (verschillende toepassingen zijn denkbaar zoals multi-sensorische omgeving voor trainingsdoeleinden voor professionals, voor dementerenden, medische revalidatie, onderwijsomgevingen) t.b.v. bredere kennisverspreiding onder MKB bedrijven.

3.3 Beoogde resultaten

Het is de combinatie en integratie van deze diensten en oplossingen die er voor zorgen dat het concept geconcretiseerd kan worden. Na het afronden van het TC kunnen deelnemende partijen gezamenlijk (bijv. in een joint venture of andere constructie) overgaan tot daadwerkelijke realisatie van een product. Deze joint venture kan eventuele vervolgvragen uitzetten bij TNO, bijvoorbeeld met betrekking tot de effecten op welbevinden en gezondheid, verbreding naar andere markten en continue uitbreiding / verbetering van het product (vanwege de modulaire opbouw zijn nieuwe technologieën makkelijk toe te voegen en via de connectie met de cloud kunnen nieuwe diensten worden ontwikkeld).

PROJECTORGANISATIE

4.1 Samenwerking binnen TNO

De bijdragen die nodig zijn voor dit project zijn afkomstig van de volgende afdelingen binnen TNO:

• Perceptual & Cognitive Systems: Lex Toet, Jan van Erp
• Microbiology & Systems Biology – Victor Kallen
• InnovatieCentrum Bouw: Joram Nauta

Inhoudelijke expertise wordt geleverd door:

Lex Toet – psychofysicus

Jan van Erp – hoogleraar Tangible User Interaction

Victor Kallen – psychobioloog

De projectleider is Joram Nauta (senior PL) die o.a. ervaren is met het begeleiden van projecten mbt (multisensorsische) interventies met proefpersonen in de gebouwde omgeving