Experimenteel onderzoek naar een visuele ervaring van hallucinatie en schizofrenie door gebruik van 360° VR Video. Project door Laure Bensch, Sander Brebels, Pieter Claessens, Lennert Deprettere en Nathalie van Roosmalen.
In deze paper wordt het tot stand komen beschreven van een 360° Video die schizofrene hallucinaties laat ervaren. Zowel visueel als auditief. De video is bedoeld om af te spelen met een VR-bril en hoofdtelefoon, zodat de immersie maximaal is. Dit is nodig om het gevoel dat je niet kunt ontsnappen aan de hallucinaties maximaal op te wekken.
Er is uitgegaan van research die beschrijft hoe (schizofrene) hallucinatie zich manifesteert. Typische elementen zijn vervolgens verwerkt in de gemaakte video. Daarvoor was Googles Deep Dream Project een mooi uitgangspunt. Hier is op verder gewerkt om met de verworven inzichten een eigen beeldtaal te gebruiken.
Het project is tot stand gekomen met een Nikon Keymission 360 camera voor de filmbeelden van de locaties, een reflexcamera voor het filmen van portretten en de softwarepakketten Deep Dreamer, Adobe After Effects en TV Paint.
Het project kadert in een opdracht voor onderzoeksgroep Re-Visionary, binnen de onderzoekseenheid Inter-Actions van Luca School of Arts, Faculteit Kunsten. Deze onderzoeksgroep focust op artistiek onderzoek dat “interacties tussen mensen, domeinen en disciplines beoogt en de mogelijkheden van oude en nieuwe media, materialen, artefacten, technologieën, ruimtes en gebeurtenissen exploreert” (Luca School of Arts, z.d.). In dit project past zowel de complexe technologische kant van 360° VR in postproductie, als de problematiek van verstoorde waarneming en communicatie (interactie) bij schizofrene mensen binnen dit kader.
Om meerdere mogelijkheden te verkennen, werd de module gestart met een brainstormsessie. Hierbij kwamen volgende ideeën aan bod:
Na overleg werd er door het team beslist om een 360° hallucinatie video te maken waarbij de kijker het gevoel krijgt in een andere belevingswereld te zitten. De inspiratie hiervoor kwam uit de ‘Travel’ installatie van David Claerbout. Hierin wordt in slowmotion een ‘wandeling’ door een bos gemaakt waarbij de focus ligt op het imaginaire. Travel is over een tijdspanne van 3 jaar geproduceerd en bestaat enkel uit computer gegenereerde beelden. De beelden zijn gebaseerd op verschillende locaties: een donker Europees bos, het Amazonewoud en een park. D.m.v. de relaxerende muziek en vertraagde beelden ervaart de kijker een gevoel van rust en meditatie. Daarnaast wordt de film getoond in een geïsoleerde, verduisterde ruimte waar de kijker geen geluid hoort van de buitenwereld. Op die manier creëert David Claerbout met Travel een andere belevingswereld (Claerbout, z.d.;; Viewmaster, z.d.).
Ook in dit concept wordt een wereld gecreëerd waarin de kijker geïsoleerd wordt van de realiteit. Dit meer in de letterlijke zin nl. door het ervaren van hallucinaties. In tegenstelling tot Travel wordt in de Hallucin8 video geen relaxed gevoel opgewekt, maar eerder het tegenovergestelde. De kijker wordt in een wereld vol hallucinaties gegooid waaruit hij niet kan ontsnappen.
Om meer inzicht te krijgen in de inhoud en oorsprong van hallucinaties, werd hier onderzoek naar gedaan. Het krijgen van hallucinaties hangt samen met onze zintuigen en hersenen. Onze zintuigen maken het nl. mogelijk om de wereld waar te nemen waarna de hersenen deze waarnemingen omzetten in een bepaalde betekenis. Wanneer iemands waarneming verstoord raakt, ervaart de persoon een hallucinatie. Dan kan hij dingen zien, ruiken, voelen, horen of proeven die er in de werkelijkheid niet zijn (Psychosenet, z.d.).
Het ervaren van hallucinaties valt onder de term psychose. Tijdens een psychose ontstaan er hallucinaties en wanen waardoor de persoon het contact met de realiteit om zich heen verliest. Hierdoor kan hij de wereld als vreemd, overweldigend en angstaanjagend ervaren (Vroege Detectie en Interventie bij Psychiatrische Stoornissen (VDIP), z.d.).
Er zijn vijf verschillende soorten hallucinaties waarvan meerdere vormen ook tegelijkertijd waargenomen kunnen worden (Hallucination Help, z.d.):
Een ziekte die vaak geassocieerd wordt met hallucinaties is de psychische aandoening schizofrenie. Hallucinaties vormen één van de hoofdsymptomen waarmee de diagnose gesteld wordt. Daarom leek het ons interessant om ons concept te koppelen aan de ervaringen van schizofrene patiënten. Bij het optreden van hallucinaties tijdens hun psychoses wordt het contact met de realiteit ernstig verstoord. Personen die aan de aandoening lijden, ervaren vaak visuele en auditieve hallucinaties. Omdat enkel die hallucinaties verwerkt werden in onze film, wordt hier dieper op ingegaan (Hallucination Help, z.d.).
Bij auditieve hallucinaties hoort de persoon geluiden zonder enige externe geluidsbron. Klassieke auditieve hallucinaties bestaan uit stemmen, muziek, dierengeluiden of voertuigen. 70% van de mensen die aan schizofrenie lijdt, heeft aangegeven auditieve hallucinaties te ervaren in eender welke vorm. De meest voorkomende vorm van auditieve hallucinaties bij schizofrenie is het horen van stemmen. De stemmen die ze horen kunnen afkomstig zijn van mensen uit hun omgeving of van vreemden. Daarnaast horen personen met schizofrenie ook vaak willekeurig geschreeuw (Hallucination Help, z.d.).
Naast auditieve hallucinaties ervaren schizofrene patiënten ook vaak visuele hallucinaties. Hierbij worden denkbeeldige objecten waargenomen zonder enige stimulus. Deze kunnen voorkomen op verschillende niveaus. Bij een laag niveau ziet de persoon stippen, verstoorde vormen, kleuren of patronen. Bij een hoog, complex niveau van hallucineren is de perceptie die de persoon heeft van zijn omgeving zo compleet dat hij het gevoel krijgt zich in een andere wereld te bevinden. Voorbeelden van schizofrene hallucinaties zijn het zien van mensen, dieren, bewegingen of schaduwfiguren (Hallucination help, z.d.).
Geïnspireerd door de hallucinaties die mensen met schizofrenie ervaren, is er beslist om het Hallucin8 concept hieraan te koppelen met als doel anderen een psychose te laten ervaren in 360°.
In de video komen meerdere van de hierboven vermelde eigenschappen voor die typerend zijn voor een persoon die lijdt aan de aandoening. Er wordt een complex niveau van hallucineren nagebootst. Hierbij krijgt de persoon het gevoel zich in een andere wereld te bevinden net zoals bij de Travel van David Claerbout. Er wordt een soort van eigen belevingswereld gecreëerd waardoor de kijker afgesloten wordt van de werkelijkheid. In die wereld zijn verschillende visuele hallucinaties verwerkt die kenmerkend zijn voor schizofrenie: verstoorde vormen en kleuren, dieren, bewegende animaties en schaduwfiguren. Deze schaduwfiguren nemen bij Hallucin8 de vorm aan van starende gezichten. Ook auditieve hallucinaties komen in de video aan bod in de vorm van stemmen, willekeurig geschreeuw en muziek.
In het begin was het niet de bedoeling om de video te koppelen aan een bepaalde aandoening. Toen werden er willekeurige hallucinaties bedacht. Door het concept wel aan schizofrenie te koppelen en meer research te doen naar de hallucinaties die tijdens zo’n psychose ervaren worden, kreeg de film meer betekenis en diepgang. Op die manier werd de keuze van bepaalde hallucinatie-effecten ook beter onderbouwd.
In eerste instantie was het de bedoeling om een belevingswereld te creëren die onderverdeeld is in een positieve en een negatieve kant. Hierbij zag de kijker in de 180° voor zich een bos en achter zich enge, starende gezichten. De kijker kon hierbij zelf beslissen naar welke kant hij keek. Hieraan wilden we een externe geluidsbron koppelen waarbij de participant in een cirkel geplaatst werd met voor en achter zich een luidspreker. Uit de luidspreker voor hem zou relaxerende muziek komen, die geassocieerd kon worden met het bos. Uit de luidspreker achter hem zou angstaanjagende muziek komen die samenhing met de starende blikken. Na een diepere analyse kwamen we tot de conclusie dat dit niet strookte met het verloop van echte hallucinaties. Bij deze opstelling zou de kijker er voor kunnen kiezen om enkel naar de positieve kant te kijken en de negatieve te negeren. Bij een echte hallucinatie kan de persoon echter niet bepalen wat hij wel of niet wil zien. Daarnaast kan hij er ook niet uit wegvluchten. Daarom beslisten we om de positieve en negatieve kant van hallucineren door elkaar heen te laten lopen en de geluiden in de video te verwerken i.p.v. te werken met externe luidsprekers.
De bedoeling is dat de kijker de video kan waarnemen met een VR bril. Om hem volledig te isoleren van zijn omgeving krijgt hij ook een hoofdtelefoon op waarmee we het gevoel van niet meer in verbinding te staan met de realiteit trachten te bevorderen.
Opname van de beelden
Bos en supermarkt
Als locatie kozen we twee uitersten. Aan de ene kant een bos als natuurlijke en desolate omgeving en aan de andere kant een supermarkt als artificiële en drukke omgeving. Dit past in ons verhaal van schizofrenie en de dubbele kant van hallucinatie. De gebruikte camera is de Keymission 360 van Nikon. In het bos en in de supermarkt verliepen de opnames vlot. Het hele concept van een 360°- camera maakt het irrelevant om met compositie of kader bezig te zijn. Extra lichtbronnen kunnen ook niet gebruikt worden doordat ze in beeld zouden komen. Het grootste probleem met 360°VR is dat de ‘cameraman’ nooit helemaal onzichtbaar kan zijn. De camera werd op het hoofd van iemand bevestigd om de persoon zo weinig mogelijk in beeld te hebben. De enige oplossing hiervoor lijkt zeer gespecialiseerd opnamemateriaal zoals de Drone Volt Janus 360° (Drone Volt, z.d.). Hierbij is er zowel onder- als bovenaan een drone, een GoPRo Omni Rig bevestigd. De 10 gebruikte GoPro’s vormen samen een beeld waarbij de drone onzichtbaar is.
Portretten
De portretten werden in een studio-omgeving gemaakt. De modellen werden van onderuit belicht met het puntlicht van een smartphone. Dit gaf het meeste dramatische effect. De portretten zijn gefilmd met een gewone reflexcamera, om de volgende redenen:
Gebruikservaring Nikon Keymission 360
De 360° film is gemaakt met de Nikon Keymission 360°. Dat is een 4K actioncam die in 360° filmt of fotografeert. De winkelprijs is €499. De camera fotografeert aan een maximale resolutie van 7744x3872px. Dat is ongeveer 8K. De maximale filmgrootte is 3840 x 2160 (4K). Dat is geen 2/1 verhouding. Daarom is er ook een iets kleinere resolutie van 3840 x 1920. Die werkt enkel in NTSC. 4K is een hoge resolutie voor een gewoon filmbeeld maar is voor een 360° film niet zo veel. De hoogste resolutie is daardoor de enige echt bruikbare. De camera heeft enkele speciale opnamefuncties: timelapse, versneld filmen en 100fps-film. Al deze modi werken aan een lagere resolutie en vallen daardoor tegen qua resultaat. De kwaliteit is duidelijk minder dan bij professionelere rigs met meerdere camera’s, die gecombineerd een veel hogere resolutie aankunnen. Zoals bijvoorbeeld de GoPro Odyssey of Omni, Facebook Surround 360 of Lytro Immerge.
De Keymission mikt duidelijk op een breed publiek. Er zijn weinig instellingen. Je kunt geen iso-waarde kiezen of RAW-opnames maken. Er is enkel een -2 tot +2 correctie mogelijk voor de belichting. Het toestel moet ingesteld worden via een computer of smartphone. De app werkt niet echt prettig en verbindt soms moeilijk. De batterij is klein en dus beperkt qua capaciteit. Als de batterij bijna op is, valt de camera regelmatig uit tijdens de opnames.
Vergelijking tussen de GoPro Rig van C-Mine en de Nikon Keymission 360
Met de GoPro-Rig van de school was het constant opletten geblazen of er geen camera uitstond en of er geen kabels naar de externe batterij in beeld kwamen. Bovendien wist je pas na het inlezen van de kaartjes of alles gewerkt had. Het inladen van de kaartjes en het stitchen waren allemaal extra handelingen. Met de Keymission 360° komen de VR-films kant-en-klaar uit de camera. Dat werkt erg snel en gebruiksvriendelijk. Er kan bijna direct na het filmen vastgesteld worden of het filmpje goed is of best opnieuw gemaakt wordt. De uiteindelijke resolutie van de GoPro-configuratie is wel hoger dan bij de Keymission.
Als conclusie kunnen we zeggen dat de Keymission erg veel waar biedt voor zijn geld en prettig werkt. In de hoogste resoluties is de kwaliteit best aanvaardbaar. Het toestel is ook erg robuust.
Genereren van hallucinaties
Om hallucinaties te kunnen imiteren leek het Google Deep Dream programma het ideale vertrekpunt. Dit is een zogeheten ‘computer vision’-programma waarbij men poogt om digitale foto’s of video’s met artificiële intelligentie te begrijpen. Het is gebaseerd op de werking van een neuraal netwerk. Een neuraal netwerk is een groep van verbonden neuronen (zenuwcellen). De twee belangrijkste vormen zijn biologische neurale netwerken, in het bijzonder het menselijk brein, en kunstmatige neurale netwerken die de eigenschappen van echte biologische neuronen nabootsen. Deep Dream probeert patronen in afbeeldingen te vinden en te accentueren. Hiervoor is het gebaseerd op pareidolia-algoritmes. Een pareidolia is een psychologisch fenomeen waarbij ons brein iets meent te herkennen dat er in wezen niet is. Deep dream herkent bewust overdreven snel bepaalde patronen (bijvoorbeeld dierenkoppen) en accentueert ze sterk. Op die manier ontstaan droomachtige hallucinatie-achtige beelden via dezelfde logica als bij hallucinatie in de menselijke hersenen. De resultaten van het Deep Dream programma zijn door Google bekendgemaakt en de code is open source. Hierop volgend zijn er programma’s en websites ontstaan die de code gebruiken om beelden een hallucinatie- effect te geven (Wikipedia/DeepDream, z.d.). Het is evident dat dit uitermate geschikt was voor ons project. Onze beelden zouden hiermee immers een hallucinatie-uitzicht krijgen dat effectief gebaseerd is op onderzoek hieromtrent. Wij probeerden deze sites of websites te gebruiken.
We zijn gestart met de Deep Dream Generator van Google. Hiermee kunnen foto’s makkelijk omgezet worden naar hallucinante beelden. Het programma maakt gebruik van verschillende deep dream effecten waarmee beelden naar keuze gecreëerd kunnen worden. Tijdens een eerste test kwamen we tot de bevinding dat er geen video’s in de Deep Dream Generator geüpload kunnen worden tenzij ze opgesplitst worden in frames. Ook merkten we dat de kwaliteit van de foto’s sterk achteruit gaat wanneer er een filter op gezet wordt. Daarom besloten we op zoek te gaan naar andere manieren om hallucinaties te kunnen configureren.
Op GitHub staat een handleiding die gebruik gemaakt van het programma Python. We hebben deze proberen te volgen, maar achteraf bleek dit niet te werken. Doordat niemand van het team de nodige programmeerervaring heeft, werd er ook geen oplossing voor gevonden en werd er bijgevolg niet met Python verder gewerkt.
Na de Deep Dream Generator en Python werd er gebruik gemaakt van een ander programma, nl. Deep Dreamer. Het nadeel is dat deze app enkel werkt op Macs waardoor de helft van het team het niet kon gebruiken. Toch werd beslist om de app uit te proberen. Met de Deep Dreamer verkregen we de gewenste effecten wel, maar duurde het immens lang om de video’s om te zetten. Na het programma een nacht te laten lopen en nog steeds geen volledige video gegenereerd te hebben, werd besloten om niet meer met de Deep Dreamer te werken. Dit was een teleurstelling omdat we dachten dat we het ‘ideale’ programma gevonden hadden om op een efficiënte manier hallucinaties te creëren. We kregen er wel de beelden mee die we wilden, maar door het korte tijdschema was hiermee verder werken geen optie. Langs de andere kant gooide deze ‘tegenslag’ wel alles weer open. Het pushte ons om verder te denken en om op zoek te gaan naar een andere manier om hallucinaties te kunnen genereren. I.p.v. op zoek te gaan naar een andere kant en klare oplossing, werd beslist om zelf hallucinatie-effecten te creëren in After Effects. Hiervoor zijn 2 functies gebruikt: Turbulence Display Filter en het Colorama. Wel hebben we beslist om de beelden die we reeds hadden van de Deep Dreamer niet weg te gooien. Om na te gaan of de beelden van After Effects en die van de Deep Dreamer elkaar konden versterken, zijn ze in de video door elkaar gemonteerd.
Toevoeging externe animaties
Om nog een extra laag aan de videobeelden toe te voegen, zijn er animaties gemaakt in TVPaint. De starende gezichten maakten de hallucinatie beangstigend en eerder negatief. Omdat hallucinaties echter ook positief kunnen zijn, besloten we extra animaties van vrolijke vormen en figuren te creëren en deze in de video te verwerken. Dit ook ter experiment omdat we op voorhand niet wisten welk effect dit op de 360° beelden zou hebben. Bij een test hebben we gemerkt dat de animaties goed werkten in het 360° geheel en ook een visuele meerwaarde boden. Omdat de animaties meer levendigheid toevoegden, is er beslist om er nog meer aan de 360° video toe te voegen.
Om het project nog te versterken zou 3D een ideale volgende stap zijn. In dat geval moeten de filmopnames in 3D gefilmd worden. Daarnaast moeten de toegevoegde animaties in 3D ontworpen worden. De combinatie van beide moet dan ook gebeuren in 3D software en niet in After Effects. Kortom, het vraagt een volledig andere en nog veel complexere benadering. Het eindresultaat zou qua beleving echter nog een stap vooruit zijn.
Ook de audio kan nog naar een volgend niveau getild worden door gebruik te maken van spatial audio. Youtube ondersteunt al spatial audio door gebruik te maken van het Ambisonics AmbiX formaat. Geluidsopnames moeten dan ook gebeuren met specifieke 3D microfoons zoals de Sennheiser Ambeo VR microfoon (Spatial Audio, z.d.).
Op inhoudelijk vlak lijkt een samenwerking met een psychiater, arts of schizofrene patiënt een mogelijke volgende stap. Zo zou dan preciezer kunnen gedefinieerd worden wat een hallucinerende patiënt precies ervaart. De VR-imitatie kan dan fijner afgestemd worden hierop.
Voor Hallucin8 kozen we niet voor onderzoek naar de technische mogelijkheden of beperkingen van de VR-camera zelf. We kozen daarentegen voor een inhoudelijke benadering. Was het mogelijk om met de beelden uit een VR-camera een hallucinatie of een schizofrene ervaring na te bootsen?
Om dit doel te bereiken bleek de postproductie al snel een sleutelrol te spelen. Er werd geëxperimenteerd en gewerkt met verschillende softwarepakketten. De video’s moesten nl. zwaar gemanipuleerd worden om het beoogde effect te bereiken.
Diezelfde postproductie is in principe ook mogelijk op gewoon 16:9 of 4:3 filmmateriaal. Om een hallucinerend effect na te bootsen is de immersieve ervaring van VR-Video, en dan zeker met een VR-bril en hoofdtelefoon, echter een enorme meerwaarde.
In Hallucin8 vormen het onderwerp, de postproductie en de VR-camera een driehoek waarbij elk element een versterking is van de twee andere. Het toont aan dat 360° video niet enkel een leuk gadget is, maar dat het ook een echte meerwaarde kan zijn in een kijkervaring.
Na het bekijken van de film met een VR-bril en hoofdtelefoon, blijkt het resultaat inderdaad desoriënterend en beangstigend. Ook het gevoel van machteloosheid om er aan te ontsnappen is aanwezig. Langs de andere kant wordt het soms iets te veel een spelletje om nog dingen te gaan ontdekken in de film.
Claerbout, D. (z.d.) Travel. Geraadpleegd op 20 januari 2017 via http://davidclaerbout.com/Travel-1996-2013
Drone Volt. (z.d.). Drone Volt Janus 360°. Geraadpleegd op 23 januari 2017 via http://www.dronevolt.com
Hallucination Help. (z.d.). Hallucination Types: Introduction to Hallucinatory States. Geraadpleegd op 20 januari 2017 via http://hallucinationhelp.blogspot.be/2013/04/hallucination-types-introducation-to.html
Luca School of Arts (z.d.). Onderzoekseenheid Inter. Geraadpleegd op 22 januari 2017 via http://www.luca-arts.be/onderzoekseenheid-inter-actions
Psychonet. (z.d). Hallucinaties. Geraadpleegd op 20 januari 2017 via https://www.psychosenet.nl/psychose/symptomen/hallucinaties/
Spatial Audio. (z.d.). Spatial Audio bij 360 graden video’s: Wat is het en hoe werkt het? Geraadpleegd op 22 januari 2017 via http://www.sounddesignonline.nl/spatial-audio-blog/
VDIP. (z.d.). Wat is een psychose. Geraadpleegd op 20 januari 2017 via http://www.vdip.be/?action=onderdeel&onderdeel=279
Viewmaster. (z.d.). David Claerbout (BE). Geraadpleegd op 20 januari 2017 via http://www.viewmaster-projects.com/portfolio/david-claerbout/
WebMD. (z.d.). What Are Hallucinations. Geraadpleegd op 20 januari 2017 via http://www.webmd.com/brain/what-are-hallucinations#1
Wikipedia. (2016). Deep Dream.Geraadpleegd op 23 januari 2017 via https://en.wikipedia.org/wiki/DeepDream
PAPER PDF PROMO VIDEO HALLUCIN8 360 VIDEO HALLUCIN8
Promo Video Hallucin8
Montage 360 Hallucin8
360 Timelapse 'Opname Studio'
