Af Palle Vibe, Alt om Data
Denne artikel er oprindeligt bragt på Alt om Data. Computerworld overtog i november 2022 Alt om Data. Du kan læse mere om overtagelsen her.
virtuelle virkelighed
Tilbage i 1990’erne var nyheden om virtual reality på alles læber, og virksomheder forsøgte ambitiøst at lancere teknologien med produkter til både spil og interaktive VR-spillekonsoller og programmer. Men hverken computerkraften, skærmteknologien eller softwaren var dengang tilstrækkelig udviklet til at give virtual reality – VR – nogen større udbredelse.
VR kræver fortsat betragtelig processorkraft og meget højopløste skærme, og den slags er endnu ikke helt billigt, men en ny analyse fra konsulentfirmaet Deloitte viser, at salget af interaktiv 3D-hardware og tilhørende software vil tage et tigerspring fremad her i 2016. Det skyldes, at gigantvirksomheder som Facebook, Google, Apple, Amazon, Microsoft, Sony, Samsung, HTC og LG har oprettet hele afdelinger specielt tilegnet de nyeste VR-teknologier. Alene Facebooks VR-afdeling har over 400 ansatte ingeniører og programmører med erfaring i computerspil.
Formålet er at introducere VR i de sociale medier (læs: Facebook) og give dig mulighed for at dele virtuelle oplevelser med andre. Andre godt 250 elektronikforetagender arbejder også intensivt med produkter til samme platform, så allerede i år vil der bliver solgt VR-produkter for over en milliard dollar på verdensplan.
Svære tekniske udfordringer
Branchen er ved at dele sig i to lejre. Det ene hold udgør de udviklere, der blot giver spil, 3D-film og programmer et lille touch af noget nyt ved at lade dig dreje hovedet og kigge dig omkring i den virtuelle verden. Men du styrer stadigvæk løjerne med keyboard, mus eller anden kendt form for controller, hvis du overhovedet kan styre noget.
Lejrens andet hold er de lidt mere visionære og ambitiøse udviklere, der med VR ser mulighed for at give dig oplevelser, du ikke har set magen til før. For disse udviklere er det kun en gevinst, at VR stadig er så uudforsket, for så ligger vejen åben for at lancere helt nyskabende ideer og teknologiske fornyelser.
Til gengæld kræver rendyrket VR både sin hardware og software. Ikke bare skal du kunne betragte og høre de computerskabte scenerier, for skal du have en fornemmelse af ”presence” – altså af at være til stede selv – skal du opleve den kunstige virkelighed med alle dine sanser. Og det stiller gevaldige udfordringer til såvel hardwareproducenter som VR-programmører.
Hjelm eller briller
Da du primært oplever computerskabt virkelighed gennem dine øjne og ører, kan du anvende enten HMD-hjelm (Head Mounted Display), der rummer skærme og lydgivere og omslutter hele dit hoved, eller et par særlige briller samt hovedtelefoner.
Den nok mest kendte HMD-hjelm er Oculus Rift, der i øvrigt blev købt af Facebook i 2014 for to milliarder dollar. Den er let og opdaterer skærmbilledet forholdsvis hurtigt, når du kigger dig omkring.
En alvorlig konkurrent er den nye taiwanske hjelm HTC Vive, der er udviklet i samarbejde med spilproducenten Valve. Vive omfatter to sensorer (en slags ”fyrtårne”, som du kender fra robotstøvsugere), der tracker enhver bevægelse, du gør. De kan bruges til at afstikke rummets størrelse, så du ikke løber ind i en væg eller en dør under spillet. Med hjelmen følger desuden to trådløse controllere, som du tager i hånden, og som herefter fungerer som virtuelle hænder.
De vaskbare Manus-handsker leveres som et udviklersæt inklusive en USB-dongle, en vibrator til berøringseffekter og to håndledsholdere til HTC-controllerne.
I bund og grund er HMD-hjelme baseret på teknik fra mobiltelefoner, der jo nærmest på én gang forærer dig både superdetaljerede displays og bevægelsessensorer og har samme kræfter som en 20 år gammel supercomputer. Mange producenter udvikler derfor VR-løsninger, der baserer sig på smartphones, som du placerer foran dine øjne i en speciel brille. Et eksempel er Samsungs VR-brille Gear VR, der dog kun fungerer med producentens egne dyreste smartphones.
Et billigt alternativ er Google Cardboard, der som navnet siger, er en smartphonebrille fremstillet af pap og to plastiklinser (spil-appen splitter selv billedet op i to) og derfor er relativt billig. Også start-up virksomheden Fove har netop lanceret et par VR-briller, der tracker dine øjenbevægelser og fokuserer det, du kigger på, og lader resten stå uskarpt for at spare på processor-kræfterne.
PlayStation VR fra Sony er også et bud på et populært VR-produkt, der dog alene fungerer sammen med Sonys egen spillekonsol frem for en computer. Alligevel er der nu solgt næsten 40 millioner af dem.
Som at være der selv
VR stiller også forrygende krav til softwaren. Spildesignerne har derfor med tiden fundet frem til mange grafiske fif, der letter processorernes anstrengelser. Eksempelvis kan bjerge tegnes som flad grafik i to dimensioner, men de kan alligevel med særlig lyssætning og skygger komme til at fremstå særdeles overbevisende. Men der er også andre udfordringer. Hvis spilleren i et fantasy-spil skal tænde en fakkel, er det afgørende, at afstanden til bålet er realistisk, ligesom det skal tage en vis tid for faklen at blusse op. Hvis du ikke oplever, at disse forhold er troværdige, vil du meget hurtigt tabe interessen og troen på, at det virkelig sker. Spillet kommer simpelthen til at mangle såkaldt ”presence”, dvs. fornemmelsen af at være til stede selv.
Der er naturligvis stor forskel på at opleve et VR-spil derhjem-me iført briller eller hjelm og to joysticks i hænderne og besøge nogle af de professionelle forlystelser, hvor du går ind i specialbyggede rum forsynet med flytbare vægge, falske trapper og forskellige fysiske objekter, som du kan berøre og interagere med. Men også her råder begrænsninger. Derfor må programmører til profesionelle VR-spil også tænke opfindsomt, når det gælder om at få dine sanser til opleve og opfatte alle dine VR-oplevelser som reelle, sevom de ikke sker i virkeligheden af praktiske og sikkerhedsmæssige hensyn.
Ocolus Rift, der nu er købt af Facebook, var blandt de første på banen med en HMD-hjelm.Alle VR-rum har begrænset størrelse, men for at få dig til at tro, at du kan gå milelangt på vej mod nye oplevelser, er løsningen såkaldt ” redirected walking.” Det vil sige, at spillet giver indtryk af at dreje omkring mere eller mindre, end du tror, og på den måde bliver du ”lokket” til at bevæge dig helt andre retninger, end dem du oplever. Et beslægtet trick kaldes ”redirected touching” og består i, at et spil måske viser dig tre kasser på en hylde. I virkeligheden indeholder spilrummet kun én kasse, og uanset hvilken af de tre virtuelle kasser, du rækker ud efter, vil spillet få dig til at tage den eneste fysiske kasse i rummet. Stiller du den tilbage og i stedet vælger en af de to andre virtuelle kasser, vil spillet stadig lade dig tage den samme enlige fysiske kasse.
På samme måde kan trapper opleves endeløse, hvis de to eneste virkelige trin bare skiftes til at bevæge sig op og ned. Eller du kan falde igennem et råddent trægulv til etagen nedenunder og se faldet, høre plankerne knække og mærke suset og ryk i din krop. I virkeligheden falder gulvhøjden blot måske 25-30 cm, men den rigtige påvirkning af alle dine sanser sikrer, at oplevelsen føles chokerende virkelig.
Google Cardboard er en smart-phonebrille af pap og er derfor relativt billig.Virtual reality med stort potentiale
Dansk VR-dragt
Det danske firma Rokoko har udviklet en effektiv motion capture-dragt, der gør det muligt for enhver at færdes med både krop og bevægelser i en virtual reality-verden. Dragten er forsynet med bevægelsessensorer, der registrerer alle dine bevægelser, når du har den på, og sender dem direkte videre til computeren i digital form. På den måde kan du selv være de computerskabte figurer.
Samarbejde om VR-rutsjebaner
Den amerikanske forlystelseskæde Six Flags lancerer snart ni VR-forlystelser over hele USA, og lignende VR-forlystelser i 3D er i støbeskeen mange andre steder i verden. Alton Towers i Storbritannien har netop åbnet Galactica VR-rutsjebanen, der også bruger Samsungs Gear headsets, mens Thorpe Park, der huserer i England har planer om et spøgelses-tog med HTC Vive-headsettet som kanal til VR-rædsler.
Mest voldsomme forlystelse
En af de nyeste og mest forrygende VR-forlystelser hedder Void og ligger i Utah. Når du har iført dig en særlig trådløs hjelm, en haptisk vest og særlige handsker, bliver du sluppet løs i et virtuelt univers, hvor du føres langsomt og årvågent frem gennem gange, der føles endeløse, og du må forsvare dig med virtuelle våben mod onde kræfter. De forskellige virtuelle spiluniverser skifter hver tredje måned.
Operationer på afstand
Operationer, der bliver streamet live og fulgt gennem HMD-hjelme, kan være første skridt mod virtuelle operationsstuer og virtuelle operationer som led i uddannelsen af kommende kirurger. Et 360 graders 4K-kamera over operationsbordet, der streamer alt, hvad det optager som VR, er tilstrækkeligt.
Ikke en ny opfindelse
Tilbage i 1950’erne opstod en 3D-bølge, hvor både biograffilm og billeder i bøger fik dybde gennem to forskudte billeder set gennem 2-farvede briller. Men i 1962 patenterede sceneteknikeren Morton Leonard Heilig en indretning, han kaldte Sensorama, der bestod af et motoriseret sæde, som du sad på med hovedet omgivet af en skærm og med hænderne på to håndtag. Imens så du f.eks. en 3D-farvefilm af en motorcykeltur set fra styret. Håndtagene vibrerede, og sædet rystede, mens der lød motorlarm fra stereohøjttalere. Bag skærmen sad også vifter, der blæste vind i hovedet på dig, og der blev udsendt lugte. Der blev dog kun lavet fem korte Sensorama-film, for de var dyre og omstændelige.
Arkadespil i 3D
Indtil 1990’erne fremkom forskellige 3D-arkademaskiner med vektorgrafik. Spillet Battlezone fra 1980 brugte vektorgrafik i 3D for at give en tidlig VR-oplevelse, og selve betegnelsen ”virtual reality” blev gjort udbredt af Jaron Lanier, der stiftede firmaet VPL Research i 1985 og udviklede VR-enheder som Data Glove, the Eye Phone og Audio Sphere.
Ingen af disse enheder vandt dog synderlig popularitet. Ikke mindst fordi det nødvendige udstyr var ekstremt dyrt dengang, og computerteknikken endnu ikke levede op til opgaven.
Fylder din dagligstue med hologrammer
Hidtil har Microsoft ikke haft meget held med at få udviklere til at udnytte firmaets Kinect-sensor på en måde, der for alvor har begejstret spilpublikummet. Men måske sker der noget med deres trådløse briller HoloLens, der ligesom Google Glass projicerer billeder ind på brillen, men blot i et meget større synsområde og med tilhørende software, der skaber hologrammer lige for øjene af dig. Brillerne er spækket med indbyggede sensorer og processorer for at frembringe de ønskede oplevelser.
Lovende ny MR-teknologi
Iværksætterfirmaet Magic Leap fra Florida er klar med en ny displayteknologi, der skulle eliminere alle de gener og problemer, der hidtil har været med VR-gengivelse. Alt træder frem direkte foran dine øjne, og du kan både interagere og manipulere med tilføjet MR-grafik. Firmaet har endnu ikke afsløret ret meget ud over, at der bruges optiske chips, der projekterer digitale 3D-billeder direkte ind i øjet med teknologien Dynamic Digitized Lightfield Signal. Fornemmelsen af presence er angiveligt fantastisk, fordi øjet vitterligt oplever at fokusere som i virkeligheden.
Magic Leaps viser teknologien i demovideoer – for eksempel http://www.wired.com/2016/04/magic-leap-vr og https://www.youtube.com/watch?v=y6meC-GHD0w.
VR spiller på alle sanser
Ideelt set skal overbevisende VR omfatte alle sanseindtryk
Synet
Udfordring:
Dit syn er tredimensionelt, dit synsfelt er 180 grader, og dine øjne stiller skarpt på det, du betragter. Samtidig kan du dreje øjnene og fokusere på hvad som helst på et splitsekund.
Teknisk løsning:
Små billedskærme direkte foran øjnene, og takket være smartphones-industriens ihærdige udvikling er små displays i dag både skarpe og hurtige. De nyeste HMD-displays hævder at have en responstid på omkring 20 ms og en opdateringsfrekvens på 120 Hz, og disse værdier undergår løbende forbedring.
Hørelsen
Udfordring:
Lyden i mange simulatorspil og 3D-film er som oftest bare stereo og i bedste fald surround. Men hvor både stereo- og surroundlyd forbliver låst til billedet, kræver VR-lyd, at lyden flytter sig. Både med dig (hvis du bevæger dig) og i forhold til dig (hvis lydkilden bevæger sig).
Teknisk løsning:
En meget brugt metode er at knytte lyd og objekter sammen, så lyden følger naturligt med objektet og kan synkroniseres med dine hovedbevægelser, så lyden også ændrer karakter alt efter dit hoveds retning. Ægte 3D-lyd eller binaural lyd, der snyder hjernen til at registrere både afstand og retning af lyd rundt om hele dit hoved, er også en mulighed og kan også opleves gennem almindelige stereohovedtelefoner (du hører binauralt med blot to ører).
Følesansen
Udfordring:
Man skal kunne mærke omgivelserne og alle de stød, udfald og berøringer, som den virtuelle verden kan udsætte dig for på hele kroppen. Nogle gange skal flere følefornemmelser i brug samtidig (som hvis du løber og kan mærke både underlaget og vinden i dit ansigt).
Teknisk løsning:
Der er lanceret både veste, masker, handsker og andet kropsbåret udstyr med indbyggede aktuatorer, der kan få dig til at mærke alt fra det blødeste strejf til de hårdeste slag og stød. Det er ligeledes muligt at give oplevelse af varme og kulde eller endog et elektrisk rap. Denne haptiske teknologi virker både, når du selv berører, og når du mærker fysisk berøring (force feedback). Oplevelsen af blæst eller fartvind kan relativ let etableres med vifter.
Lugtesansen
Udfordring:
Forskere har også længe været klar over, at en ikke uvæsentlig del af presence-fornemmelsen skabes af lugte som eksempelvis røg fra et bål eller duften af en skovbund. Det kan godt være, du ikke registrerer alle disse dufte bevidst, men hvis de ikke er der, vil du føle, at der mangler noget.
Teknisk løsning:
Det kan godt lade sig gøre at fremstille kunstige dufte og sprede dem ud i rummet, men efterspørgslen har endnu ikke retfærdiggjort intensiv udvikling og forbedring af specielle dufteffekter. Ikke desto mindre arbejder nogle firmaer på anordninger, der også tilføjer denne dimension.
3 typer virtuel virkelighed
1 Virtual Reality
Virtual Reality eller VR (”tæt-på-virkelighed”) er computerskabte eller videofilmede omgivelser, der typisk virker så realistiske, at du som bruger normalt ikke vil kunne skelne oplevelsen fra den ”virkelige” virkelighed. VR opleves primært gennem særlige briller eller en særlig omsluttende hjelm samt hovedtelefoner og kan enten udgøre en helt anderledes verden (som typisk et VR-spil) eller et realistisk miljø (til typisk brug for simulatorer, træning og øvelse). Supplerende sansefornemmelser som berøringer, lugte, blæst osv. vil yderligere kunne forstærke indtrykket af en ægte verden.
VR er glimrende til træning og uddannelse af soldater og andet mandskab under realistiske omgivelser.Ud over spil, underholdning og oplevelser er VR et stærkt værktøj i trænings- og uddannelsessammenhæng. Med VR er det muligt at indøve forløb i virkelighedslignende omgivelser uden risiko for at skade personer eller materiel. Faldskærmssoldater og kamppiloter har brugt VR-simulatorer i årevis, og også skibsbesætninger, brandfolk, reddere og politi samt læger og kirurger kan have fordel af VR i uddannelse og træning. VR kan også skabe virtuelle kopier af fortidsminder, kendte bygninger og skønne landskaber, som ellers ville være lukket for offentligheden af sikkerhedsgrunde, og det kan formidle ægte virkelighed, hvor du oplever koncerter, sportsstævner og andre store begivenheder, som om du var der selv.
2 Augmented Reality
Augmented Reality eller AR (”forbedret virkelighed”) lægger computerskabte elementer som video, grafik, lyd eller info-data ind oven på dine omgivelser, og du ser resultatet på en computerskærm, tablet eller smartphone eller gennem særlige briller. Udbredt er også betragtning via headup-displays (HUD’er). AR-briller forudsætter halvgennemsigtige displays, så du både kan se computergrafikken og dine omgivlser. Imidlertid mangler AR som regel den tredimensionelle VR-kvalitet, der gør, at du oplever computerelementerne, som var de virkeligt til stede i omgivlserne.
Både AR og MR kan anvendes af arkitekter og designere, der kan se, hvordan deres ideer virker, før de føres ud i livet.3 Mixed Reality
Mixed Reality eller MR (”blandet virkelighed”) blander VR og AR ved at lægge computerskabt 3D-grafik ind over din reelle virkelighed. Du kan betragte denne 3D-grafik fra alle sider og interagere, som var de tilføjede objekter virkeligt til stede i din verden. Ligger der for eksempel en bold under dit bord, kan du ikke se den, før du bøjer dig ned under bordpladen. Du ser de computertilføjede elementer i det rette størrelsesforhold, og oplevelsen af dem ændrer sig helt naturligt i takt med, at du flytter hovedet og kigger om bagved dem. I modsætning til AR kan MR også bearbejde virkeligheden og opnå forbavsende effekter. Teknologien er imidlertid langt fra færdig og bruges foreløbig mest professionelt og industrielt til at vurdere nye designs funktioner som interaktiv grafik i realistiske omgivelser.
Hvis du en dag ser en brochure med underlige sekskantede symboler, er det måske Canons nye MREAL-system. Symbolerne bliver til både tekst og tredimensionelle illustrationer.