S3D & WibbleWobble

For den nysgerrige gamer
En populær beskrivelse af teknologien, hvordan den er bygget op, og hvordan den fungerer. Hvis du ikke er interesseret, behøver du ikke læse det - det er tørt materiale.

Hvordan et spil tegner 3D
Den sædvanlige måde at producere et 3D-billede i et spil er at rendre scenen to gange - separat for venstre og højre øje, hvor kameraet virtuelt forskydes i forhold til scenens centrum. Dette er ressourcekrævende og kræver indbygget support fra spilmotoren. Langt fra alle spil kan dette. WibbleWobble tilbyder to forskellige veje, og forskellen mellem dem er fundamental - den bestemmer både billedkvaliteten og sættet af billedartefakter.

Vej et: ReShade Client - syntese af stereo fra en flad ramme
Spillet renderer et enkelt almindeligt billede. SuperDepth3D ReShade-effekten tager den ramme sammen med scenens dybdebuffer og rekonstruerer et andet synspunkt ud fra den ved at forskyde pixels i forhold til dybden. Spilmotoren ved intet om stereo. Dette er billigt ydelsesmæssigt og fungerer med næsten ethvert DX11/DX12-spil. Prisen er de artefakter, der er iboende i metoden selv. De er beskrevet nedenfor i afsnittene "Ulemper".

Vej to: OpenVR Client - ægte 3D-rendering
WibbleWobble registrerer sig i SteamVR som et virtuelt VR-headset. Et VR-kompatibelt spil, eller et med et VR-mod, renderer scenen to gange fra to kameraer adskilt af den interpupillære afstand, præcis som et rigtigt headset gør. IPD, opløsning pr. øje og brændvidde indstilles i VR Config. Her syntetiserer WibbleWobble intet: det tager det færdige stereopar og sender det ud til skærmen rammesekventielt, mens det synkroniserer shutter-brillerne. Dette koster mere i ydeevne, men 3D-geometrien er fuldstændig korrekt. Ingen huller langs konturer, ingen "pap"-effekt; hvert øje får sine egne refleksioner og højdepunkter. I bund og grund er dette en måde at spille VR-spil på en almindelig skærm med 3D-briller, men uden et headset.

Reprojektion - mekanismen til udvidelse af synsfeltet
Reprojektion fungerer i begge tilstande, inklusive monokulær. En højtydende shader tager spillets ramme og mapper den onto geometrien af dit arbejdsområde: onto en enkelt skærm, eller fire skærme, eller en buet skærm. Gennem head-tracking (OpenTrack) forskydes billedet for at følge dit hoved, og skærmene begynder at fungere som et vindue ind i en virtuel verden - "VR-fisketank"-effekten. Formålet med reprojektion er at opnå den korrekte verdensskala og det korrekte synsfelt (FOV) til brug med flere skærme. Reprojektion kan slås helt fra (Client Config -> Reprojection: Disabled), og du kan bruge kun stereo-outputtet, BFI og upscaler'en - det sædvanlige scenarie for en enkelt skærm.
* Det må siges, at projektets forfatter var alt for optimistisk omkring ideen om at "udvide verden" på tværs af flere paneler. Selv kraftfulde grafikkort har ikke ydeevne nok til dette. Du er heldig, hvis hastigheden er nok til en enkelt 4K-skærm. Det vil ikke fungere med flere skærme...

FOV (Field of View): synsvinklen. Den bestemmer, hvilken sektor af verden det virtuelle kamera fanger i rammen. Den måles i grader, separat for det vertikale og det horisontale. En lille FOV (40-50°) ser ud som en telelinse: en smal sektor med store objekter. En stor FOV (100-120°) er vidvinkel, som et actionkamera. Du ser meget til siderne, men kanterne strækkes, og objekter virker fjernere og mindre. Dette er en nøgleparameter i WibbleWobble. Programmet skal kende den vinkel, som spillet tegnede rammen i, for at kunne projicere den korrekt onto din fysiske skærm. Derfor har Game Config to felter, FOV Vertical og FOV Horizontal, med ét krav: værdien skal matche den, der er indstillet i selve spillet. Ændr én værdi, og den anden genberegnes automatisk, så den matcher vinduets billedformat.

Hvis FOV er:
for stor verden ser legetøjsagtig ud, og skalaen af objekter er forvrænget
for lav verden virker gigantisk, og alt truer med at overskygge dig
i 3D bryder dybden sammen med skalaen, og øjenbelastning opstår

Head-tracking som et "vindue ind i verden"
Ved hjælp af OpenTrack-metoden sporer applikationshandleren hovedets position og forskubber projektionen, så skærmen gengiver et virtuelt vindue ind i 3D-scenen. Dette skaber en parallakseeffekt. Når du bevæger hovedet, forskubber billedet sig en smule, som om du virkelig kiggede gennem et vindue.

Frame-sekventiel stereo-output
Applikationen modtager billeder fra spillet med variabel hastighed, efterhånden som de bliver klar, "som de nu kommer." Klienten justerer derefter billedhastigheden til afspilning ved 60 Hz. Kilden til stereo-paret kan være SuperDepth3D, et VR-mod eller færdigt 3D-indhold. WibbleWobble accepterer det i side-by-side- eller skakbrætformat (Client Config -> Source Format) og afkoder det i FrameBufferDecode. Rendereren konverterer det derefter til en 120 Hz frame-sekventiel strøm, mens den synkroniserer lukkerbrillerne. Følgende emittere understøttes: NVIDIA 3D Vision, Open3DOLED, DLP-projektorer, 3D Ready og en hjemmelavet Arduino/VESA IR-emitter.

Bekæmpelse af bevægelsesslør og krydstale
Bevægelsesslør er slør produceret af skærmen. Moderne LCD- og OLED-paneler holder en pixel tændt i hele billedets varighed - sample-and-hold-tilstanden. Mens pixlen forbliver tændt og fastlåst i én position, fortsætter øjnene instinktivt med at følge det bevægende objekt. Som et resultat "smører" billedet sig på nethinden selv, selvom hvert enkelt billede på skærmen er perfekt skarpt. Jo længere en pixel forbliver tændt, jo stærkere er sløret. Defekten skjuler fine detaljer og forringer desuden billedet i 3D-tilstand.

For at reducere pixlens tændte tid tilbyder WibbleWobble to værktøjer:
Black Frame Insertion - indsættelse af et sort billede mellem de nyttige (parameteren Black Frame Insertion Interval i Client Config).
CRT Beam Simulator af Blur Busters - en shader, der efterligner svejpet fra en CRT's elektronstråle: den blanker billedet ud linje for linje i stedet for som et helt billede. Det giver et bedre resultat, men er krævende for skærmen: den kræver gamma 2.2 eller 2.4, ABL/APL deaktiveret og OLED i SDR-tilstand. På FALD- og MiniLED-paneler fungerer det dårligt på grund af bagbelysningens inerti.

Disse to tilstande må ikke aktiveres samtidig. Når du bruger CRT Sim, skal parameteren Black Frame Insertion Interval i Client Config være nul. Det er værd at understrege særskilt, at spillet kan køre med lavere hastighed, end skærmen udsender billeder, og programmet udfylder de manglende billeder op til skærmens hastighed. Men dette er ikke generering af nye mellemliggende billeder - det er en gentagelse af færdige billeder. Med andre ord er der ingen af den jævnhed, som en resampling-metode giver.

Krydstale er den effekt, hvor billedet beregnet til det ene øje delvist når det andet øje. Som et resultat ser seeren dobbelte konturer eller halvgennemsigtige "spøgelser" ved siden af objekter. Dette forringer kvaliteten af 3D-billedet og reducerer dybdefornemmelsen. For at bekæmpe dette er understøttelse af Black Frame Insertion og Blur Busters CRT-strålesimulator indbygget. Til omfattende krydstaleundertrykkelse bruges en smart tilstand: spillets billede tegnes ved 60 Hz, brillerne modtager sync ved 120 Hz, og output til skærmen kører ved 240 Hz med billedgentagelse.

På trods af alle sine fortræffeligheder har denne metode begrænsninger, som bør nævnes særskilt. De stammer ikke fra nogen ufuldkommenhed i programmet, men fra det valgte driftsprincip. Det andet stereosynspunkt gengives ikke ud fra scenemodellen, men rekonstrueres ud fra et allerede færdigt billede og et dybdekort. Hvis der ikke er data om, hvad der er skjult bag forgrundsobjekter i kildebilledet, er der ingen steder at genskabe det fra.

Huller ved objektkanter - disocclusion
Dette er metodens vigtigste defekt. Når programmet flytter synspunktet for det andet øje eller for en hoveddrejning, bør en del af baggrunden, der var skjult af et forgrundsobjekts kant i kildebilledet, blive synlig. Men ingen har gengivet disse pixels - de eksisterer fysisk ikke. Programmet har intet at udfylde hullet med, så det strækker enten kantpixels, hvilket producerer en "gummiagtig" udtværet halo langs konturerne, eller erstatter med en "plausibel", men normalt ukorrekt lap. Jo stærkere synspunktets forskydning er, jo bredere bliver halobåndene. Dette er ikke en implementeringsfejl, men en begrænsning af metoden selv: du kan ikke udtrække fra et enkelt billede, hvad der er skjult bag objekter og ikke synligt i det.

Hovedbevægelse forstærker forvrængningerne
I almindelig stereo er afstanden mellem synspunkterne lille og konstant - lig med afstanden mellem pupillerne. Men med et "vindue ind i verden" bevæger hovedet sig titusindvis af centimeter i forskellige retninger, så det relative synspunktsskift er mange gange større end det naturlige, og hullerne og udtværingen bliver større. Det fungerer sådan: sid stille, og der er næsten ingen artefakter, men 3D-effekten er også svag; bevæg dig meget, og effekten er der, men alt langs kanterne af objekter er udtværet og flydende.

Grafikken er afhængig af dybdekortet
Programmet har brug for korrekt information om afstanden til hvert punkt i scenen. Spillet leverer det ikke altid, eller ikke det hele. Gennemsigtige overflader - vand, glas, røg, ild, løv - har normalt ingen detaljeret dybde, eller motoren opretter den slet ikke. Som et resultat ender objekter i den forkerte afstand: vand sætter sig fast det forkerte sted, røg fordobles, partikler hænger i luften på forskellige steder. Oven i det udsender ikke alle spil en kompatibel dybdebuffer overhovedet - i nogle er den inverteret, i andre er den beskyttet og kan ikke læses.

Refleksioner og højdepunkter bryder mest
Spejle, vand, våd asfalt og metal er defineret af dybden af deres egen overflade, ikke af billedet, der reflekteres i dem. Når synspunktet skifter, driver refleksionen af til gud ved hvor. Hvis et højdepunkt er "malet" på overfladen, opfører det sig ikke, som det burde i den virkelige verden. Det er netop det mest iøjnefaldende blanke indhold, der ser fladt og forkert ud i stereo.

Interface, sigtekorn og HUD
Todimensionelle elementer oven på billedet - livsbjælker, menuer, sigtekornet - tegnes ved nul dybde, så efter behandling ender de i den forkerte stereodybde. Interfacet stikker enten ind i skærmen eller dingler foran scenen. Sigtekornet er et problem i sig selv; dets dybdeposition skal næsten altid justeres manuelt.

Én ramme til begge øjne
Begge øjne ser det samme billede, blot forskudt. Med ærlig stereo-rendering får hvert øje sine egne korrekte højdepunkter, skygger og brydninger; her vil det ikke ske. På grund af dette fremstår objekter som flade lag skåret ud af krydsfiner og arrangeret efter dybde, snarere end som volumetriske legemer. I engelsksproget materiale kaldes denne effekt "cardboard cutout"-effekten.

Indstilling pr. spil
Synsfeltet, dybdeområdet og konvergensen indstilles manuelt for hvert spil separat. En fejl giver enten øjenbelastning fra overdreven konvergens eller den forkerte skala, hvor verden ser legetøjsagtig eller gigantisk ud, eller endda inverteret dybde helt. Dette er en "indstil det og find ud af det"-løsning, ikke en "installer det og spil"-løsning.

Latens og ujævne rammer
Spillet renderer rammer ujævnt, og klienten tilpasser dem til skærmens stabile fps ved at gentage færdige rammer. Selve gentagelsen introducerer ingen forvrængning, men latenstiden mellem handling og billede akkumuleres: rammeoptagelse, behandling, output. For hovedsporing mærkes enhver sådan latenstid som en "flyden" af scenen. Game Config har en Frame Capture Delay-parameter til dette, for at finjustere optagelsesøjeblikket.

Residual krydstale og høje skærmkrav
Softwareteknikker - indsættelse af sorte billeder og 60/120/240-tilstanden - undertrykker ghosting, men fjerner det ikke fuldstændigt, fordi krydstale bestemmes af mange faktorer: fysikken i displaypanelet og selve brillerne. Det afhænger af pixelresponstid, skiftehastighed, kontrasten i brilleglassene og skærmens vertikale opdateringshastighed. Derudover kræver den mest aggressive tilstand et hurtigt 240 Hz-panel med kort pixelpersistens, hvilket ikke alle brugere har. I modsætning til NVIDIA 3D Vision genskaber ReShade ikke et færdiglavet volumen, men syntetiserer det ud fra en flad ramme. Derfor er huller langs konturer, forkerte refleksioner og flydende kanter stabile artefakter ved metoden, ikke en midlertidig mangel.

Den stereoskopiske geometri her er ærlig, og ingen af billedsynteseartefakterne - disocclusion, "pap", brudte refleksioner - er til stede her. Men denne metode har også sin egen pris, og det er en anden.

Spillet skal understøtte VR
Dette er den største begrænsning. Metoden fungerer ikke med et vilkårligt spil: det kræver enten indbygget VR-understøttelse eller et VR-mod. Hvis der ikke findes et færdigt mod, vil OpenVR-vejen ikke fungere, og kun ReShade med alle dets artefakter er tilbage. Med andre ord er den brede kompatibilitet, som den første vej findes for, fuldstændig tabt her.

Dobbelt belastning på grafikkortet
Scenen gengives virkelig to gange, fra to kameraer. Der er ingen af de besparelser, som reprojektion af et enkelt view giver: ydeevnen falder, ligesom den gør i rigtig VR. Dette kompenseres delvist af indstillingen Resolution i VR Config - opløsningen pr. øje kan sænkes, og WibbleWobble vil skalere billedet op til skærmens opløsning.

Kompliceret installation
SteamVR skal være installeret. Driveren registreres via Install.bat med administratorrettigheder, hvorefter to linjer manuelt skal tilføjes til filen config\steamvr.vrsettings: "forcedDriver": "WibbleWobbleVR" og "activateMultipleDrivers": "true". Gennemfør derefter Room Setup i tilstanden STANDING ONLY. En fejl ved et hvilket som helst trin, og i stedet for stereo får du en sort skærm uden en klar meddelelse om årsagen.

Begrænsninger i OpenVR selv
Nogle indstillinger kan ikke ændres undervejs. Hvis du ændrer opløsningen eller outputhastigheden, kræves en genstart af SteamVR. Dette er en platformsbegrænsning, ikke en programbegrænsning, men det forsinker mærkbart tuning af spil.

Render-optimering ødelægger nogle spil
VR Config har parameteren Optimise Single Eye, som tillader gengivelse af kun ét øje eller begge ved halvt FOV. Projektets forfatter advarer direkte: tilstanden "Both" er den mest problematiske - vignettering og øjendesynekronisering er mulig, og billedet kan "forskyde". I nogle spil skal optimeringen slås helt fra.

Kamp om vinduesfokus
Nogle spil giver ikke fokus til WibbleWobble-grænsefladen: tastekombinationen SHIFT + END udløses ikke, eller UI'et tegnes, men kan ikke styres. Du må skifte manuelt via ALT + TAB. Et særskilt problem: WibbleWobble-vinduet må ikke lukkes - programmet kommer sig ikke bagefter, og spillet skal genstartes.

Recentrering ved hver start
Tracking skal centreres manuelt (SHIFT + .) hver gang ved opstart, placeret præcist i midten af arbejdsområdet foran skærmene. Hvis hovedet ikke var der under centreringen, begynder reprojektion at opføre sig mærkeligt, og skalaen "driver." Efter forfatterens egen indrømmelse kræver det øvelse at ramme den korrekte position. Dette kan senere løses ved at bruge mere intelligent tracking-software.

Særegenheder ved individuelle applikationer
Nogle programmer fungerer kun med bestemte mærker af headset. Til dem har VR Config en Headset Identification-parameter, der får WibbleWobble til at fremstå som en anden enhed - Vive for eksempel - uden hvilken head tracking ikke fungerer i DEOVR. Med andre ord hviler kompatibilitet visse steder på workarounds som disse.

Fælles grundlag med den første vej
Alt vedrørende hardwaren gælder for begge metoder: resterende krydstale, kravet om et hurtigt panel, behovet for præcis synkronisering af brillerne. Stereo-output, emitere, BFI og CRT Sim fungerer på samme måde, uanset hvor stereoparret kom fra.