S3D & WibbleWobble

For den nysgerrige gamer
En populærvidenskabelig beskrivelse af teknologien, hvordan den er bygget op, og hvordan den virker. Hvis du ikke er interesseret, er der ingen grund til at læse det - det er tørt materiale.

Hvordan et spil tegner 3D
Den sædvanlige måde at producere et 3D billede i et spil er at gengive scenen to gange - separat for venstre og højre øje, ved virtuelt at flytte kameraet i forhold til scenens centrum. Dette er ressourcekrævende og kræver indbygget support fra spilmotoren. Langt fra alle spil kan gøre dette. WibbleWobble tilbyder to forskellige veje, og forskellen mellem dem er fundamental - den bestemmer både billedkvaliteten og sættet af billedartefakter.

Vej et: ReShade Client - syntetisering af stereo fra en flad frame
Spillet gengiver en enkelt almindelig visning. SuperDepth3D ReShade effekten tager den frame sammen med scenens dybdebuffer og rekonstruerer et andet synspunkt ud fra den ved at flytte pixels i henhold til dybden. Spilmotoren ved intet om stereo. Dette er billigt i forhold til ydeevne og virker med næsten alle DX11/DX12 spil. Prisen er de artefakter, der er iboende i selve metoden. De er beskrevet nedenfor i afsnittet "Ulemper".

Vej to: OpenVR Client - ægte 3D gengivelse
WibbleWobble registrerer sig selv i SteamVR som et virtuelt VR headset. Et VR-kompatibelt spil, eller et med en VR mod, gengiver scenen to gange fra to kameraer adskilt af den interpupillære afstand, præcis som et rigtigt headset gør. IPD, opløsning per øje og brændvidde indstilles i VR Config. Her syntetiserer WibbleWobble intet: den tager det færdige stereopar og sender det til skærmen frame-sekventielt, idet den synkroniserer lukkerbrillerne. Dette koster mere i ydeevne, men 3D geometrien er absolut korrekt. Ingen huller langs konturer, ingen "pap" effekt; hvert øje får sine egne refleksioner og højlys. I bund og grund er dette en måde at spille VR spil på en almindelig skærm med 3D briller, men uden et headset.

Reprojektion - mekanismen til udvidelse af synsfeltet
Reprojektion fungerer i begge tilstande, inklusive monokulær. En højtydende shader tager spillets frame og kortlægger den på geometrien af dit arbejdsområde: på en enkelt skærm, eller fire skærme, eller en buet skærm. Gennem hovedsporing (OpenTrack) flytter billedet sig efter dit hoved, og skærmene begynder at fungere som et vindue ind i en virtuel verden - "VR fishtank" effekten. Formålet med reprojektion er at opnå den korrekte verdensskala og det korrekte synsfelt (FOV) til brug med flere skærme. Reprojektion kan slås helt fra (Client Config -> Reprojection: Disabled), og du kan kun bruge stereo output, BFI og upscaler - det sædvanlige scenarie for en enkelt skærm.
* Det skal siges, at projektets forfatter var alt for optimistisk omkring ideen om at "udvide verden" over flere paneler. Selv kraftige grafikkort har ikke nok ydeevne til dette. Du er heldig, hvis hastigheden er nok til en enkelt 4K skærm. Det vil ikke fungere med flere skærme...

FOV (Field of View): synsvinklen. Den bestemmer, hvilken sektor af verden det virtuelle kamera fanger i billedet. Det måles i grader, separat for lodret og vandret. En lille FOV (40-50°) ligner en telelinse: en smal sektor med store objekter. En stor FOV (100-120°) er vidvinkel, som et actionkamera. Du ser meget til siderne, men kanterne er strakte, og objekter virker længere væk og mindre. Dette er en nøgleparameter i WibbleWobble. Programmet skal kende den vinkel, hvormed spillet tegnede billedet for at kunne projicere det korrekt på din fysiske skærm. Derfor har Game Config to felter, FOV Vertical og FOV Horizontal, med ét krav: værdien skal matche den, der er indstillet i selve spillet. Ændrer du én værdi, omregnes den anden automatisk for at matche vinduets billedformat.

Hvis FOV er:
for stor ser verden legetøjsagtig ud, og skalaen af objekter er forvrænget
for lav virker verden gigantisk, og alt tårner sig op over dig
i 3D bryder dybden sammen med skalaen, og der opstår anstrengelse for øjnene

Hovedsporing som et "vindue ind i verden"
Ved hjælp af OpenTrack metoden sporer applikationshandleren hovedets position og flytter projektionen, så skærmen gengiver et virtuelt vindue ind i 3D scenen. Dette skaber en parallakseeffekt. Når du bevæger dit hoved, flytter billedet sig en smule, som om du virkelig kiggede gennem et vindue.

Frame-sekventielt stereo output
Applikationen modtager frames fra spillet med en variabel hastighed, efterhånden som de bliver klar, "som de kommer." Klienten justerer derefter billedhastigheden til afspilning ved 60 Hz. Kilden til stereoparret kan være SuperDepth3D, en VR mod eller færdigt 3D indhold. WibbleWobble accepterer det i side-by-side eller checkerboard format (Client Config -> Source Format) og afkoder det i FrameBufferDecode. Renderen konverterer det derefter til en 120 Hz frame-sekventiel strøm og synkroniserer samtidig lukkerbrillerne. Følgende emittere understøttes: NVIDIA 3D Vision, Open3DOLED, DLP projektorer, 3D Ready og en hjemmelavet Arduino/VESA IR emitter.

Bekæmpelse af bevægelsesslør og overhøring
Bevægelsesslør er slør produceret af skærmen. Moderne LCD og OLED paneler holder en pixel tændt i hele frame-varigheden - sample-and-hold tilstanden. Mens pixlen forbliver tændt og fast i én position, følger øjnene instinktivt det bevægelige objekt. Som et resultat "smøres" billedet ud på selve nethinden, selvom hver enkelt frame på skærmen er perfekt skarp. Jo længere en pixel forbliver tændt, desto stærkere er smøringen. Defekten skjuler fine detaljer og forringer yderligere billedet i 3D tilstand.

For at reducere pixelens tændte tid tilbyder WibbleWobble to værktøjer:
Black Frame Insertion - indsættelse af en sort frame mellem de nyttige frames (parameteren Black Frame Insertion Interval i Client Config).
CRT Beam Simulator af Blur Busters - en shader, der efterligner afsøgningen af en CRT's elektronstråle: den slukker billedet linje for linje i stedet for som en hel frame. Det giver et bedre resultat, men er krævende for skærmen: den skal have gamma 2.2 eller 2.4, ABL/APL deaktiveret og OLED i SDR tilstand. På FALD og MiniLED paneler fungerer det dårligt på grund af bagbelysningens inerti.

Disse to tilstande må ikke aktiveres samtidigt. Ved brug af CRT Sim skal parameteren Black Frame Insertion Interval i Client Config være nul. Det er værd at understrege separat, at spillet kan køre med en lavere hastighed, end skærmen udsender frames, og programmet udfylder de manglende frames op til skærmens hastighed. Men dette er ikke generering af nye mellemliggende billeder - det er en gentagelse af færdige. Med andre ord er der ingen af den glathed, som en resamplingsmetode giver.

Overhøring er den effekt, hvor billedet beregnet til det ene øje delvist når det andet øje. Som et resultat ser beskueren dobbelte konturer eller halvgennemsigtige "spøgelser" ved siden af objekter. Dette forringer kvaliteten af 3D billedet og reducerer dybdefornemmelsen. For at bekæmpe dette er support til Black Frame Insertion og Blur Busters CRT-beam simulatoren indbygget. Til omfattende undertrykkelse af overhøring bruges en smart tilstand: spilbilledet tegnes ved 60 Hz, brillerne modtager synkronisering ved 120 Hz, og output til skærmen kører ved 240 Hz med framegentagelse.

På trods af alle dens fordele har denne metode begrænsninger, der bør nævnes separat. De stammer ikke fra nogen ufuldkommenhed i programmet, men fra det valgte driftsprincip. Det andet stereo synspunkt gengives ikke fra scenemodellen, men rekonstrueres ud fra en allerede færdig frame og et dybdekort. Hvis der ikke er data om, hvad der er skjult bag forgrundsobjekter i kilde-framen, er der intet sted at hente det fra.

Huller ved objektkanter - disokklusion
Dette er metodens primære defekt. Når programmet flytter synspunktet for det andet øje eller ved en hoveddrejning, bør en del af baggrunden, der var skjult af en forgrundsobjekts kant i kilde-framen, blive synlig. Men ingen gengav de pixels - de eksisterer fysisk ikke. Programmet har intet at udfylde hullet med, så det enten strækker kantpixlerne, hvilket producerer en "gummiagtig" smurt glorie langs konturerne, eller erstatter en "plausibel" men normalt forkert lap. Jo stærkere synspunktsforskydningen er, desto bredere er gloriebåndene. Dette er ikke en implementeringsfejl, men en begrænsning af selve metoden: du kan ikke udtrække fra et enkelt billede, hvad der er skjult bag objekter og ikke er synligt i det.

Hovedbevægelse forstærker forvrængningerne
I almindelig stereo er afstanden mellem synspunkter lille og konstant - lig med afstanden mellem pupillerne. Men med et "vindue ind i verden" bevæger hovedet sig titusinder af centimeter i forskellige retninger, så den relative synspunktsforskydning er mange gange større end den naturlige, og hullerne og smøringen vokser. Det fungerer sådan her: sid stille, og der er næsten ingen artefakter, men 3D effekten er også svag; bevæg dig meget, og effekten er der, men alt langs kanterne af objekter er smurt og flydende.

Grafikken er afhængig af dybdekortet
Programmet har brug for korrekt information om afstanden til hvert punkt i scenen. Spillet giver det ikke altid, eller ikke alt. Gennemsigtige overflader - vand, glas, røg, ild, løv - har normalt ingen detaljeret dybde, eller motoren skaber den slet ikke. Som et resultat ender objekter i den forkerte afstand: vand sidder fast det forkerte sted, røg fordobles, partikler hænger i luften forskellige steder. Oven i købet udsender ikke alle spil en kompatibel dybdebuffer overhovedet - i nogle er den inverteret, i andre er den beskyttet og kan ikke læses.

Refleksioner og højlys bryder mest sammen
Spejle, vand, våd asfalt og metal er defineret af dybden af deres egen overflade, ikke af billedet, der reflekteres i dem. Når synspunktet flyttes, driver refleksionen af sted til ved gud hvor. Hvis et højlys er "malet" på overfladen, opfører det sig ikke, som det burde i den virkelige verden. Det er netop det mest slående blanke indhold, der ser fladt og forkert ud i stereo.

Interface, sigtemiddel og HUD
To-dimensionelle elementer oven på billedet - sundhedsbjælker, menuer, sigtemidlet - tegnes i nul dybde, så efter behandling ender de i den forkerte stereoafstand. Interfacet stikker enten ind i skærmen eller hænger foran scenen. Sigtemidlet er en hovedpine i sig selv; dets dybdeposition skal næsten altid justeres manuelt.

Én frame for begge øjne
Begge øjne ser det samme billede, bare forskudt. Med ærlig stereogengivelse får hvert øje sine egne korrekte højlys, skygger og brydninger; her vil det ikke ske. På grund af dette fremstår objekter som flade lag skåret ud af krydsfiner og arrangeret efter dybde, snarere end som volumetriske legemer. På engelsk kaldes denne effekt "cardboard cutout" effekten.

Per-spil justering
Synsfeltet, dybdeområdet og konvergens indstilles manuelt for hvert spil separat. En fejl giver enten anstrengelse for øjnene på grund af overdreven konvergens, eller den forkerte skala, hvor verden ser legetøjsagtig eller gigantisk ud, eller endda omvendt dybde. Dette er en "juster og find ud af det" løsning, ikke en "installer og spil" løsning.

Latens og ujævne frames
Spillet gengiver frames ujævnt, og klienten tilpasser dem til skærmens stabile fps ved at gentage færdige frames. Gentagelsen i sig selv introducerer ingen forvrængning, men latensen mellem handling og billede akkumuleres: frameoptagelse, behandling, output. For hovedsporing mærkes enhver sådan latens som en "svæven" af scenen. Game Config har en Frame Capture Delay parameter til dette, for at justere optagelsesøjeblikket.

Resterende overhøring og høje skærmkrav
Softwareteknikker - sort frame indsættelse og 60/120/240 tilstanden - undertrykker spøgelseseffekter, men fjerner dem ikke fuldstændigt, fordi overhøring bestemmes af mange faktorer: fysikken i skærmpanelet og selve brillerne. Det afhænger af pixelresponstid, omskiftningshastighed, kontrasten i brillelinserne og skærmens lodrette opdateringshastighed. Derudover kræver den mest aggressive tilstand et hurtigt 240 Hz panel med kort pixelpersistens, hvilket ikke alle brugere har. I modsætning til NVIDIA 3D Vision gengiver ReShade ikke et færdiglavet volumen, men syntetiserer det fra en flad frame. Derfor er huller langs konturer, forkerte refleksioner og flydende kanter stabile artefakter af metoden, ikke en midlertidig mangel.

Stereo geometrien her er ærlig, og ingen af billedsyntese-artefakterne - disokklusion, "pap", ødelagte refleksioner - er til stede her. Men denne metode har sin egen pris, og den er en anden.

Spillet skal understøtte VR
Dette er den primære begrænsning. Metoden virker ikke med et vilkårligt spil: den kræver enten indbygget VR support eller en VR mod. Hvis der ikke findes en klar mod, vil OpenVR stien ikke fungere, og kun ReShade med alle dens artefakter er tilbage. Med andre ord går den brede kompatibilitet, som den første vej eksisterer for, fuldstændig tabt her.

Dobbelt belastning på grafikkortet
Scenen gengives virkelig to gange, fra to kameraer. Der er ingen af den besparelse, som reprojektion af en enkelt visning giver: ydeevnen falder ligesom i ægte VR. Dette kompenseres delvist af Resolution indstillingen i VR Config - opløsning per øje kan sænkes, og WibbleWobble vil skalere billedet op til skærmens opløsning.

Kompleks installation
SteamVR skal være installeret. Driveren registreres via Install.bat med administrator rettigheder, hvorefter to linjer skal tilføjes manuelt til config\steamvr.vrsettings filen: "forcedDriver": "WibbleWobbleVR" og "activateMultipleDrivers": "true". Udfør derefter Room Setup i STANDING ONLY tilstand. En fejl på ethvert trin, og i stedet for stereo får du en sort skærm uden en klar besked om årsagen.

Begrænsninger i OpenVR selv
Nogle indstillinger kan ikke ændres på farten. Hvis du ændrer opløsningen eller outputhastigheden, kræves en genstart af SteamVR. Dette er en platformbegrænsning, ikke en programbegrænsning, men det sænker mærkbart justeringen af spil.

Render optimering ødelægger nogle spil
VR Config har en Optimise Single Eye parameter, der tillader gengivelse af kun ét øje eller begge ved halv FOV. Projektets forfatter advarer direkte: "Both" tilstanden er den mest problematiske - vignettering og øjen-desynkronisering er mulige, og billedet kan "flytte sig." I nogle spil skal optimeringen slås helt fra.

Kamp om vinduesfokus
Nogle spil giver ikke fokus til WibbleWobble interfacet: tastkombinationen SHIFT + END affyres ikke, eller UI'et tegnes, men kan ikke styres. Du skal skifte manuelt via ALT + TAB. Et separat problem: WibbleWobble vinduet må ikke lukkes - programmet genoprettes ikke bagefter, og spillet skal genstartes.

Gencentrering ved hver opstart
Sporing skal centreres manuelt (SHIFT + .) hver gang ved opstart, placeret præcist i midten af arbejdsområdet foran skærmene. Hvis hovedet ikke var der under centrering, begynder reprojektion at opføre sig mærkeligt, og skalaen "driver." Efter forfatterens egen indrømmelse kræver det øvelse at ramme den korrekte position. Dette kan senere rettes ved at bruge mere intelligent sporingssoftware.

Særheder ved individuelle applikationer
Nogle programmer fungerer kun med bestemte mærker af headset. For dem har VR Config en Headset Identification parameter, der får WibbleWobble til at præsentere sig selv som en anden enhed - Vive, for eksempel - uden hvilken hovedsporing ikke fungerer i DEOVR. Med andre ord, kompatibilitet hviler steder på løsninger som disse.

Fælles grund med den første vej
Alt vedrørende hardwaren gælder for begge metoder: resterende overhøring, kravet om et hurtigt panel, behovet for præcis brillesynkronisering. Stereo output, emittere, BFI og CRT Sim fungerer på samme måde, uanset hvor stereoparret kom fra.