Special DLSS 5 im Detail: Drei KI-Modellen auf einer Geforce-Grafikkarte

[RX480]

Das ist nun wirklich nur Dummenfang, das man im Schatten per "lichtverbesserung" die Details zurückholt.
Deswegen ja die Forderung nach guter/normaler Beleuchtung für Bild-Vergleiche.

zum Bsp. die Scans zu UE5 gefallen mir auch ohne DLSS5 Lichtverbesserungs-Tricksereien

 

[blautemple]

zeig mir in gut beleuchten Szenen die Wände mit/ohne

Ich habe nicht die geringste Ahnung was der Satz aussagen soll

 

[lateLex]

Das ist nun wirklich nur Dummenfang, das man im Schatten Details zurückholt.
Deswegen ja die Forderung nach guter/normaler Beleuchtung.

Bsp. sind die Scans zu UE5

Okay, das darfst Du gerne so sehen. Es wird dir frei stehen, DLSS 5 nicht zu nutzen und darauf zu warten, bis die GPUs genug Rohleistung haben, um physikalisch korrektere Grafik in Echtzeit zu berechnen.

Allerdings vermute ich stark, dass das nie passieren wird. Echtzeit-Computergrafik wird vollständig auf Neuronales Rendern umschwenken und "gute/normale Beleuchtung" (also Pathtracing?) wird irgendwo tief unten als Grundlage für das NR in der Renderpipeline verschwinden oder ganz weg fallen.

 

[Malotte]

Also ich sag mal so...wenn DLSS 5 kommt und die Grafik in unterstützten Spielen für meinen Geschmack verbessert wird, spricht doch nichts dagegen!
Solange man zwischen an/aus oder wie auch immer wählen kann, begrüße ich es.

Und wenn es dann noch entsprechend optimiert ist, dass es zumindest erstmal auf jeder 5000er Karte läuft - perfekt.

Schade nur, dass es wieder Nvidia ist, die ein "neues Feature" für ihre Karten herausbringen.

 

[lateLex]

zum Bsp. die Scans zu UE5 gefallen mir auch ohne DLSS5 Lichtverbesserungs-Tricksereien

Ja, mir auch! Aber ich sehe auf den ersten Blick etliche Fehler in der zu groben Schattendarstellungen und die Schatten in den feinen Strukturen (Selbstverschattung) sind vermutlich nicht dynamisch.
Außerdem müsste man ein DLSS 5 Bild daneben legen, um praktisch auf dem Silberteller präsentiert zu bekommen, was an dieser Szene physikalisch sonst noch alles nicht stimmt. Z.b. scheinen mir sämtliche Farbwerte nicht ganz passend zu sein.
Ich muss ja nicht genau aufschlüsseln können, was nicht passt, um als physikalisches Wesen einen Wow-Effekt zu haben, wenn das Ganze dann noch mal einen grafischen Sprung macht.

 

[Promethea]

Im Grunde kann man sagen, dass DLSS 5 einen Paradigmenwechsel darstellt. Es ist nun möglich, mit viel weniger Aufwand Photorealismus zu erreichen als mit aufwendiger manueller Berechnung mit Pathtracing etc. Ich denke, darauf wird es über kurz oder lang hinauslaufen. Pathtracing wird da aber wahrscheinlich als Basis für die Ground Truth noch im Hintergrund irgendwo notwendig sein, aber das Rendern des Spiels wird dann größtenteils auf DLSS 5 Neural Rendering hinauslaufen. So meine gewagte These, die ich aber wahrscheinlich halte. Die großen Performance-Sprünge bei Raster sind mausetot. Raster ist mausetot. Pathtracing hat noch Reserven, aber wir haben ja jetzt quasi die Abkürzung gefunden. Interessante Entwicklung.

 

[RX480]

Ja, mir auch! Aber ich sehe auf den ersten Blick etliche Fehler in der zu groben Schattendarstellungen und die Schatten in den feinen Strukturen (Selbstverschattung) ist vermutlich nicht dynamisch.

Meinst Du jetzt die linke Seite, die Schatten liegt?
Die hat natürlich kein /wenig AO.

Ich hatte beim Schnappschuss evtl. auch nicht UltraSchatten an, müsste ich mal nachschauen.
Meistens spiel ich mit meiner kleinen Graka nur High.

 

[lateLex]

Meinst Du jetzt die linke Seite, die Schatten liegt?
Die hat natürlich kein /wenig AO.

Nein, ich meine z.B. den fetten Blumenkübel mit diesen sternförmigen Blumen. Da werfen nur die Stile so halb einen Schatten. Die Kronen hingegen gar nicht. Ähnlich sieht das bei den Schatten der Stuhllehnen oder dieses Metallzaunes aus. Die sind teils unterbrochen, zu pixelig oder fangen irgendwo im Nichts an. Manche Dinge werfen auch einfach gar keinen Schatten, wie die Bettlaken links. Und die Laterne an der linken Hauswand erzeugt keine Umgebungsverdeckung. Die sieht aus wie ein Fremdkörper.

Diese Liste könnte man endlos fortsetzen.

Man könnte jetzt einwenden, dass man das im Spiel ja gar nicht sieht. Da würde ich widersprechen. Ich sehe in solchen Fällen nach und nach immer mehr Fehler und kann sie dann nicht mehr ungesehen machen. Schlecht für die Immersion.

Dazu kommen eben die Farbwerte, die irgendwie off wirken.

 

[RX480]

Ich sehe in solchen Fällen nach und nach immer mehr Fehler und kann sie dann nicht mehr ungesehen machen. Schlecht für die Immersion.

Da trübt Deine zuviel Sachkenntnis tatsächlich langsam den Spass.
Mein Beileid!

 

[OmasHighendPC]

Diese Diskussion wird nie enden. Sie erinnert an die Verteufelung von manchen neuen Erungenschafen, z.B. der Eisenbahn im 19. Jahrhundert, oder an die Ablehnung der CD in den 80er Jahren bzw. der Digitalisierung der Musik generell (in gewissen Kreisen soll ja 'Analog' noch heute das Ein und Alles sein im Hifi Bereich). Ist doch klar, dass die neuen Techniken (DLSS, Neural Rendering usw.) sich in naher Zukunft immer mehr verbessern werden, (fast) bis zur Perfektion (wie die Entwicklung der D/A Wandler in den letzen Jahrzehnten). Für die Freunde des mehr 'künstlerischen, menschlichen, kreativen, nativen, ursprünglichen usw.' Ausdrucks in der Spielegrafik wird es gewiss immer wieder neue Games geben, welche sich von der 'fotorealistischen Grafik' bewusst abgrenzen werden. Am Ende wird es wohl (auch) eine Frage des Geschmacks sein, aber auch irgendwie eine philosophische Frage, inwieweit man sich auf die neuen Techniken einlassen mag oder nicht.

 

[lateLex]

Sehr gute Analogie.

Vielen Dank, stammt im Grunde aber nicht von mir. Es wird immer wieder mal kritisiert - auch von der Fachpresse, dass Nvidia unter anderem DLSS 5 eben in das DLSS Feature Set einordnet. Das Gleiche gilt für Framegen, usw.
Dabei ist das ja tatsächlich alles Upsampling (holistisches Upsampling), wenn man sich weit genug zurück lehnt (abstrahiert) und von Nvidia imho ganz richtig klassifiziert.

Ob man nun fehlende Pixel im Raum (SR), fehlende Frames in der Zeit (FG), fehlende Strahlen-Informationen beim Licht (RR) oder fehlende Materialdetails bei der Oberflächenphysik von Licht (DLSS 5) auffüllt - in jedem Fall wird "upgesampelt".

 

[Graphiccarsten]

Ob man nun fehlende Pixel im Raum (SR), fehlende Frames in der Zeit (FG), fehlende Strahlen-Informationen beim Licht (RR) oder fehlende Materialdetails bei der Oberflächenphysik von Licht (DLSS 5) auffüllt - in jedem Fall wird "upgesampelt".

Ja, seh ich ganz ähnlich. Die Kritik am Namen war im Grunde unberechtigt. Spätestens seit Frame Generation rein über ein KI-Modell läuft und der OFA Geschichte ist, macht das Ganze noch mehr Sinn.
Es grenzt sich auch stark vom "Erfinden" von Inhalten ab.

Unterm Strich sparst du dir die teure Berechnung und die KI macht aus wenig Input eben den maximalen Output. Das Prinzip wird sich auch in Zukunft noch beschleunigen, wenn (und jetzt spekuliere ich) neural rendering dem "KI-Upscaling" unter die Arme greift, indem es in niedrigen Auflösungen mit fortschrittlicher radiance demodulation mithilefe der Engine die mathematische Komponenten noch deutlich sauberer voneinander abtrennt.

Wir können mit noch krasser abgesenkten Grundauflösungen arbeiten, ohne dass das Bild im Pixelmatsch kollabiert. Und am Schluss der ganzen Entwicklung steht das "Ende" von Auflösungen und der Beginn der reinen Vektordaten bzw. Geometrie die an die KI geliefert werden. Die Ausgabeauflösung wäre dann beliebig.

Anderes Thema, erinnert du dich noch an Vektormonitore? Naja, am Ende wird zur Übertragung des Signals auf den Monitor wahrscheinlich noch lange Zeit ein Pixelraster von Nöten sein.

 

[dudellino]

Das ist technisch sowas von falsch. Wow. Path Tracing ist kein "Marketingbegriff für mehr Strahlen", sondern ein fundamental anderer Rendering-Algorithmus.

Klassisches Raytracing in Spielen arbeitet fast immer hybrid: Das Bild wird weiterhin per Rasterization berechnet, Raytracing kommt nur punktuell für einzelne Effekte dazu – etwa Spiegelungen, Schatten oder Ambient Occlusion. Diese Effekte laufen separat und werden am Ende wie Photoshop-Ebenen über das Rasterization-Bild gelegt.

Path Tracing wirft die Rasterization dagegen komplett über Bord: Das gesamte Bild wird ausschließlich durch Lichtstrahlen berechnet, die von der Kamera aus über mehrere Bounces durch die Szene wandern. Aus Tausenden solcher Pfade pro Pixel entstehen automatisch korrekte indirekte Beleuchtung, Spiegelungen, weiche Schatten und Farbübertragung – alles aus einem einzigen, einheitlichen Algorithmus.

Die Unterscheidung ist so nicht ganz korrekt. Raytracing bezeichnet grundsätzlich die Verfolgung von Strahlen durch eine Szene. Von der Kamera aus werden Strahlen ausgesendet, die bei Treffern weitere Strahlen für diffuse oder spiegelnde Reflexionen sowie für Refraktion erzeugen können. Dadurch entsteht pro Primärstrahl ein Baum aus weiteren Strahlen. An jedem Knoten dieses Baums muss ein Integral über die möglichen einfallenden Lichtbeiträge gelöst werden, was beispielsweise durch Sampling oder Monte-Carlo-Verfahren angenähert werden kann.

Pathtracing ist eine spezielle Form des Raytracings. Statt den gesamten Strahlenbaum auszuwerten, wird mithilfe eines Monte-Carlo-Verfahrens jeweils nur ein zufällig ausgewählter Pfad verfolgt. Daher stammt auch der Name Pathtracing. Über viele Samples wird damit das Integral der BRDF angenähert.

Die meisten Raytracer und Pathtracer in Echtzeitanwendungen sind hybride Renderer. Dabei wird die primäre Sichtbarkeit häufig weiterhin effizient durch Rasterisierung bestimmt. Raytracing oder Pathtracing wird anschliessend auf die sichtbaren Fragmente angewendet, um beispielsweise Reflexionen, Refraktion, Schatten oder indirekte Beleuchtung zu berechnen. Bei einem vollständig raybasierten Pathtracer werden dagegen auch die Primärstrahlen direkt von der Kamera aus verfolgt.

 

[Promethea]

Die Unterscheidung ist so nicht ganz korrekt. Raytracing bezeichnet grundsätzlich die Verfolgung von Strahlen durch eine Szene. Von der Kamera aus werden Strahlen ausgesendet, die bei Treffern weitere Strahlen für diffuse oder spiegelnde Reflexionen sowie für Refraktion erzeugen können. Dadurch entsteht pro Primärstrahl ein Baum aus weiteren Strahlen. An jedem Knoten dieses Baums muss ein Integral über die möglichen einfallenden Lichtbeiträge gelöst werden, was beispielsweise durch Sampling oder Monte-Carlo-Verfahren angenähert werden kann.

Pathtracing ist eine spezielle Form des Raytracings. Statt den gesamten Strahlenbaum auszuwerten, wird mithilfe eines Monte-Carlo-Verfahrens jeweils nur ein zufällig ausgewählter Pfad verfolgt. Daher stammt auch der Name Pathtracing. Über viele Samples wird damit das Integral der BRDF angenähert.

Klar, im Lehrbuch steht Pathtracing unter dem Raytracing-Dach. Aber für die Praxis, also für Echtzeit-Engines, ist diese Einordnung ziemlich irrelevant. Whitted-Style-Raytracing und Pathtracing sind algorithmisch zwei komplett unterschiedliche Ansätze: Der eine folgt einem deterministischen Strahlenbaum mit festen Pfaden, festen Regeln und einzelnen Effekten. Der andere schießt zig Strahlen pro Pixel zufällig in alle Richtungen und nähert das Integral per Monte Carlo an. Das ist kein „Spezialfall", das ist ein anderer Ansatz.

Die meisten Raytracer und Pathtracer in Echtzeitanwendungen sind hybride Renderer. Dabei wird die primäre Sichtbarkeit häufig weiterhin effizient durch Rasterisierung bestimmt. Raytracing oder Pathtracing wird anschliessend auf die sichtbaren Fragmente angewendet, um beispielsweise Reflexionen, Refraktion, Schatten oder indirekte Beleuchtung zu berechnen. Bei einem vollständig raybasierten Pathtracer werden dagegen auch die Primärstrahlen direkt von der Kamera aus verfolgt.

Als ich gesagt habe, Pathtracing „wirft die Rasterisierung komplett über Bord", hatte ich die Zorah-Demo im Kopf. Die läuft tatsächlich komplett ohne Raster, nur über Primärstrahlen und Mega Geometry. Ich habe das dann aber pauschal auf alle Pathtracing-Titel übertragen, und das war nicht korrekt. Cyberpunk Overdrive, Alan Wake 2, die laufen alle mit Rasterbasis für die primäre Sichtbarkeit. Mein Fehler.

Aber der Kern bleibt: Wenn jemand behauptet, Pathtracing sei „nur ein Werbebegriff für mehr Strahlen", dann ist das einfach falsch.

Beim klassischen Whitted-Style-Raytracing folgt jeder Strahl einem festen, vorhersehbaren Pfad: Reflexion hier, Brechung da, Schatten obendrauf, alles in getrennten Passes. Pathtracing schießt dagegen zig Strahlen pro Pixel zufällig in alle Richtungen, und aus dem Rauschen rekonstruiert die Engine per Monte Carlo den kompletten Lichttransport. Das ist ein fundamental anderer Algorithmus, nicht nur „mehr Strahlen". ^^

 

[Graphiccarsten]

Ist halt davon abhängig aus welchem Blickwinkel man es betrachtet. Aus Sicht des Spielers, der Engine oder noch besser - dem ursprünglichen Kontext angenähert - der Beleuchtungspipeline in Spiel ABZ, ist der praktische Unterschied in der Implementierung fundamental. Die Spiele werden nicht ohne Grund als Pathtracing-Games bezeichnet. Man könnte es auch weiterhin als hybrides Pathtracing benamsen.

Aber der Kern bleibt: Wenn jemand behauptet, Pathtracing sei „nur ein Werbebegriff für mehr Strahlen", dann ist das einfach falsch.

Sicher, diesen Kern wollte dudellino auch nicht in Frage stellen.

 

[dudellino]

Klar, im Lehrbuch steht Pathtracing unter dem Raytracing-Dach. Aber für die Praxis, also für Echtzeit-Engines, ist diese Einordnung ziemlich irrelevant. Whitted-Style-Raytracing und Pathtracing sind algorithmisch zwei komplett unterschiedliche Ansätze: Der eine folgt einem deterministischen Strahlenbaum mit festen Pfaden, festen Regeln und einzelnen Effekten. Der andere schießt zig Strahlen pro Pixel zufällig in alle Richtungen und nähert das Integral per Monte Carlo an. Das ist kein „Spezialfall", das ist ein anderer Ansatz.

Da widerspreche ich dir. Ich habe selbst einen deterministischen Raytracer, einen Monte Carlo Raytracer und einen Pathtracer implementiert. Die grundlegende Raytracing Struktur ist bei allen gleich. Strahlen werden verfolgt, mit Geometrie geschnitten und an Oberflächen ausgewertet.

Whitted Style Raytracing verfolgt Sekundärstrahlen typischerweise nur für perfekte Reflexion und Brechung. Diffuse Beleuchtung bleibt lokal. Ein deterministischer Raytracer mit diffuser Reflexion verfolgt zusätzlich diffuse Sekundärstrahlen nach einem festen Abtastungsmuster. Monte Carlo Raytracing und Pathtracing wählen diese Richtungen dagegen stochastisch.

Der zentrale Unterschied liegt damit im Integrator und im Sampling, nicht darin, dass Pathtracing ein völlig anderer Ansatz wäre. Auch die Rekursion ist kein grundlegendes Merkmal. Ein Pathtracer lässt sich sehr natürlich als Schleife über die Bounces implementieren, was auf GPUs oft günstiger ist.

Auf der CPU kann ein gezielterer Monte Carlo Integrator je nach Sampling weniger Varianz erzeugen und dadurch schneller konvergieren als ein Pathtracer, der auch Pfade ohne relevanten Beitrag verfolgt. Pathtracing ist deshalb kein grundsätzlich anderer Ansatz, sondern eine Monte Carlo Methode innerhalb des Raytracings.

 

[Promethea]

Da widerspreche ich dir. Ich habe selbst einen deterministischen Raytracer, einen Monte Carlo Raytracer und einen Pathtracer implementiert. Die grundlegende Raytracing Struktur ist bei allen gleich. Strahlen werden verfolgt, mit Geometrie geschnitten und an Oberflächen ausgewertet.

Dass du alle drei selbst implementiert hast, respektiere ich, da hast du mir was voraus. ^^ Und klar, das Skelett ist überall dasselbe: Strahl raus, Schnitttest, Shading am Treffpunkt. Das bestreitet ja auch keiner. Nur sagt der Schnitttest eben nichts darüber aus, was der Renderer am Ende tatsächlich an Licht transportiert.

Whitted Style Raytracing verfolgt Sekundärstrahlen typischerweise nur für perfekte Reflexion und Brechung. Diffuse Beleuchtung bleibt lokal.

Und genau da sitzt doch der Punkt: „Diffuse Beleuchtung bleibt lokal" heißt auf Deutsch, es gibt keine indirekte Beleuchtung und kein Color Bleeding. Egal wie viele Sekundärstrahlen du für perfekte Spiegelung und Brechung verschießt. Whitted-Style löst die Rendering-Gleichung schlicht nicht. Ein Pathtracer nähert das komplette Integral per Monte Carlo an, und daraus fallen all diese Effekte automatisch aus einem einzigen Solver raus.

Der zentrale Unterschied liegt damit im Integrator und im Sampling, nicht darin, dass Pathtracing ein völlig anderer Ansatz wäre. Auch die Rekursion ist kein grundlegendes Merkmal. Ein Pathtracer lässt sich sehr natürlich als Schleife über die Bounces implementieren, was auf GPUs oft günstiger ist.

Rekursion vs. Schleife ist Implementierungsdetail, da sind wir uns einig. Aber dass der Unterschied „nur" im Integrator liegt, macht ihn in der Praxis nicht kleiner, sondern größer. Der Integrator ist ja genau das, was das Bild am Ende ausmacht. Genau deshalb heißen die Spiele auch Pathtracing-Games: Das komplette Lighting kommt aus dem Monte Carlo Integrator, und das ist in der Engine-Pipeline ein Bruch mit der alten Welt aus getrennten RT-Effekt-Pässen für Spiegelung, Schatten und AO. Für Spieler und Engine ist das der relevante Unterschied, auch wenn der Schnitttest dahinter derselbe ist.

Auf der CPU kann ein gezielterer Monte Carlo Integrator je nach Sampling weniger Varianz erzeugen und dadurch schneller konvergieren als ein Pathtracer, der auch Pfade ohne relevanten Beitrag verfolgt.

Klar, bidirektionales Tracing oder Metropolis können konvergenztechnisch mehr rausholen. Lohnt sich aber erst über viele Samples. In Echtzeit hast du grob ein Sample pro Pixel pro Frame, da fließt das Budget in Light Sampling (ReSTIR) und Denoising. Die eleganteren Integratoren bleiben praktisch dem Offline-Rendering vorbehalten, wo du die Samplezahlen dafür überhaupt hast.
Ob man das Ganze am Ende „Spezialfall" oder „anderer Ansatz" nennt, ist Semantik. In der Praxis sieht den Unterschied jeder, der zum ersten Mal ein Pathtracing-Game startet.