Special DLSS 5 im Detail: Drei KI-Modellen auf einer Geforce-Grafikkarte

[Promethea]

DLSS 5 setzt keine Lichtquellen in die Szene — weder statisch noch dynamisch. Das Modell arbeitet auf dem gerenderten Frame plus den internen Buffern (Albedo, Surface Normals, Lichtinfos) und verbessert die Lichtwirkung im Bild selbst: Subsurface Scattering, Contact Shadows, Environment Lighting.

Das mit dem "bei Null anfangen" stimmt nicht. Genau das ist laut Keynote die zentrale Herausforderung Nr. 2, "temporal streaming": DLSS 5 arbeitet mit zeitlichem Kontext und Motion Vectors, sonst hätte man Flickering ohne Ende. Das Modell startet nicht jedes Frame neu.

Die Inferenz des neuronalen Modells läuft auf Tensor Cores — dafür ist eine CPU um Größenordnungen zu langsam.

 

[RX480]

neu starten des Programm Moduls ist ja auch nicht gemeint
aber
für das neue Frame bekommt das schon laufende Modul wieder erstmal nur das neue Bild vom Game + (ASNL) und dann erst
setzt das Ändern/Verbessern an

Das wäre sehr hypothetisch das (ASNL) duch DLSS 5 einfach vom vorherigen frame ins neue frame übernommen wird,
eher entscheidet das Game ob das als "Kopie" im G-Buffer bleiben kann.
und
Ob die Lichtverbesserungen ohne eine Art Zusatzlichtquelle so gehen, da hab ich meine Zweifel, gerade wenn bei den Rosen die Wand im Schatten liegt oder bei Starfield ganz offensichtlich die Helligkeit um einige Stufen und vor Allem gezielt zunimmt.

weil Du es anscheinend schon wieder vergessen hast, nochmal Starfield zum Anschauen:

Ich würde vorschlagen, wir warten ab, bis es offiziell für Alle gelaunched wird und jeder selbst testen kann.

Warum reitet Ihr für so ne simple Aufhellung auf Inferenz Rechenleistung rum?

das Positionieren der Lichtquelle machte macht jede kleine CPU und den defered Renderpass jede kleine GPU
im Schlaf, wenn der Artist das so verlangen würde (x)
Stell Dich mal in Starfield hin und mach per Tastaturbefehl die Helmlampe ON.
(dann kannste messen wieviel Fps das kostet)

(x) Das wäre ohnehin mal interessant den Artisten zu interviewen, ob er die Beispielbilder nicht auch mit eigenen Mitteln im Game so hinbekommen würde (mit Zusatzlicht/wenigerSchatten).
Bisher gabs immer nur komische Statements von Aussenstehenden zum ersten Demoevent, die kein Mensch hören will.
(die Scripts von NV selbst zum jetzigen Event sind OK, haben aber auch keinen Vgl. dazu, was der Artist selbst könnte)

 

[The_Invisible84]

Warum reitet Ihr für so ne simple Aufhellung auf Inferenz Rechenleistung rum?

Lass es einfach sein hier weiter Falschinformationen zu verbreiten und es vielleicht Leute gibt die das auch noch alles glauben...

Was denkt ihr, wie "kostenintensiv" das neue Feature sein wird?

Weiß keiner noch, mit einer 5080 wärst aber sicher auf der sicheren Seite weil man wird kein Feature releasen das nicht mal auf der aktuellen Highend-GPU läuft. DLSS5 kommt im Herbst und die nächste GPU Gen anscheinend erst in 1,5 Jahren, wenns auf der 5080 also nicht gut läuft dann nirgends

DLSS 5 setzt keine Lichtquellen in die Szene — weder statisch noch dynamisch. Das Modell arbeitet auf dem gerenderten Frame plus den internen Buffern (Albedo, Surface Normals, Lichtinfos) und verbessert die Lichtwirkung im Bild selbst: Subsurface Scattering, Contact Shadows, Environment Lighting.

Das mit dem "bei Null anfangen" stimmt nicht. Genau das ist laut Keynote die zentrale Herausforderung Nr. 2, "temporal streaming": DLSS 5 arbeitet mit zeitlichem Kontext und Motion Vectors, sonst hätte man Flickering ohne Ende. Das Modell startet nicht jedes Frame neu.

Die Inferenz des neuronalen Modells läuft auf Tensor Cores — dafür ist eine CPU um Größenordnungen zu langsam.

Mach dir keine Mühe, der will doch nur trollen, geht auch null auf die Postings ein...

 

[Olstyle]

Zur Sprache des Zitates:
Korrigiert mich gerne, aber soweit ist die KI noch nicht, dass sie individuellen Charakter, Geschmack und ein Bewusstsein hätte. Ihr kann also nichts gefallen. Ich stelle mir vor, dass die KI Vorgaben erhält, Muster erkennt, vergleicht und anwendet.

Die KI hat keinen eigenen Geschmack, aber wenn man sie mit "dem Internet" füttert, wie bei allen erfolgreichen Modellen passiert, gibt sie den ausgestellten Mehrheitsgeschmack wieder.
Bei der Bilderflut die Instagram liefert würde sie damit gefüttert also tatsächlich "entscheiden" dass unglaublich viel Schminke und Weichzeichner das sind wie Menschen auszusehen haben.
Und genau den Eindruck hatte damals die erste Demo ja auch befeuert.

Raytracing war der geile Shit und man hat "echte" Reflexionen überall gesehen, dann irgendwie nicht mehr, dafür brauchte man dann Pathtracing -> auf einmal das echte Raytracing.

Pathtracing ist nur ein Werbebegriff für Raytracing mit ner halbwegs anständigen Anzahl an Strahlen und Bounces. In Hogwarts Legacy konnte man z.B. vor dem Update mit solchen Optionen im Menü bereits über die ini Datei mit diesem Parametern effektiv einen Pathtracing Mod erstellen.

 

[Promethea]

Pathtracing ist nur ein Werbebegriff für Raytracing mit ner halbwegs anständigen Anzahl an Strahlen und Bounces. In Hogwarts Legacy konnte man z.B. vor dem Update mit solchen Optionen im Menü bereits über die ini Datei mit diesem Parametern effektiv einen Pathtracing Mod erstellen.

Das ist technisch sowas von falsch. Wow. Path Tracing ist kein "Marketingbegriff für mehr Strahlen", sondern ein fundamental anderer Rendering-Algorithmus.

Klassisches Raytracing in Spielen arbeitet fast immer hybrid: Das Bild wird weiterhin per Rasterization berechnet, Raytracing kommt nur punktuell für einzelne Effekte dazu – etwa Spiegelungen, Schatten oder Ambient Occlusion. Diese Effekte laufen separat und werden am Ende wie Photoshop-Ebenen über das Rasterization-Bild gelegt.

Path Tracing wirft die Rasterization dagegen komplett über Bord: Das gesamte Bild wird ausschließlich durch Lichtstrahlen berechnet, die von der Kamera aus über mehrere Bounces durch die Szene wandern. Aus Tausenden solcher Pfade pro Pixel entstehen automatisch korrekte indirekte Beleuchtung, Spiegelungen, weiche Schatten und Farbübertragung – alles aus einem einzigen, einheitlichen Algorithmus.

 

[Olstyle]

Das ist technisch sowas von falsch. Wow. Path Tracing ist kein "Marketingbegriff für mehr Strahlen", sondern ein fundamental anderer Rendering-Algorithmus.

Klassisches Raytracing in Spielen arbeitet fast immer hybrid: Das Bild wird weiterhin per Rasterization berechnet, Raytracing kommt nur punktuell für einzelne Effekte dazu – etwa Spiegelungen, Schatten oder Ambient Occlusion. Diese Effekte laufen separat und werden am Ende wie Photoshop-Ebenen über das Rasterization-Bild gelegt.

Path Tracing wirft die Rasterization dagegen komplett über Bord: Das gesamte Bild wird ausschließlich durch Lichtstrahlen berechnet, die von der Kamera aus über mehrere Bounces durch die Szene wandern. Aus Tausenden solcher Pfade pro Pixel entstehen automatisch korrekte indirekte Beleuchtung, Spiegelungen, weiche Schatten und Farbübertragung – alles aus einem einzigen, einheitlichen Algorithmus.

Das ist faktisch für den Einsatz in Spielen einfach falsch. Alles Raytracing in Spielen basiert auf dem Pathtracing Algorithmus.
Alle Rasterverfahren über Board werfen wiederum haben wir afaik genau ein Mal in einem Spiel gesehen, das war Minecraft RTX. Was übrigens wiederum nur mit Raytracing statt Pathtracing beworben wurde. Heute wäre der Mode-Begriff dafür "Full Pathtracing".

 

[RawMangoJuli]

Ist also nicht nur mir aufgefallen
Ich hatte schon an eine Person mit einem Doppelaccount gedacht bei den Inhalten und der Art der Äußerungen bestimmter User und Ansichten.

Scheinbar sinds jetzt noch mehr xD

 

[blautemple]

Das ist technisch sowas von falsch. Wow. Path Tracing ist kein "Marketingbegriff für mehr Strahlen", sondern ein fundamental anderer Rendering-Algorithmus.

Klassisches Raytracing in Spielen arbeitet fast immer hybrid: Das Bild wird weiterhin per Rasterization berechnet, Raytracing kommt nur punktuell für einzelne Effekte dazu – etwa Spiegelungen, Schatten oder Ambient Occlusion. Diese Effekte laufen separat und werden am Ende wie Photoshop-Ebenen über das Rasterization-Bild gelegt.

Path Tracing wirft die Rasterization dagegen komplett über Bord: Das gesamte Bild wird ausschließlich durch Lichtstrahlen berechnet, die von der Kamera aus über mehrere Bounces durch die Szene wandern. Aus Tausenden solcher Pfade pro Pixel entstehen automatisch korrekte indirekte Beleuchtung, Spiegelungen, weiche Schatten und Farbübertragung – alles aus einem einzigen, einheitlichen Algorithmus.

Das hast du aber schön von der KI abgelesen, ist nur leider falsch. Selbst im Overdrive RT Mode bei CP2077 werden noch große Teile des Bildes per Rasterization berechnet. Es gibt schlicht viel zu wenig Strahlen um das anders zu lösen. Was denkst du warum man selbst im RT Mode noch Effekte aus dem Bild wischen kann? Bei den anderen Pathtracing Titeln ist es genauso.

Die einzige Ausnahme ist das von @Olstyle angesprochene Minecraft RTX.

 

[Promethea]

Korrekt. Primary Rays werden fast immer noch gerastert — die Zorah-Demo von Nvidia ist da z.B. die Ausnahme.

Beim klassischen Raytracing (Whitted-Style) folgt jeder Strahl einem festen, vorhersehbaren Pfad — Reflexion hier, Brechung da, fertig.

Pathtracing geht anders: Da werden zig Strahlen zufällig in alle Richtungen geschossen, und aus dem "Rauschen" rechnet die Engine dann das echte Lichtverhalten raus (Monte Carlo). Deswegen braucht Pathtracing auch Denoiser so viel mehr.

Darum ging es mir. "Path Tracing ist ein "Marketingbegriff für mehr Strahlen" ist einfach falsch. Sind 2 unterschiedliche Algorithmen.

 

[Algo]

Du wechselst das Thema? Okay.

Du hast doch davon gesprochen dass DLSS5 "nur" die Beleuchtung ändert, wie wechsle ich da da Thema wenn ich über Beleuchtung rede? Mal davon ab dass in der Ursprünglichen Vorstellung eben von mehr als "Beleuchtung ändern" die rede war sondern gerade Bethesda auch die KI generierten Gesichter betont hat .... aber weißt du was das wird mir zu blöd wenn du mir jedes Wort im Mund umdrehst. Darum bin ich aus der Diskussion raus.

Halten wir fest du hältst DLSS5 für was super tolles, ich nicht.

 

[Kribson]

Wie bitte? Nvidia hat nie etwas anderes behauptet. DLSS 5 war schon immer als Tool angekündigt, mit dem die Beleuchtung in Spielen auf eine ganz neue Stufe gehoben werden soll. Und zwar ausschließlich die Beleuchtung!

Hast Du dafür eine Quelle parat? Das ausschließlich die Beleuchtung verändert werden soll, ist mir neu und passt auch nicht zu den bisher gezeigten Beispielbildern und Videos.

 

[RX480]

Lass es einfach sein hier weiter Falschinformationen zu verbreiten und es vielleicht Leute gibt die das auch noch alles glauben...

Jo, das wäre schlimm, wenn der Artist mit einfachen alten Methoden ein gleichwertiges Bild erzeugen könnte,
oder ein dummer Leser tatsächlich in Starfield mal die Helmlampe ON macht.

Weiß keiner noch, mit einer 5080 wärst aber sicher auf der sicheren Seite weil man wird kein Feature releasen das nicht mal auf der aktuellen Highend-GPU läuft. DLSS5 kommt im Herbst und die nächste GPU Gen anscheinend erst in 1,5 Jahren, wenns auf der 5080 also nicht gut läuft dann nirgends

Ja die simple Aufhellung ist nicht so easy!
Wieviel Ostfriesen braucht man, um eine Glühbirne reinzuschrauben?

Mach dir keine Mühe, der will doch nur trollen, geht auch null auf die Postings ein...

dann noch viel Spass ohne mich

Ich lass Euch jetzt allein mit eurem super duper Inferenz Gemurkse.