Special DLSS 5 im Details: Drei KI-Modellen auf einer Geforce-Grafikkarte

[lateLex]

1+

Aber hätte das nicht der Artist mit ner eigenen zusätzlichen Lichtquelle genauso gut gekonnt?
Man stelle sich mal vor, jeder Avatar bekommt ne "Taschenlampe" in Starfield wäre die Helmlampe dann permanent ON.

In der Theorie ja oder sogar besser (stimmiger für uns Spieler). In der Realität kann die Engine aber nicht umsetzen, was der Artist gerne gehabt hätte. Eine zusätzliche Lichtquelle macht das Bild vielleicht heller, aber nicht weniger flach. Die ersten 3D Games waren super hell - und super flach.

Also nimmt man Raytracing und gibt dem Artisten damit mehr und bessere Möglichkeiten, mit dem Licht zu arbeiten. Korrekte Schatten, sowie Farbübertragungen in einem groben Maßstab werden möglich. Ab jetzt brauchen die Spieler fettere GPUs. Aber auch das reicht nicht, um z.B. die Mikrostruktur in den Metallrohren und endlose viele weitere Details richtig auszuleuchten. Echtzeit-Raytracing ist ohne Denoiser super hässlich. Das besteht nur aus groben Punkten. Klar, dass damit feine Details nicht erfasst werden können.

Also nimmt man Pathtracing. Der Artist erzielt noch bessere Resultate. Die Spieler brauchen jetzt die fettesten GPUs.
Reicht aber noch immer nicht, um z.B. die Mikroverschattung im Blattwerk eines 300 Meter entfernten Waldes korrekt zu simulieren. Dickere GPUs gibt es aber nicht. Sackgasse!

Also was machen wir jetzt mit dem Artisten, der aber gerne den Wald richtig darstellen würde? Genau! wir geben ihm DLSS 5. Damit wird überall dort physikalisch korrekte Ausleuchtung, Farbübertragung und Verschattung möglich, wo auch 5 mal schnellere GPUs nicht ausreichen würden. Und das ist die Revolution oder der Quantensprung, der hier gerade stattfindet.

 

[RX480]

Und vergiss nicht, DLSS5 bringt ne zusätzliche Lichtquelle, weil der Artist zu faul war.
ergo
Wir brauchen keine Artisten mehr, sondern nur ein paar billige cruncher Arbeitsbienen.
den Rest macht Jensen.

 

[lateLex]

Und vergiss nicht, DLSS5 bringt ne zusätzliche Lichtquelle, weil der Artist zu faul war.
ergo
Wir brauchen keine Artisten mehr, sondern nur ein paar billige cruncher Arbeitsbienen.
den Rest macht Jensen.

Da dachte ich, du beginnst zu verstehen und dann dieser Klopper, der vorn und hinten keinen Sinn ergibt.

Ich geb's auf.

 

[Promethea]

Ich bin immer wieder aufs Neue erstaunt, mit welcher Gewalt versucht wird, alles schlecht zu reden. Incredible. Man sieht doch, dass das Ergebnis um Welten besser aussieht und realistischer ist als ohne DLSS 5. Ist mir unbegreiflich, wieso gegen diesen genialen Fortschritt so gewehrt wird. Was ist die Motivation?

 

[merkvomerk]

Nur ein weiterer, (mehr oder minder simpler) Postfilter? Enttäuschend. Uns wurde "Neural Rendering" versprochen, aber noch immer hat die KI keine Zugriff auf die Rohdaten der Engine, keinen eigenen Überblick über die zeitliche Entwicklung, keinen dreidimensionalen Bezug zur Szene. Ich bin jetzt schon enttäuscht – nicht von der Qualität, die im Herbst kritisch zu prüfen sein wird, von den 08/15 Ambitionen, was man überhaupt erreichen möchte.

Sorry, aber du hast da was komplett falsch verstanden ...

Wie @Graphiccarsten es gestern lang und breit dargelegt hat, ist DLSS 5 "kein starrer Post Processing Filter, sondern ein flexibles Entwickler Werkzeug", eine "innovative Technologie", die den nächsten "Next Gen Quantensprung" in Sachen Grafik bringen wird. Dazu arbeitet es "mit vollem räumlichen Bewusstsein der Szene". Es ist also ein "KI Feature, das durch intelligente Generierung für einen massiven Performance Schub sorgt".
Und der hat ja "Graphic" im Namen, also wird es schon stimmen, was er sagt.

RT/PT brauchts dann nicht mehr, weil die KI alle indirekten Lichter/Schatten selbst neu erfindet, ... und die globale Beleuchtung
soundso verändert.

Also ich habe die Präsi anders verstanden. Es gab doch dieses Stufen-Diagramm, in dem DLSS 5 die letzte Stufe war und der Typ meinte, alle Stufen davor werden weiterhin benötigt, weil DLSS 5 nur ein Extra ist ...

Das hier:

Eingebundener Inhalt

youtube.com/watch/?v=vXDetI2TUWw:1509

An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Alle externen Inhalte laden Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.

(Zeitmarke ist gesetzt auf die relevante Stelle)

 

[Acgira]

RT/PT brauchts dann nicht mehr, weil die KI alle indirekten Lichter/Schatten selbst neu erfindet, ... und die globale Beleuchtung
soundso verändert.

wenn das Rasterizing-Fakelicht großräumig an der falschen Stelle dunkel oder hell, wird dass die KI nicht ausgleichen können - in den Gesichtern vielleicht, aber nicht überall in der Umgebung.

KI untersucht ja nur die ausgegeben Pixel nicht die Konstruktion, und ich merk dass bei den Skizzen die ich mit KI aufwerten lasse, wenn Umrisskanten hintereinander liegen, weiß die KI oft nicht welche Kante zu welchen Objekt gehört und dann entstehen Interpretionsfehler, die oft genug fatal aussehen.

 

[DaR3aP3r]

Inwieweit profitiert z. B. Minecraft von Raytracing? Macht es das Spiel wirklich besser? Ist es für diese Art Spiel nötig? Gehts das nicht eher um die Möglichkeiten die das Gameplay bietet. Oder ein Fortnite, dass irgendwann RT eingeführt hatte. Haben / hatten die Spieler dadurch mehr Spaß am Spiel?

Ich will ja niemanden was wegreden. Soll jeder es so genießen wie er mag.

Mir reicht - wie gesagt - hübsch aber vor allem .. lieber in gutes Gameplay investieren und in Story etc., denn Grafik ist in meinen Augen nicht so wichtig, wie das Genannte. Nettes Beiwerk.

Minecraft oder auch Fortnite mögen weniger davon profitieren, aber es gibt ja auch noch andere Spiele, mich reizen die beiden genannten mal so überhaupt nicht.
Ich spiele im Moment z.b. Euro Truck Simulator und The Hunter: call of the wild, beides Spiele die von ihrer Graphik leben, und je schöner es aussieht, umso besser.

Kommt eben immer auf den Anwendungsfall an, und wenn jetzt eine Technologie dazu kommt die dabei hilft alles noch realistischer und Immersiver zu machen ist das doch gut

 

[Promethea]

Nur ein weiterer, (mehr oder minder simpler) Postfilter? Enttäuschend. Uns wurde "Neural Rendering" versprochen, aber noch immer hat die KI keine Zugriff auf die Rohdaten der Engine, keinen eigenen Überblick über die zeitliche Entwicklung, keinen dreidimensionalen Bezug zur Szene. Ich bin jetzt schon enttäuscht – nicht von der Qualität, die im Herbst kritisch zu prüfen sein wird, von den 08/15 Ambitionen, was man überhaupt erreichen möchte.

1. „Nur ein Postfilter"?

Ein Postfilter sieht nur fertige Pixel — DLSS 5 ist ein distilliertes one-step Diffusion-Transformer-Modell.

Ed Liu, NVIDIA (Director of Applied Deep Learning Research) · 14:20
"It's still not a regular filter because it inherited all the broad world knowledge from those giant foundational models. It really understands the image that it's looking at — characters, lighting and context."

2. „Kein Zugriff auf Engine-Rohdaten"?

Das Modell bekommt direkt interne Buffer aus dem Renderer geliefert.

Ed Liu · 11:54
"We use some of the renderer's internal buffers such as albedos, surface normals, and some of the lighting information to make sure the model can understand what it has to stay consistent with."

Ed Liu · 10:29
"It's not a prompt, it's not a reference, it's not a proxy scene — it's the renderer's own output."

3. „Keine zeitliche Übersicht"?

Ed Liu · 12:51
"When we're working within the game engine, we do have access to things like motion vectors — all of DLSS has been using them from day one. They tell the model how things are moving across adjacent frames."

Ed Liu · 13:14
"It runs causally, frame by frame — one frame in, one frame out — and remains temporally stable and coherent while doing so. No shimmer, no drifting, no swimming."

4. „Kein 3D-Bezug zur Szene"?

Gavriil, Creative Artist · 16:20
"DLSS 5 is respecting the render frame — it is not changing the geometry in any way."

Gavriil · 19:09
"The model understands the semantics of the scene."

Gavriil · 21:11
"better translucency [...] better metal reflections"
Material für Material unterschieden — ein flacher Filter kann das per Definition nicht.

5. „Uns wurde Neural Rendering versprochen"?

Genau das wurde auf der Bühne beschrieben.

Ed Liu · 23:42
"DLSS 5 is adding a third [category]: generation — because now the model actually changes and generates the final appearance in the image."

Ed Liu · 26:28
"Simulation defines the world, generation enriches its appearance, and artists direct the outcome. Not AI replacing graphics — AI extending graphics."

Jensen Huang, CEO · 3:33
"We want the power of AI but grounded in 3D, governed by physics, so that it is shapable by creators."

Nein dieses DLSS5 "Neural Rendering" hat keinen Zugriff auf Geometrie oder Texturen.
Hat ein Nvidia Ingenieur selbst erklärt.
DLSS5 nutzt den fertig vom Spiel gerenderten Frame (das 2D-Bild welches auf deinem Monitor landen würde) darauf macht DLSS5 sein "neurales" Aufhübschen. Um das ganze stabiler zu bekommen ohne Flackern bekommt man noch die Standard Motionvectors mit im DLSS5. Das ist im Prinzip ganz normales DLSS Upscaling, nur dass man statt nur zu versuchen das Bild möglichst Orignialgetreu zu skalieren, versucht die "neural"-KI noch Details und bessere Lichtverhältnisse dazuzudichten.

Also ja es ist ein fancy Post Processing .... mehr nicht.

Du hast halb richtig zugehört — und genau da liegt der Fehler. Ja, Ed Liu hat gesagt, dass der gerenderte Frame das Hauptsignal ist. Aber derselbe Ingenieur hat im selben Vortrag gesagt, was außerdem noch reinkommt — und das widerlegt deinen Schluss direkt.

1. „Kein Zugriff auf Geometrie oder Texturen"?

Doch — beides. Albedo ist die Basis-Farbtextur des Materials, Surface Normals sind die geometrische Oberflächenausrichtung pro Pixel. Genau diese internen Buffer nennt Ed Liu als Modell-Inputs:

Ed Liu · 11:54
"We use some of the renderer's internal buffers such as albedos, surface normals, and some of the lighting information to make sure the model can understand what it has to stay consistent with."

Albedo = Texturdaten. Normals = Geometriedaten. „Keinen Zugriff" ist damit vom selben Ingenieur widerlegt.

2. „Nur der fertige 2D-Frame, der auf dem Monitor landet"?

Der Frame ist der Anker — aber eben nicht allein:

Ed Liu · 10:29
"It's not a prompt, it's not a reference, it's not a proxy scene — it's the renderer's own output."

Ed Liu · 10:51
"A very information-dense and pixel-aligned view of the current shot — it provides the grounding for character identity, the lighting setup, the mood, the camera composition."

Ein Post-Processing-Filter bekommt nur dieses Bild. DLSS 5 bekommt Bild + Albedo + Normals + Lichtinfo + Motion Vectors. Genau das ist der Unterschied.

3. „Ganz normales DLSS Upscaling, nur mit dazugedichteten Details"?

Klassisches DLSS ist Reconstruction — es rekonstruiert das Originalbild möglichst originalgetreu. DLSS 5 ist laut Ed Liu eine neue, dritte Kategorie daneben: Generation.

Ed Liu · 23:42
"DLSS 5 is adding a third [category]: generation — because now the model actually changes and generates the final appearance in the image."

Und „dazudichten" trifft es nicht — das Modell ist strikt an Frame und Buffer gebunden:

Ed Liu · 12:18
"The scar can pick up better skin shading, but it should never disappear. DLSS 5 must change the image in a way that it does not change the story."

4. „Fancy Post Processing — mehr nicht"?

Post Processing sieht nur das fertige Bild und kennt die Szene nicht. DLSS 5 läuft kausal pro Frame in der Pipeline und bekommt Engine-seitige plus semantische Masken:

Gavriil · 20:35
"You can mask as you see fit — you can have as many masks as you want, and control the sliders independently."

Gavriil · 19:09
"This is coming entirely from the model side, because the model understands the semantics of the scene."

Ed Liu · 14:20
"It's still not a regular filter, because it inherited all the broad world knowledge from those giant foundational models."

Was stimmt: DLSS 5 hat keinen Zugriff auf den vollen Szenengraph — keine Roh-Meshes, keine Texturdateien, und der gerenderte Frame ist der Anker. Aber „keinen Zugriff auf Geometrie oder Texturen" ist falsch, solange Albedo und Surface Normals explizit genannte Inputs sind.

 

[PCGH_Torsten]

Wieviel davon ist selbst geschrieben?
Das Verständnis für meine Aussagen bewegt sich jedenfalls, wie passend zum Thema, auf KI-Niveau.
Nein, immer nur mit einem Frame zu arbeiten ist kein "zeitliches Verständnis".
Nein, einen Framebuffer auszuwerten ist kein Zugriff auf die Rohdaten der Spielwelt.
Nein, Materialien erkennen ist keine Nutzung der dreidimensionalen Koordinaten.
Nein, ein Renderergebnis nachzubearbeiten ist kein vollständiges (wenn überhaupt) "Rendering.
Und nein, vollkommen mit wie vielen Buzzwords man die Technik für so eine nachgelagerte Bildaufhübschung beschreibt: Es bleibt eine nachgelagerte Bildaufhübschung.

Echtes, neuronales Rendering würde dagegen, ausgehend von den Geometrie- und Texturdaten des Spiels sowie des Shadercodes (soweit man den einem neuronalen Render noch anliefern muss), das finale Bild in einem Schritt erzeugen. Oder, mit temporalem Verständnis noch besser: Direkt die Frame übergreifende Animation.

Was Nvidia stattdessen zeigt, ist ein überarbeitetes DLSS-Upscaling, dass die angelieferten Bilder tiefergehender analysiert, um weniger Fehler zu machen. Sicherlich auch ein Fortschritt, aber kein grundlegend neues Konzept und vor allem erscheint mir das zunehmend ineffektiv: Warum analysiere ich Materialien im fertigen Bild, wenn im Shader-Code schwarz auf weiß stand, welches Material es ist? Wieso erstelle ich aufwendig Motion Vectors, während ich parallel die tatsächliche Geometrieberechnung rendere? Wieso reden wir hier über Lag durch die nachträgliche Bildbearbeitung, wenn der Treiber zu diesem Zeitpunkt längst die Positionsinformationen des nachfolgenden Frames hat und berücksichtigen könnte? Weil wir von eine Post-Rendering-Effekt reden. Nicht von einer neuronalen Pipeline.

 

[Promethea]

---

Ob ich das selbst tippe oder mir helfen lasse, ändert nichts am Inhalt — die Timestamps stehen dabei, prüf sie selbst. Und von deiner Seite gabs nen Positionswechsel. ) Aus „kein Zugriff auf Geometrie oder Texturen" wurde „kein Zugriff auf die Rohdaten der Spielwelt". Das is was anderes. ^^

1. „Ein Frame auf einmal ist kein zeitliches Verständnis"?

Halb richtig: DLSS 5 denkt nicht in Frame-Chunks wie Video-Generatoren — und das ist Absicht:

Ed Liu · 12:35
"Most video generators work in chunks — they reason across multiple frames and generate a batch of frames at once. With real-time rendering we don't get to do that."

Aber „gar kein zeitliches Verständnis" ist falsch: Motion Vectors liefern die Bewegung zwischen Frames als Engine-Ground-Truth statt als Pixel-Schätzung, und das Modell läuft kausal und stabil:

Ed Liu · 12:51
"We do have access to things like motion vectors — all of DLSS has been using them from day one. They tell the model how things are moving across adjacent frames."

Temporal verankert: ja. Langzeit-Gedächtnis: nein — bewusst, aus Latenzgründen. Dein absolutes „kein" bleibt trotzdem falsch.

2. „Framebuffer auswerten ist kein Zugriff auf Rohdaten"?

Albedo und Surface Normals entstehen im G-Buffer vor Licht und Shading — das sind engine-interne Rohdaten, nicht das „fertige Bild":

Ed Liu · 11:54
"We use some of the renderer's internal buffers such as albedos, surface normals, and some of the lighting information."

Was du eigentlich meinst: kein Zugriff auf Meshes, Shader-Code, Szenengraph. Stimmt — hat nur nie jemand behauptet.

3. „Materialien erkennen ist keine Nutzung dreidimensionaler Koordinaten"?

Niemand hat behauptet, das Modell frisst Vertex-Daten. Normals kodieren 3D-Orientierung pro Pixel, Motion Vectors die projizierte Bewegung, und die Ausgabe respektiert die Geometrie:

Gavriil · 16:20
"DLSS 5 is respecting the render frame — it is not changing the geometry in any way."

„Grounded in 3D" heißt: am 3D-Gehalt verankert. Nicht „rechnet in Weltkoordinaten".

4. „Ergebnis nachbearbeiten ist kein Rendering"?

Die Erzeugung des finalen Bildes ist Teil der Render-Pipeline — per Definition. Und dein Hybrid-Einwand ist exakt NVIDIAs eigene Beschreibung:

Ed Liu · 23:42
"Now the model actually changes and generates the final appearance in the image."

Ed Liu · 25:04
"It extends existing pipelines — it does not replace them."

Du widerlegst also eine Behauptung, die nie jemand aufgestellt hat.

5. „Ineffizient — warum nicht Shader-Code und nächster Frame?"

Dein stärkster Punkt, aber die Antworten stehen im selben Vortrag:

Warum der Frame als Anker? Weil er der einzige Eingang ist, der universell über alle Engines funktioniert:

Ed Liu · 10:37
"It's one signal that is actually universally available across all the engines — path tracing, rasterizers, hybrid, whatever."

Shader-Integration pro Spiel und Engine skaliert schlicht nicht — deshalb Frame plus Standard-Buffer.

Motion Vectors „aufwendig erstellen"? Die produziert jede moderne Engine seit Jahren ohnehin (TAA, DLSS, FSR) — siehe Zitat 12:51 oben.

Und dein Lag-Argument ist invertiert: Die Positionsdaten des nächsten Frames nutzen hieße: erst einen Frame vorrendern, dann warten — genau die Latenz, die du kritisierst. NVIDIA macht bewusst das Gegenteil:

Ed Liu · 13:14
"One frame in, one frame out — it does not need to peek ahead, and remains temporally stable and coherent. No shimmer, no drifting, no swimming."

Zum Schluss dein „echtes neurales Rendering":

Was du beschreibst — Bild in einem Schritt aus Geometrie, Texturen, Shadern, gar neural generierte Animation — ist die Forschungs-Roadmap. Und die beschreibt NVIDIA auf derselben Bühne selbst:

Ed Liu · 25:15
"We're not claiming we have solved real-time photorealism. True photorealism is still ahead of us."

Ed Liu · 25:30
"DLSS 5 sits at one end of a much wider generative spectrum — optimized for games, tightly grounded, real-time, causal."

Ed Liu · 26:14
"This curve really is just getting started — we're still on the steep part."

DLSS 5 ist der erste kommerzielle Schritt genau dieser Kurve. Dass ein erster Schritt nicht der Endpunkt ist, macht ihn nicht zu „Post Processing", sondern zur Etappe. Deine ursprünglichen drei Behauptungen — kein Zugriff auf Engine-Daten, keine Zeitlichkeit, kein 3D-Bezug — sind trotzdem widerlegt. Der Rest ist moving the Goalpost.

 

[PC_User_404]

Das ist der größte Grafiksprung aller Zeiten. Die Menschheit ist noch nicht bereit für diesen Warpsprung in die fünfte Dimension.

Kein Mensch sollte ohne DLSS 5 zocken. Die zusätzlichen Schatten, Lichteffekte und hyperrealitätsnahen Transparenz- und Spiegelungseffekte sollten die Ehre und Beachtung bekommen, die sie verdient haben. Früher waren solche Details unvorstellbar und hätten eine extrem teure Simulation gebraucht. Es wäre quasi unmöglich, solche Details in Echtzeit zu präsentieren, aber Nvidia schafft wieder vor allen anderen (AMB, Intl und alle anderen Low-Budget-Hersteller) den Sprung in die übernächste Grafikgeneration.Ich fand ja schon DLSS 4.5 unfassbar gut. Es läuft extrem effizient auf einer RTX 5000, dann noch Dynamic Multi Frame Gen Present B. Noch nie war es so einfach, ein kristallklares Bild mit absurd hohen FPS zu erreichen. Und jetzt, mit DLSS 5, bringen sie endlich den Handschuh von Thanos in die Hand der treuen und edlen Nvidia Pathtracing-Nutzer.