Special DLSS 5 im Details: Drei KI-Modellen auf einer Geforce-Grafikkarte

[Graphiccarsten]

....noch immer hat die KI keine Zugriff auf die Rohdaten der Engine, keinen eigenen Überblick über die zeitliche Entwicklung, keinen dreidimensionalen Bezug zur Szene.

Abgesehen davon, dass neural rendering hier noch nicht tief in die engine und den renderingprozess integriert ist, sondern weitgehend nachgelagert ist, sind deine Punkte dennoch allesamt widersprüchlich bzw. komplett falsch.

Und ich erspare mir an der Stelle eine besonders ausführlichere Antwort, weil du letzten Endes nur mit "moving the goalposts" Strategien arbeiten wirst.

Es ist völlig irrelevant, wie viel KI Hilfe @Promethea bei seinen Beiträgen nutzt.
Recht hat er trotzdem. Deine Einstufung als "simpler Postfilter" ist fachlich falsch und bedient bloß die polemische Rhetorik von Leuten, die sich der technischen Realität verweigern. Dass du als Redakteur so oberflächlich argumentierst, disqualifiziert dich für jede seriöse Diskussion auf Augenhöhe.

Du verrennst dich bei diesem Thema genauso auf kindische Art und Weise wie bei deiner "Echtzeit" Diskussion, woraus meine spaßige Signatur entstanden ist.

von den 08/15 Ambitionen

Die eigentliche "08/15-Ambition" liegt nicht in der Technologie selbst (diese ist völliges Neuland), sondern in der erschreckenden Art und Weise wie hier aufgetreten wird.

Nur mal so als kleiner Tipp nebenbei:
Wenn die KI jeden Frame isoliert betrachten würde, wäre das Spiel unspielbar.
Ohne ein zeitliches Verständnis würde das Bild bei jeder noch so kleinen Kamerabewegung in ein unerträgliches, waberndes Pixel Flimmern verfallen.

Der dreidimensionale Bezug wird über die Bewegungsvektoren aus der Engine geliefert, zudem erlangt das KI-Modell über die sich unterschiedlich bewegenden Pixel bzw. Objekte ein tiefes Verständnis über die logische Struktur des Raums, die das Modell natürlich auch aus intensivem Training mitbringt.

Und das sind alles Dinge, die man ganz einfach recherchieren kann, auch ein Redakteur kann das.

Der Grund warum moderne Spiele immer einfallsloser und belangloser werden. Weil Aussehen das A und O sind und Inhalte in den Hintergrund geraten. Gerade im AAA-Bereich sieht es meiner Meinung nach richtig übel aus. Aber Geschmacksache.

Was für ein Unsinn. Nach der Logik müssten ja alle Indie Spiele mit Retro Grafik automatisch Meisterwerke sein und jedes AAA-Spiel Schrott.

Die Grafik-Pipeline hat doch überhaupt nichts mit dem Drehbuch oder dem Gamedesign zu tun. Wer das im Jahr 2026 immer noch in einen Topf wirft, sucht bloß einen Sündenbock für seine persönliche Abneigung gegen XY.

Physikalisch korrekt

Schaffst du es denn auf ein einziges Argument ausführlicher als mit einer Reihe von Smileys einzugehen?

Das gehört doch alles zusammen. Wieso immer alles so schwarz-weiß?

Selbstschutz, Kulturpessimismus und oder Nostalgieverklärung, bzw. die Dynamik von vielen Online Medien bzw. die Reichweitenerzeugung von Influencern lebt grundsätzlich von schwarz-weiß Denken und folgerichtig wird das Denken dann auch übernommen.
Spielt wohl alles im aktuellen Zeitgeist eine Rolle, dazu kommen hohe Hardware-Preise.
Die längeren Nutzungszyklen und positiven Entwicklungen werden hingegen nicht gesehen.

 

[blautemple]

Die Tatsache, dass hier noch immer DLSS 5 "Post-Processing-Filter" genannt wird, zeigt nur, dass diese Personen das Video entweder gar nicht angeschaut haben oder nichts davon verstanden haben und auch gar nicht wollen, weil es nicht der "Nvidia ist doof und KI sowieso"-Agenda entspricht.

Bist du dir sicher dass du weißt was Post-Processing bedeutet?

DLSS5 ist quasi ein Paradebeispiel für Post-Processing. Der Frame wird erst gerendert und dann durch DLSS5 nachbearbeitet. Wenn dass kein Post-Processing Filter ist, was dann?

 

[Promethea]

Bist du dir sicher dass du weißt was Post-Processing bedeutet?

Bist DU sicher?

Du vermischst hier zwei verschiedene Dinge: „Post-Processing" beschreibt nur die zeitliche Position in der Pipeline — „Filter" beschreibt dagegen, was etwas tut. Dass DLSS 5 nach dem Rendern dran ist, stimmt. Daraus folgt aber nicht, dass es ein Filter ist.

Deine eigene Definition widerlegt sich übrigens selbst: Wenn „kommt nach dem Rendern" schon reicht, dann sind TAA, DLSS Super Resolution, Raytracing-Denoiser und Tonemapping auch alles „Post-Processing-Filter" — und der Begriff ist komplett bedeutungslos. Niemand würde den Denoiser eines Path Tracers einen Filter nennen, obwohl er exakt an derselben Stelle sitzt.

Und auf deine Frage „wenn das kein Post-Processing-Filter ist, was dann?" gibt es eine konkrete Antwort: ein neuronales Re-Rendering, das auf 3D-Szenendaten konditioniert ist. Der Unterschied zum Filter ist nicht die Uhrzeit, sondern der Input und die Aufgabe:

• Ein Filter bekommt nur das fertige 2D-Bild. DLSS 5 bekommt zusätzlich die Motion Vectors direkt aus dem Renderer — also Information über die 3D-Geometrie hinter jedem Pixel.
• Ein Filter wendet eine feste Formel an und kann keine neue Information erzeugen. DLSS 5 rekonstruiert physikalisches Lichtverhalten (z.B. Subsurface Scattering), das im gerenderten Frame gar nicht existiert.

Deshalb steht DLSS 5 in derselben Kategorie wie Ray Reconstruction — nicht in derselben wie Bloom oder ReShade.

Es ist völlig irrelevant, wie viel KI Hilfe @Promethea bei Ihren Beiträgen nutzt.
Recht hat Sie trotzdem.

Ich sollte einen neuen Account erstellen und den einfach MÄÄÄÄÄÄÄÄÄÄDCHEN nennen.

 

[Graphiccarsten]

Bist du dir sicher dass du weißt was Post-Processing bedeutet?

Die generative Bildrekonstruktion läuft nach dem Erstellen des eigentlichen Frames ab, das ist korrekt. Rein formal technisch gesehen fällt es unter die Kategorie "post processing".

Wenn dass kein Post-Processing Filter ist, was dann?

Ein Filter nicht, aber post-processing. Ein Filter wäre eine starre mathematische Formel.
Es ist vielmehr ein eigenständiges, nachgelagertes rendern. Ich kapiere nicht warum es dazu so viele Diskussionen mit völlig falschen Vorsttellungen gibt. Die Informationen sind doch frei zugänglich?

Niemand würde den Denoiser eines Path Tracers einen Filter nennen, obwohl er exakt an derselben Stelle sitzt.

Doch, PCGH_Thorsten zum Beispiel. Nicht den Denoiser aber DLSS5 als "simplen Postfilter". Macht es auch nicht besser, aber für Ihn sind aktuelle Grafikentwicklungen ohnehin böhmische Dörfer. Man könnte auch Frame Generation als "Post Processing Filter" bezeichnen, schließlich setzt es ja nur einen interpolierten Frame zwischen zwei bereits vorliegende.

Macht aber in dem Fall keiner, wahrscheinlich weil das Zwischenbild zuerst mechanisch über den OFA berechnet wurde und noch kein böser "KI-Filter" benutzt wurde.

Aber, wie du siehst ist am Ende eben für viele alles nur ein "Filter", wie der Kaffee der durch selbigen in die Tasse "in Echtzeit" fließt. Andere argumentieren mit ReShade das nur eine "Ecke" schlechter sei. Mit sowas muss man sich heute rumschlagen, Foren werden auf kurz oder lang sterben, weil Erkenntnisgewinne durch Diskussionen gar nicht mehr stattfinden, dafür fand ich den Newsbeitrag von PCGH_Sven sehr informativ.

Lieber diskutiert man mit einer KI, da ist einem mehr geholfen.

nteressant auch wie die Umsetzung, die Künstlerische Vorgaben so zu belassen, das die Geschichte die Gleiche bleibt, ohne den Kontext zu ändern.

Die Entwickler Werkzeuge waren ja vorher schon genau so ausgelegt.
NVIDIA hat das Thema gestern nur deshalb so extrem detailliert zerlegt, weil der Shitstorm im März riesige Ängste ausgelöst hat.

Die ganze Debatte hatte sich ja fast nur auf das Gesicht von Ashcroft eingeschossen, wobei es da am Ende reine Geschmackssache war. Das Resultat sah der Schauspielerin Brittany Murphy einfach verblüffend ähnlich, die mit ihren markanten Augen fast wie der Prototyp einer weißen KI Vorlage rüberkommt. Aber das ist purer Zufall, es bestand in der Preview keinerlei Ähnlichkeit zwischen den verschiedenen Charakteren.

 

[RX480]

... weil Erkenntnisgewinne durch Diskussionen gar nicht mehr stattfinden, ...

Wow!
Das ist für mich das Resümee des Tages.

Hast Du deshalb vor ein paar Minuten nochmal alle Beiträge von mir mit nem freundlichem HaHa geliked?
Da bin ich garnicht böse, weil das nur zeigt, das der Beitrag XYZ von mir beachtenswert war, von Dir gelesen wurde.

alle neutralen Leser dann bitte die komischen Likes vom Graphic-versteher ignorieren

Hut ab vor Promethea!
Hast wirklich mit viel Aufwand die Dinge gut mit dem Originalspeech herausgearbeitet.

btw.
Das ganze neue Vefahren unterstellt, das die KI die Szene besser versteht als der Artist.
Und deshalb die Freiheit hat, die Processingpipeline zu verlängern, um Material+Licht+Schatten+AO+Texturen neu Anders
zu berechnen. Ja, auf den aufgehellten Hintergrundflächen sind jetzt auf einmal Texturen und verbesserte Colours!
Bezgl. Augen von Avataren, das gabs auch schon in Starfield Mods, also nix Neues, nur das es jetzt bewusst automatisch
passiert.

 

[Graphiccarsten]

Wow!
Das ist für mich das Resümee des Tages.

Hast du dir denn die Mühe gemacht, dir die ausführlichen Erklärungen von @lateLex wenigstens etwas zur Gemüte zu führen und einzusehen, dass du dich da kolossal verrannt hast?

Ich kann dir auch gerne erklären, warum ein Studio nicht "einfach weniger Schatten machen" kann, um das gleiche Ergebnis eines Pathtracers mit nachgelagertem neural rendering zu erzielen. Wenn die Grafikwelt so simpel wäre, hätte man auf sämtliche Neuerungen der letzten 20 Jahre verzichten können.

Dann würden Entwickler heute noch auf forward rendering setzen. Computergrafik basiert aber heute annäherungsweise auf physikalischen Gesetzmäßigkeiten der Lichtausbreitung und diese kann man mit dem veralteten Murks nicht umsetzen.

Hast Du deshalb vor ein paar Minuten nochmal alle Beiträge von mir mit nem freundlichem HaHa geliked?

Dabei ging es mir nicht darum, deinen Beitrag ins Lächerliche zu ziehen, sondern ganz klar mein Missfallen über diese Aussagen auszudrücken. Warum liest du dich nicht stattdessen wenigstens oberflächlich in die Thematik ein?

Bezgl. Augen von Avataren, das gabs auch schon in Starfield Mods, also nix Neues, nur das es jetzt bewusst automatisch
passiert.

Mit den Mods tauscht du nur die Textur aus. Eine statische Tapete.
Diese Mod Textur hat keinerlei Verständnis für die Spielewelt.

Wenn sich die Lichtverhältnisse im Spiel ändern, bleibt das Auge abgesehen von vielleicht einfachen specular maps die sich nicht ändern völlig starr und reagiert nicht dynamisch auf die Umgebung, das ist der fundamentale Unterschied, der nicht in deinen Schädel will. Das gleiche hat dir schon @lateLex in den vorherigen Beiträgen erklärt.

Und deshalb die Freiheit hat, die Processingpipeline zu verlängern

Die "processingpipeline" besteht hauptsächlich aus verfügbarer Rechenzeit, das ist die Währung mit der bezahlt wird.
Wenn ich nun ein Verfahren habe, dass deutlich schneller, bessere und genauere Beleuchtungsergebnisse erzielt als weiter Strahlen mittels Pathtracing zu verschießen und das Ergebnis dann auch noch aufwendig denoisen zu müssen, wird die Pipeline in der Konsequenz drastisch verkürzt.

Das ganze neue Vefahren unterstellt, das die KI die Szene besser versteht als der Artist.

Nein, das neue Verfahren ist effizienter und der Artist entscheidet wie er es nutzt.
Jetzt ist der Artist lediglich nicht mehr derart in der Rechenleistung limitiert und kann über die "neurale Abkürzung" die Grafikqualität steigern.

 

[inhuman_nature]

Vielleicht gefällt dem Modell die Narbe nicht und es entfernt sie.

Zur Sprache des Zitates:
Korrigiert mich gerne, aber soweit ist die KI noch nicht, dass sie individuellen Charakter, Geschmack und ein Bewusstsein hätte. Ihr kann also nichts gefallen. Ich stelle mir vor, dass die KI Vorgaben erhält, Muster erkennt, vergleicht und anwendet.


Für mich sind folgende Fragen weiterhin offen:

• Welche Rechenleistung wird dafür benötigt?
• Produziert neurales Rendern ansehnliche Grafik auf GPUs unterer Mittelklasse?
• Wie verhält es sich mit Latenzen?
• Welcher Energieverbrauch geht mit neuralen Rendern einher?
• Würden Ergebnisse tatsächlich realistischer oder doch verfremdet?
• Würde künstlerische Absicht tatsächlich gewahrt oder doch verfremdet?
• Würde Grafik dadurch generischer und verlören Spiele damit stärker ihren Charakter?
• Sie sieht das Ergebnis und der Energieverbrauch im Verhältnis zu Raytracing und Pathtracing aus?

Insofern bleibe ich skeptisch.

 

[RX480]

Und vergiss nicht, DLSS5 bringt ne zusätzliche Lichtquelle, weil der Artist zu faul war.

weil die KI die Szene soundso besser versteht, kann das jetzt den Artisten entlasten

Hast du dir denn die Mühe gemacht, dir die ausführlichen Erklärungen von @lateLex wenigstens etwas zur Gemüte zu führen und einzusehen, dass du dich da kolossal verrannt hast?

Da dachte ich, du beginnst zu verstehen und dann dieser Klopper, der vorn und hinten keinen Sinn ergibt.

meinte Er zu meinem Post, Zitat oben

Wenn die zusätzliche Lichtquelle keinen Sinn ergibt für LatexLex dann hat er wahrscheinlich gar nicht richtig hingeschaut, wie sich das auswirkt.
OK, ich muss insofern etwas zurückrudern, als ich dem Artist nicht Faulheit unterstellen wollte, er kann ja nur soviel h arbeiten,
wie er budgetiert/bezahlt bekommt.

 

[Graphiccarsten]

Nach deiner Logik sind die Entwickler bloß zu faul, weshalb wir nicht schon vor zwei Jahrzehnten die Grafik von heute hatten. Wer die technologischen Grenzen von Hard- und Software so komplett ausblendet, dem ist echt nicht mehr zu helfen.

 

[Nobbi56]

Hätten früher die Entwickler Zugriff auf die heutige Leistung gehabt würde es genauso gleich aussehen.

Das magst du Recht haben.

ABER gehörst du noch zu der Generation, die von Spielen wie Silent Hill 1 oder 2 geprägt wurde?

Dann wird dir der "ikonische" Nebel aus diesen "Meilensteinen der Spielgeschichte" sicher in Erinnerung sein.

Dieser Nebel war aber allein den technischen Limits der damaligen PlayStation-Hardware geschuldet ,wie Konami später erklärte.

Und dennoch war es genau dieser "Mangel", der zu der so unheimlichen udn dichten Atmosphäre maßgeblich beigetragen und die Spiele "unsterblich" gemacht hat. Nicht umsonst heißt es "Weniger kann manchmal mehr sein."

Die KI von DLSS 5 hätte diesen Nebel natürlich gandenlos entfernt. Wären die Spiele dadurch "schöner" gworden? Ich glaube, ja. Wären sie "besser" geworden? ich glaube, nein.

Meine Befürchtung ist, dass wir still und leise Fotorealismus zum "heiligen Gral" von Videospielen stilisieren und dabei vergessen, was ein wirklich GUTES Game ausmacht - und das ist eben - aus meiner Sicht (sic!) . -NICHT eine möglichst "realistische" Optik. Die begrenzten technischen Möglichkeitren nötigten die Entwickler früher, ihr ganzes kreatives "know-how" aufzuwenden, um diesen "Mangel" zu kompensieren. Aber wozu heutzutage noch kreativ sein, wenn einem eine Superduper KI alles abnimmt und zudem den Publishern viel Geld spart?

Darauf bist du NICHT eingegangen:

Die haben noch Seele.

Und genau das ist es, was keine KI der Welt hat (und vermutlich auch niemals haben wird)!

LG N.

 

[Graphiccarsten]

Die KI von DLSS 5 hätte diesen Nebel natürlich gandenlos entfernt.

Woher hast du das nun wieder? Es wird ganz grundsätzlich nichts entfernt, das ist doch die ganze Basis von DLSS5. Erst das klassische rendering und auf Basis dessen dann das neural rendering.

Die begrenzten technischen Möglichkeitren nötigten die Entwickler früher, ihr ganzes kreatives "know-how" aufzuwenden, um diesen "Mangel" zu kompensieren.

Und wenn diese Tools eine bessere Grafikdarstellung nun wesentlich erleichtern oder sogar beschleunigen, bedeutet das, dass das Storytelling und die Inhalte links liegen gelassen werden?
Die Dinge haben miteinander doch gar nichts zu tun.

Und genau das ist es, was keine KI der Welt hat (und vermutlich auch niemals haben wird)!

Indie-Games und "alte Spiele" haben Seele, neue Spiele mit generativer KI für höhere Grafikqualität nicht? Könntest du das einmal logisch begründen?
Ich dachte du möchtest Spiele nicht anhand der Grafikqualität beurteilen?

 

[Algo]

Wie um alles in der Welt sollen denn vordefinierte, offline trainierte KI Modelle dynamisch auf aktuelle Spieleingaben und globale Beleuchtung reagieren?

Werden die Modelle jetzt mit der passenden Beleuchtung im Paket ausgeliefert? Das würde ja bedeuten, wir sind zurück bei statischen Schattenflecken unter der Spielfigur wie vor 30 Jahren, gehört mit zum Modell.

Wenn deine Spielfigur im Spiel an ner roten Neonreklame vorbeiläuft, muss sich dieses rote Licht physikalisch korrekt auf der Haut, in den Augen und in den Haaren brechen.
Das kann kein Entwickler der Welt vorab offline berechnen.

Jetzt hat Nvidia mit RTX schon vor Jahren Raytracing global illumination eingeführt. Mit Pathtracing wird praktisch alles geraytraced. Das wurde uns als non plus ultra eingebleut. Kaum bringt Nvidia eine schlechtere Version davon mit DLSS5 postprocessing, wird von machen das wieder in den Himmel gelobt. Ja was denn nun?
Außerdem ging es in der ursprünglichen Vorstellung auch um besser aussehende Charactermodelle. Was war man stolz bei Nvidia und Bethesda auf die "hübscheren" Charaktere dank DLSS5. Darauf bezog sich meine Aussage.

Das wundert mich bei deiner ignoranten Herangehensweise an die Thematik absolut gar nicht.

Arrogant? .... OK wenn du meinst. Ich bin Programmierer .... auch ich "darf" KI tagtäglich nutzen als Tool durch meine Arbeit. Ja es kann Hilfreich sein. Man muss aber auch die Grenzen sehen. KI ist nicht perfekt. Sie macht massig Fehler die man als Programmierer abfangen und korrigieren muss. Oft bedarf es mehrerer Iterationen um an ein annehmbares Ergebnis zu kommen. Also bitte entschuldige wenn ich das nicht alles so mit rosa Augen sehe und dann vielleicht arrogant rüber komme.

 

[MysticBinary82]

Ich freue mich da richtig drauf. Ich finde es klasse, dass NVIDIA immer noch Innovationen für uns Gamer vorantreibt.

Ich habe dich zwar zitiert jedoch kritisiere ich dich nicht persönlich sondern viel mehr den blinden Hype.

NVIDIA macht das nicht aus liebe zu den Gamern. Genau so wie Raytracing. Ganz im Gegenteil. Raytracing war der geile Shit und man hat "echte" Reflexionen überall gesehen, dann irgendwie nicht mehr, dafür brauchte man dann Pathtracing -> auf einmal das echte Raytracing. Das einzige was diese Technologien geschafft haben ist NVIDIA extrem viel Geld in die Taschen zu spülen, weil niemand kritisch hinterfragt hat -> aber die die es getan haben wurden mundtot gemacht; Sie würden ja in der Vergangenheit leben und wöllten kein Fortschritt.

Wenn man die Technologie wirklich hätte vorantreiben wollen, dann wären wir bei Raytracing schon viel weiter aber wozu, der Kunde bezahlt ja auch kleine Entwicklungszyklen. Man bedenke, dass NVIDIA Raytracing 2018 eingeführt hatten, warum ist das noch nicht durch die bank weg "nativ" flüssig spielbar?

Nun ist das gleiche mit "AI". NVIDIA hängt da halt massiv drin in dem Markt und will seine Produkte verkaufen, Vorbild Apple.