Special DLSS 5 im Details: Drei KI-Modellen auf einer Geforce-Grafikkarte

Das einzige was diese Technologien geschafft haben ist NVIDIA extrem viel Geld in die Taschen zu spülen, weil niemand kritisch hinterfragt hat.
Ich hoffe, du stehst morgens auch nicht nur rein "aus Liebe" auf und stellst deine Zeit und Arbeitskraft anderen Mitmenschen völlig unentgeltlich zur Verfügung.
NVIDIA ist ein Wirtschaftsunternehmen und keine Wohlfahrt, natürlich wollen die Geld verdienen, genau wie jeder Angestellte auch.

Mit dem Argument "die machen das nur für das Geld" kannst du im Grunde jede einzelne Innovation der Menschheit kritisieren. Ob man damit am Ende Geld verdient hängt aber von der Qualität der Arbeit ab die man abliefert, das Gesetz gilt mehr oder weniger überall.
Ganz im Gegenteil. Raytracing war der geile Shit und man hat "echte" Reflexionen überall gesehen.
Richtig, Raytracing hat zum allerersten mal Reflexionen ermöglicht, die nicht aus dem Bild gewischt werden müssen und von Artefakten geplagt sind, sobald sich die Kamera bewegt oder ein Objekt aus dem Sichtfeld verschwindet, ein Meilenstein.
dann irgendwie nicht mehr,
Du hast die Entwicklung der letzten Jahre völlig verschlafen. Nach den Reflexionen kam mehr Hybrid-Rendering wie raytraced shadows, RTAO, RTGI und mit Pathtracing wurden diese Dinge dann verschmolzen und von Rasterisierungsprozessen abgekapselt. Es gibt keine Raster-Inhalte mehr für die Beleuchtung.
aber die die es getan haben wurden mundtot gemacht; Sie würden ja in der Vergangenheit leben und wöllten kein Fortschritt.
Ja, zurecht. Du bist offenbar genau jemand, der lieber in der Vergangenheit leben möchte, anstatt die technologische Evolution der letzten Jahre zu verstehen.
Wenn man die Technologie wirklich hätte vorantreiben wollen, dann wären wir bei Raytracing schon viel weiter
Wir sind heutzutage schon viel weiter. Wir befinden uns angefangen bei wenigen Spiegelungen aus Pfützen in Battlefield 5 nun bei der kompletten Simulation aller Lichtpfade durch reines Pathtracing, das die klassische Raster Beleuchtung vollständig ersetzt und nebenbei auch Spiegelungen von damals in viel höherer Präzision bietet.

Und DLSS5 setzt noch einen ähnlichen Sprung obendrauf.
 
Wenn man die Technologie wirklich hätte vorantreiben wollen, dann wären wir bei Raytracing schon viel weiter aber wozu, der Kunde bezahlt ja auch kleine Entwicklungszyklen. Man bedenke, dass NVIDIA Raytracing 2018 eingeführt hatten, warum ist das noch nicht durch die bank weg "nativ" flüssig spielbar?
Vorweg: In der 3D-Echtzeitgrafik ist "nativ" Geschichte und wird niemals wiederkommen. An alle Native-Anachronisten: Findet Euch bitte endlich damit ab!

Kann es sein, dass du in Sachen Raytracing eine völlig falsche Vorstellung von der Verbreitung und Nutzbarkeit hast?

Die meisten der folgenden Engines und Spiele laufen einwandfrei auf Mittelklasse-Hardware und Konsolen. Raytracing ist mittlerweile die Standardbeleuchtung in 60 bis 70 Prozent aller 2025 oder 2026 erschienen AAA-Spiele.

Engines:
- Epic Games, UE5 (UE6)
- Capcom, RE Engine
- Ubisoft, Snowdrop Engine
- Ubisoft, Anvil Engine
- Remedy Entertainment, Northlight Engine
- Rockstar, RAGE Engine
- Pearl Abyss, BlackSpace Engine

Spiele:
- Resident Evil Requiem
- Pragmata
- Avatar: Frontiers of Pandora
- Star Wars Outlaws
- Assassin's Creed Shadows
- Alan Wake 2
- Indiana Jones und der Große Kreis
- S.T.A.L.K.E.R. 2
- Black Myth: Wukong
- GTA 6
- Windrose
- Gothic 1 Remake
- Crimson Desert

Tendenz schnell steigend.

Wenn Nvidia hier der Buhmann ist, Raytracing Performance aber offensichtlich enorm hohe Bedeutung hat, was ist dann mit den anderen Akteuren? Schlafen die alle? Oder wurde Nvidia hier zum Klassensprecher gewählt und hat sich allein um den Fortschritt zu kümmern? Raytracing ist übrigens keine Erfindung von Nvidia. Das gibt es, solange es Computer-Grafik gibt, die über einfache Punkte und Linien hinaus geht.
Das erste Ray Casting wurd 1968 eingeführt (für die Erkennung von Umgebungsverdeckung). Der Begriff Ray Tracing geht auf das Jahr 1979 zurück. Alle konkurrierenden Markteilnehmer hätten also viele Jahrzehnte die Chance gehabt, Nvidia die Show zu stehlen. Chance verpasst.

Nvidia war dann letztlich nur Vorreiter in der Implentierung eines längst bekannten Konzepts in Endkundenprodukte.
Nvidia ist auch der einzige Akteur, der für uns greifbar, bzw. unmittelbar bevorstehend aus der Skalierungsfalle bei Raytracing auszubrechen gedenkt und die Entwicklung maßgeblich voran treibt. Also genau das, was für "dann wäre Raytracing bereits viel weiter" notwendig ist.

Weder Intel noch AMD haben DLSS 5 derzeit etwas entgegenzusetzen. Warum nicht? AMD arbeitet mit FSR 5 an einer konkurrierenden Lösung (Gruß an alle AMD-Nutzer, die DLSS 5 aus einer vermeintlich sicheren Position heraus grundsätzlich ablehnen). Aber wann das kommt und wieviel es taugen wird, steht noch in den Sternen. AMD braucht aufgrund des aufwändigen Ansatzes dafür eine neue GPU Generation. RX 90 kann das zwar abbilden, aber wahrscheinlich bei weitem zu langsam. Immerhin soll hier während des Spielens ein lokales KI Modell trainiert werden. Das klingt nach Dia-Show und so richtig lustigen AI Slop Effekten (Morphing, Wabern, usw.). Nvidia hingegen, hat die nötigen GPU Features schon lange auf dem Markt.

Nvidias Geschäftsgebahren geht mir gegen den Strich. Ich lobe diesen Konzern sicher nicht über den grünen Klee. Ich hätte gerne preiswertere GPUs und mehr Endkundenfokus. Aber aus technologischer Sicht sind die allen anderen meilenweit voraus und treiben die Konkurrenz vor sich her.

Edit: Ich habe mich selbst hier einmal als Nvidia-Fanboy bezeichnet. Das muss ich relativieren. Ich bin großer Fan der R&D Abteilung, bzw. der Forscher und Ingenieure im Nvidia Konzern. Für den Konzern selbst, hege ich keine Sympathien.
 
Zuletzt bearbeitet:
"Sehen", in diesem Fall nicht nur des Materials, sondern auch der Form, der Umgebung und der (sich zum Teil außerhalb des Frames befindlichen) Beleuchtung, "kann" das Modell nicht einfach
Doch, genau das kann das Modell einfach. Heutige Modelle sind multimodal, die sehen und verstehen ein Bild – und das seit "Jahren".


Eingebundener Inhalt
An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.
 
Zuletzt bearbeitet:
Unbenannt.JPG


Wollte bei dem Post von Latex keine HaHa liken, damits nicht missverstanden wird.
aber
vllt. isses ne Anregung für AMD+Intel+NV, was sich der Zauberer Wizzard (von TPU) so wünscht.

Eigentlich könnte aber die KI direkt "mit Bedacht" bei der Spielentwicklung eingesetzt werden, dann brauchts auch keine KI-Nachbearbeitung.
 
hatte also schon klargestellt was ich damit meine
(cruncher work wird nicht immer perfekt sein können)
Klar, man muss einfach nur genügend Leute einstellen, die vorab manuell Milliarden Lichtpunkte für jede Bewegung des Spielers oder der Kamera setzen, und schon braucht man keinerlei Raytracing, Pathtracing oder neurales Rendering mehr und kann alles mit antiquierter Rasterisierung und statischen light-und shadowmaps erledigen.

Die Gehälter müssen auch nicht bezahlt werden, da alleine der idealistische Kampf gegen die Moderne die Mägen füllt.=)
Geb dem Artisten mehr h Zeit und er kann Dir die Beleuchtung gleichermaßen ändern wie das DLSS 5.
Merkst du eigentlich nicht, dass du dich logisch im Kreis drehst?
Wenn der Artist im Editor mehr Zeit verbringt, kann er die statische Beleuchtung ändern.

Er kann Lampen verschieben, Texturen hübscher malen oder Schatten auf den Boden baken.
Aber was nützt das dem Spieler auf dem Bildschirm, wenn sich zur Laufzeit die Szene dynamisch verändert?
Die Wände im Hintergrund more crispy darzustellen(1) oder Gesichter+Augen(2) lebendiger, ist kein Teufelswek, was nur DLSS 5 kann. Die Technik ist schon lange soweit.
Natürlich kann ein Artist eine Wand im Editor schärfer texturieren oder ein Gesicht detaillierter modellieren. Das ändert aber absolut nichts an den Hardwarekosten, wenn dieses Gesicht im Spiel von einer dynamischen Lichtquelle getroffen wird.
zu (1) : wie AO funktioniert hatte ich schon gepostet, ... gibts seit viiiielen Jahren, u.a. in Crysis
Jo, SSAO war ein billiger, fehlerhafter 2D Postprocessing Trick, funktioniert nur im sichtbaren screenspace und erzeugt dunkle häßliche Ränder, damit will heute niemand mehr arbeiten.=)
zu (2) schau Dir mal die Augen-mods für Starfield an, hatte ich auch schon erwähnt
Ja, das hast du erwähnt, der tauscht aber wie schon erwähnt nur die vorhandene Textur aus und interagiert absolut gar nicht mit der Lichtbrechung der Szenerie.
Könnte mir vorstellen das im Zuge der DLSS 5 - Debatte jetzt auch mehr auf die Materialeigenschaften/Darstellung der Haut bei den Avataren geachtet wird.
Subsurface Scattering stößt gewaltig an seine Grenzen, sobald das nicht mehr zur Szene passt.
(glaube nicht, das nur mit PT die Haut realistisch sein kann, sprich da wird auch mit konventionellen Mitteln Einiges gehen)
Ja, das geht alles irgendwie in wesentlich schlechter und mit mehr Aufwand und Rechenleistung, aber warum das tun, wenn man sich die Hardwarekosten zur Laufzeit sparen kann?
 
Nein, die neue KI-Lösung soll möglichst teures PT ersetzen.
bin gespannt, was man dafür als Hardware braucht

NV sagt selbst, das es egal ist, ob Raster, RT oder PT das basePicture ist.
DLSS 5 soll mit Allem zurechtkommen.

Da würde ich doch mit ner 5060... 4060...3060(?) erstmal Raster aufhübschen wollen.
und
Würde der Dev das selbst mit KI ingame, bei der Entwicklung, dann gänge es für ne noch breitere Hardware.
 
Zuletzt bearbeitet:
Das finde ich halt die spannende Frage, die man stellen sollte. :)

Generierte Spiele sind teilweise denkbar, und ich finde das spannend. Vor allem Singleplayer. Aber Kohärenz und Latenz bleiben die Hürden. NVIDIA experimentiert ja schon mit ACE, und KI-Koop-Begleiter, die wie echte Spieler agieren, gibt es auch schon. Ich tippe auf Hybrid: gebaute Welten, von KI lebendig gemacht — nicht komplett generierte Spiele.
 
Zuletzt bearbeitet:
Mittlerweile gebt ihr ja zu, dass es Post Processing ist.
Da verwechselst du die zeitliche Abfolge mit der technischen Funktionsweise. Niemand hat bestritten, dass DLSS 5 ansetzt, nachdem die Engine den ersten unvollständigen Frame ausgespuckt hat. Nvidia selbst beschreibt das genau so. Hier das entsprechende Bild.
Frame by Frame.JPG

Wie lange wirds dauern bis ihr das auch dazu sagt, dass es ein KI Filter ist bei dem man über Slider die Intensität der einzelnen Filter einstellen kann?
Es wird überhaupt nicht dauern, weil deine Definition von einem "KI-Filter“ technisch schlicht komplett falsch ist, genauso wie dein Versuch jemanden Aussagen unterzuschieben.

Die viel brennendere Frage ist: Wie lange wird es dauern bis du dich mit den Grundlagen vertraut machst und wann wirst du aufhören ohne jegliches Wissen und Recherche darüber zu diskutieren?
Er ist auch noch den 4 Monate alten DLSS5 Thread durchgegangen um überall ein Lach Smiley an Posts dran zu machen die Ihm nicht passen.
Genau das ist das Muster an Ignoranz. Ich habe mir deine und andere Beiträge nämlich genau deshalb angeschaut, um zu prüfen, ob diese falschen Behauptungen systematisch wiederholt werden. Und ja, das scheint zuzutreffen. =)
 
Zuletzt bearbeitet:
Das finde ich halt die spannende Frage, die man stellen sollte. :)

Generierte Spiele sind teilweise denkbar, und ich finde das spannend. Vor allem Singleplayer. Aber Kohärenz und Latenz bleiben die Hürden. NVIDIA experimentiert ja schon mit ACE, und KI-Koop-Begleiter, die wie echte Spieler agieren, gibt es auch schon. Ich tippe auf Hybrid: gebaute Welten, von KI lebendig gemacht — nicht komplett generierte Spiele.
Und nicht zu vergessen, man drängt den W11-Käufern z.T. jetzt die NPU´s auf.
Warum nicht diese Rechenleistung mitnutzen für intelligentere+natürlichere Bots.
In manchen Games laufen mir heute zuviel "Zombies" rum, und nein damit meine ich nicht Horrorgames.
(findet man auch in CP2077)
 
Aber irgendwo her hat das DLSS 5 die Ideen für die Texturen an Wänden im Hintergrund.
Du scheinst tatsächlich in einem einzelnen Aspekt mal den richtigen Weg eingeschlagen zu haben und die richtige Frage zu stellen.

Aber die Tatsache, dass du dich fragst, woher DLSS 5 die "Ideen" für die Texturen an den Wänden hat, zeigt, dass du rein gar nichts verstanden hast.
Ein neuronales Echtzeit Netzwerk wie DLSS 5 hat keine "Ideen", es halluziniert nicht wie ein Bildgenerator, sondern sie nutzt die Albedo-Texturen, Bewegungsvektoren und Objektmasken und weiß ganz genau wie die Wand im Hintergrund auszusehen hat. Durch Mustererkennung des Modells auf Supercomputern.

Die Original Textur dient als "Leitplanke", wie auf der Autobahn, damit du nicht die Böschung runtersegelst.
Das Modell kann die Textur doch direkt im gerenderten Bild "sehen" und verstehen.
So kann man es auch sagen.:)
 
Warum nicht diese Rechenleistung mitnutzen für intelligentere+natürlichere Bots.
In manchen Games laufen mir heute zuviel "Zombies" rum, und nein damit meine ich nicht Horrorgames.
(findet man auch in CP2077)
Ja bin ich absolut dafür! <3 Wenn schon eine NPU da ist, dann bitte gerne auch dazu. Das ist auch für mich der Ansatzpunkt schlechthin für KI: NPCs. Ich bin die zombiehafte, strunzdumme KI, mit der wir seit Jahrzehnten leben, sowas von leid. Ich träume von KI wie hier in der Ace-Demo. Oh mein Gott... Das wäre so cool. Aber wir bewegen uns ja in die Richtung und es gab ja schon Spiele, wo du mit einer KI redest im Game und die überzeugen musstest und so. Sind nette erste Gehversuche, das zu integrieren.

Eingebundener Inhalt
An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.
 
Nein, die neue KI-Lösung soll möglichst teures PT ersetzen.
bin gespannt, was man dafür als Hardware braucht

NV sagt selbst, das es egal ist, ob Raster, RT oder PT das basePicture ist.
DLSS 5 soll mit Allem zurechtkommen.

Da würde ich doch mit ner 5060... 4060...3060(?) erstmal Raster aufhübschen wollen.
und
Würde der Dev das selbst mit KI ingame, bei der Entwicklung, dann gänge es für ne noch breitere Hardware.
Weiß ja echt nicht ob du hier nur die ganze Zeit herumtrollst oder es wirklich nicht verstehen willst, das sind Effekte die dynamisch funktionieren sollen und nicht vorausgebackt vorliegen können bzw der designer vorher festlagen kann. Wir könnten uns dann aber auch gleich der 2000er Tech bedienen können lol
 
Jo, schreib mal an NV, ob sie ein älteres Games demo-en können.
MinimumRequirement=TAA für Bewegungsvektoren.

Eigentlich ist Starfield von der Technik her schon ein altes Game.
--> Könnte also bei ner Menge älterer Games ähnlich funzen.
(auch ohne PT)
 
Zuletzt bearbeitet:
... wenn etwas fast wie rendern ist kann es ja kein Filter sein.
Wenn DLSS 5 für dich ein "Filter" sein soll, dann ist letztendlich alles, was mit KI-Modellen berechnet wird, ein Filter, ganz wie der vorhin erwähnte Filterkaffee, da habe ich der Argumentationslogik offenbar völlig korrekt vorgegriffen.

Nach dieser bahnbrechenden Logik ist Raytracing dann wohl ein Spiegel-Filter und TAA ein Weichzeichner-Filter, oder?:-)

Ich finde es ehrlich gesagt ziemlich schwach, ein derartiges technisches Missverständnis als Argument aufzubauen und das dann auch noch rundenlang mit Usern zu spielen, die dem Thema nicht gewachsen sind.

Aber hey, in deiner ganz eigenen Informatik-Welt ist am Ende (wie bei PCGH_Thorsten die fehlende Echtzeit) eben alles nur noch ein Filter. Wenn ich mich von meinem Tesla autonom durch die Stadt fahren lasse, ist das wahrscheinlich auch nur eine Art von Brems- und Lenkfilter.

Du müsstest fordern, dass Elmo jede Straße der Welt im Vorfeld offline perfekt berechnet, als "Straßen-Map" auf die Peta-Byte Festplatte des Autos packt und der Tesla dann nur noch starr diesen Pfad abfährt. Und sobald dann eine Baustelle auftaucht oder ein Fußgänger auf die Straße läuft, crasht dein Filter-System, weil sich die Umgebung dynamisch verändert hat.:D

PS: Mir ist bewusst, dass du es insgeheim besser weißt, ich bin ja nicht blöde, bei PCGH_Thorsten bin ich mir jedoch relativ sicher, dass er es nicht versteht. :-)
 
Zuletzt bearbeitet:
Nun bin ich aber verblüfft, .. dachte das die Ki nur ein paar dumme Bildchen mit wenig Speicherplatz braucht,
so alle 10m von der Straße ein Bild, und sich den Rest selbst denkt.(x)

Evtl. liegts am Fahrer?

edit:
(x) falls ein Passant die Straße quert, sollte man die KI vllt. noch mit dem Hilfsassistent vernetzen, der für Notbremsungen zuständig ist und die Infos zu voraus Kfz gibts vom Abstandsassistenten
 
Zuletzt bearbeitet:
Da verwechselst du die zeitliche Abfolge mit der technischen Funktionsweise. Niemand hat bestritten, dass DLSS 5 ansetzt, nachdem die Engine den ersten unvollständigen Frame ausgespuckt hat. Nvidia selbst beschreibt das genau so. Hier das entsprechende Bild.
Anhang anzeigen 1527876
Da ist nix unvollständig ... der Frame ist bereits fertig gerendert bevor DLSS5 mit dem Post Processing anfängt.

DLSS5.jpg
 
Die Vorteile sieht man schon im Vergleich zu deiner eigenen Wortwahl: Dass die KI "erkennt" "da steht ein Stuhl aus Buchenholz" ist doch überhaupt nicht Ziel der Sache, sondern ein bislang begangener Umweg zwischen dem gewünschten Output "ein Bild, dass einen da stehenden Stuhl aus Buchenholz zeigt" und einer Level-Datei als Input, die "da", "stehen", "Stuhl" und "aus Buchenholz" ziemlich klar definiert. Dass wir aus diesen 3D-Informationen bislang mit viel Aufwand ein 3D-Bild rastern oder raytraycen, dass so etwas ähnliches wie einen dastehenden Stuhl aus Buchenholz zeigt, ist ein anachronistisches Artefakt.

So funktionieren halt alle gängigen Engines und wenn man die weiter verwenden will, dann muss man sich irgendwie in die vorhandene Architektur einfügen.

Ich hatte ganz zu Anfang die naive Vorstellung, dass man in Zukunft quasi eine KI-Engine hat, die die herkömmlichen Grafik-Engines komplett ersetzt. Der sagt man dann nur noch, "da" "steht" ein "Stuhl", und "dort" "läuft" eine "Person" von "A" nach "B".

Klingt im ersten Moment toll, nur hätte man dann eine komplett eigene Engine, die nur auf kompatibler Hardware läuft. Und wie ein Stuhl konkret aussieht ("Creators Intent"), und dass das überhaupt ein Stuhl ist, wäre damit immer noch nicht geklärt. So wie ich das verstehe, ist ein Stuhl ein Asset für die Engine, in der Geometrie und Oberflächen mittels eines gerüttelt Maß an Polygonen (5-stellig!) und Texturen definiert wird. Das sind also ziemlich viele Daten pro Asset, und blöderweise steht da trotzdem nirgends inhaltlich verwertbar drin, dass das ein "Stuhl" aus "Buchenholz" ist, sondern das ergibt sich für den Betrachter aus den gerenderten Daten des Assets.

Damit das also "ohne Umweg" funktioniert wie von Dir vorgeschlagen, bräuchte man auch komplett neue bzw. überarbeitete Assets.

Daher erscheint mir der angebliche "Umweg" über das gerenderte Bild ziemlich sinnvoll und pragmatisch. Man könnte sagen, das gerenderte Bild enthält für das betrachtende Modell alle notwendigen Informationen, und das bereits komprimiert.
 
Da ist nix unvollständig ... der Frame ist bereits fertig gerendert bevor DLSS5 ... anfängt.
Ich stelle mir das Ganze ähnlich einem zusätzlichen Defered Lighting Pass vor.
Die KI kennt anhand der Bewegungsvektoren die alten Lichtquellen und fügt noch eine neue zum Aufhübschen hinzu.
Dann könnte das auch jede normale GPU die defered Lighting kann zu Ende rechnen incl. AO und die Pixel nachtapezieren.

btw.
erstaunlich, was Alles für Infos schon im G-Buffer liegen, also nicht neu berechnet werden müssen
Anstatt Lichtquellen für jedes Objekt sofort zu berechnen, speichert die Engine alle Materialdaten (Farbe, Normalen, Tiefe) in sogenannten G-Buffers.
 
Zuletzt bearbeitet:
Zurück