Special DLSS 5 im Details: Drei KI-Modellen auf einer Geforce-Grafikkarte

Wenn DLSS 5 für dich ein "Filter" sein soll, dann ist letztendlich alles, was mit KI-Modellen berechnet wird, ein Filter, ganz wie der vorhin erwähnte Filterkaffee, da habe ich der Argumentationslogik offenbar völlig korrekt vorgegriffen.
Häh, was ist das denn für eine krude Schlussfolgerung?

DLSS5 greift ein nach dem das Bild komplett gerendert wurde und manipuliert es dann. Das ist per Definition ein Post-Processing Filter. Zwar ein sehr mächtiger, aber es bleibt einer.

Und mir ist das, genauso wie vielen anderen, ein Dorn im Auge. Ich möchte nicht dass solche Dinge generiert werde. Ich möchte dass sie per Hand von einem echten Menschen erstellt werden. Das mag altmodisch und aus der Zeit gefallen sein, aber mir ist es so lieber. Genauso wie ich keine KI generierten Synchronsprecher oder gar Videos möchte.

Und jetzt komm mir bloß nicht mit „falsch“. Das erste ist ein Fakt und das zweite meine Meinung.
 
Zuletzt bearbeitet:
Nicht, dass die Buchenholzstuhllehne aus obigem Beispiel auf einmal mit dem Buchenholztisch dahinter verschmilzt, wenn der Kontrast zwischen beiden aus bestimmten Winkeln gen Null geht.
Genau, und weil DLSS 5 Zugriff auf diese Daten hat Vektoren/Masken/Albedos hat ist es kein Filter und der Buchenholztisch wird genauso wenig mit der Birkenholzstuhllehne verschmelzen wie zwei völlig separate Objekt IDs in einer professionellen 3D Engine wie Unreal. Für den Algorithmus sind Tisch und Stuhl glasklar getrennte Instanzen.
Ich erinnere hier an die unsäglichen 3D-Konvertierungen von 2D-Filmen – über weite Teile muss DLSS die gleichen Herausforderungen meistern
Du schiebst DLSS5 gedanklich in die Schublade generativer KI mit prompts. Ein Bildgenerator hat in der Tat kein ausgeprägtes räumliches Verständnis.
Was glaubst du eigentlich wie 2D zu 3D Konvertierungen im Jahr 2010 funktioniert haben? Das war händische Sklavenarbeit, ein Servercluster hat das nicht mit KI"berechnet", der hat nur die händisch freigestellten Ebenen gerendert. (Rotoskoping) :klatsch:
Da ist nix unvollständig ... der Frame ist bereits fertig gerendert bevor DLSS5 mit dem Post Processing anfängt.
In der Demo schon, denn das komplett fertige Bild inkl. neural rendering liegt ja erst dann vor wenn DLSS5 mit dem "post processing" fertig ist. ;) Jetzt hängst du dich sogar schon an Formulierungen auf.
Häh, was ist das denn für eine krude Schlussfolgerung?
Warum soll das krude sein? Bei euch ist es doch egal welche Kaffeesorte man verwendet, ob man ganze Bohne oder Pulver in unterschiedliche Kaffeemaschinen hineingibt und wie diese das verarbeiten.
Am Ende ist das was unten herauskommt einfacher "Filterkaffee" und die Maschine, egal was sie tut, der billige "Filter" für wenige Cent.

Ergo reicht eine Billig-Maschine von "Ramba-Zamba" für 10 Euro von der Resterampe und man muss gar nicht in einen Kaffee-Vollautomaten investieren, weil dieser eh nichts besser kann und die Abläufe in der Maschine nicht von außen betrachtet werden können und das Angst schürt.
Tut mir leid, eine bessere Analogie um das in das Real-Life für Leute mit langer Leitung zu übersetzen, fällt mir gerade nicht ein.
DLSS5 greift ein nach dem das Bild komplett gerendert wurde
Korrekt.
Das ist per Definition (...) Post-Processing...
Ja, es ist Post-Processing.
Ich möchte dass sie per Hand von einem echten Menschen erstellt werden.
Warum schreibst du das nicht einfach von Anfang an, anstatt DLSS5 rundenlang irgendwelchen technischen Unsinn anzudichten? Wenn du einfach gesagt hättest, dass du traditionelle Handarbeit bevorzugst und ein Nativ-Romantiker bist, wäre die Sache erledigt gewesen.

Es gibt auch Leute die nur Bio Produkte Essen oder kein Eis mögen und auch lieber das flimmernde per Handarbeit gecodete TAA bevorzugen, anstatt das neuronal trainierte KI-Upscaling zu benutzen. No Front. Mach das so. Ob das leistungstechnisch und von der Bildqualität her sinnvoll ist sei mal dahingestellt, aber das steht mir nicht zu es zu bewerten, ist schließlich deine Meinung und das ist ok so.
Genauso wie ich keine KI generierten Synchronsprecher oder gar Videos möchte.
Ein KI-Synchronsprecher erzeugt völlig neue, fiktive Audioformen aus dem Nichts, basierend auf reinem Text. Er hat kein physisches Fundament, genauso wenig wie ein KI-Video das aus einem Prompt erstellt wird. Du verfehlst komplett das Thema wie (fast) alle anderen zuvor.
 
Zuletzt bearbeitet:
Anhang anzeigen 1527791

Wenn man ganz offen zugibt, das man die Licht/Schattenverhältnisse ändert, dann könnte das auch jedes Studio selbst im
Game machen,. sprich einfach weniger Schtten in Games und schon würde es anders aussehen.
(man würde immer aus Kamera-Sicht ein zusätzliches Licht benutzen, damit Schatten nicht so oft/stark auftritt)

im Anhang mal das Bild mit den Rosen gespiegelt mit/ohne FakeLicht
logischerweise sieht der Hintergrund im Schatten dann ganz anders aus.

Heutzutage ist der Witz, das im Schatten die Texturen und AO weggebügelt werden, was jetzt durch den Trick zurückgeholt wird.

Das man generell bei der Charaktererstellung AI benutzen könnte, in vom Artist kontrolliertem Maß, wird wohl kommen und ist
nach m.E. auch nicht schlimm, weil da Nachholebedarf ist.
Generell könnte AI helfen natürliche Bewegungen der Avatare+Bots in die Gamephysik einzubauen, was aber nix mit dlss5
zu tun hat.
Ja, genau!
 
Anhang anzeigen 1527874

Wollte bei dem Post von Latex keine HaHa liken, damits nicht missverstanden wird.
aber
vllt. isses ne Anregung für AMD+Intel+NV, was sich der Zauberer Wizzard (von TPU) so wünscht.

Eigentlich könnte aber die KI direkt "mit Bedacht" bei der Spielentwicklung eingesetzt werden, dann brauchts auch keine KI-Nachbearbeitung.
Oha, das habe ich bei der Recherche tatsächlich übersehen. Danke für den Hinweis! Dann ist AMD noch weiter abgeschlagen. Die arbeiten an FSR ‘Diamond’, das auch eine NR Komponente enthalten soll. Was damit genau erreicht werden soll, ist mir aber derzeit nicht klar. Eine direkte Positionierung gegen DLSS 5 (oder dann schon 6) ist aber wahrscheinlich. Auf RDNA 4 wird das wohl nicht laufen, weil es (auch) in Hardware gegossen werden soll.
 
Zuletzt bearbeitet:
Das ist einfach nicht optimal wenns dann wieder mehrere Wege/Lösungen gibt.

Seit Microschrott nicht mehr aus dem Knick kommt ist das ein teures Nebeneinander.Jeder erfindet das Rad neu.
Hatte eigentlich mal gehofft das mit directML es wieder mehr in Richtung gemeinsame Standards geht und direkt
in den Games einheitliche Sachen implementiert werden.

bestes Bsp. ist der DLSS+FSR+XeSS dll speicherort
Warum nicht zentral in Win32 ?
Und ein MS-Streamline-Pendant für Alle.

positiv finde ich allerdings, das man jetzt vorkompilierte Shader bei der Installation bekommt
Es geht doch, wenn man will!
 
Zuletzt bearbeitet:
Das ist einfach nicht optimal wenns dann wieder mehre Wege/Lösungen gibt.
Naja, es ist ja quasi nur eine. :DNvidia hat den gesamten Markt. Von AMD kommt da ja nichts. Die kommen erst zwei Generationen später auf die Idee, man könnte ja mal das machen, was Nvidia schon lange macht, weil das ja doch "ne ganz nette Idee ist". :D
 
Zuletzt bearbeitet:
Häh, was ist das denn für eine krude Schlussfolgerung?

DLSS5 greift ein nach dem das Bild komplett gerendert wurde und manipuliert es dann. Das ist per Definition ein Post-Processing Filter. Zwar ein sehr mächtiger, aber es bleibt einer.

Und mir ist das, genauso wie vielen anderen, ein Dorn im Auge. Ich möchte nicht dass solche Dinge generiert werde. Ich möchte dass sie per Hand von einem echten Menschen erstellt werden. Das mag altmodisch und aus der Zeit gefallen sein, aber mir ist es so lieber. Genauso wie ich keine KI generierten Synchronsprecher oder gar Videos möchte.

Und jetzt komm mir bloß nicht mit „falsch“. Das erste ist ein Fakt und das zweite meine Meinung.
AI ist nur ein Tool, ein Mensch verfasst noch immer den Prompt und/oder gibt vor welche Masken wo angewendet werden in DLSS5. Plus Modell-Auswahl. Für die Zukunft von DLSS stelle ich mir vor das Entwickler ihre eigenen AI-Modelle beisteuern können und so noch mehr Zugriff darauf haben.

RT + AI Upscaling wurde hier bei RTX Release 2018 auch belächelt und heute ist das quasi Standard, AI wird nicht mehr verschwinden sondern sich den Gegebenheiten anpassen
 
Und mir ist das, genauso wie vielen anderen, ein Dorn im Auge. Ich möchte nicht dass solche Dinge generiert werde. Ich möchte dass sie per Hand von einem echten Menschen erstellt werden. Das mag altmodisch und aus der Zeit gefallen sein, aber mir ist es so lieber. Genauso wie ich keine KI generierten Synchronsprecher oder gar Videos möchte.
Was du monierst, findet hier gar nicht statt. Der Teil der "Generierung" ist extrem eng gesteckt, wie NVIDIA selbst in der Präsentation sagt (keine Katzenvideos mehr möglich ^^). Das Modell ist quasi bewusst "stumpf" gehalten: Es ist auf genau eine Aufgabe trainiert, und die macht es so realitätsgetreu wie möglich — genau deshalb funktioniert das Ganze.

In der Präsentation wird das explizit am Beispiel einer Narbe erklärt:

NVIDIA Keynote (11:35) schrieb:
Say the hero has a scar and the model just don't like it. It removes it. Yeah, the image now looks cleaner, but it's the wrong character. So, we drew a hard line and train the model in a way to respect those intent.

Und wie das technisch abgesichert wird:

NVIDIA Keynote (11:49) schrieb:
And we use some of the renderers internal buffers such as albidos, surface normals, and some of the lighting information to make sure the model can understand what it has to stay consistent with.

Das Fazit dazu:

NVIDIA Keynote (12:18) schrieb:
So, the scar can pick up better skin shading, but it should never disappear. And DLSS 5 must change the image in a way that it does not change the story.

Das Modell darf also nur innerhalb enger Schienen Realismus verbessern — bessere Materialien, Licht, Schatten — aber niemals kreative Entscheidungen ändern. Die künstlerische Kontrolle bleibt komplett beim Menschen.
 
Naja, es ist ja quasi nur eine. Nvidia hat den gesamten Markt. Von AMD kommt da ja nichts. Die kommen erst zwei Generationen später auf die Idee, man könnte ja mal das machen, was Nvidia schon lange macht, weil das ja doch "ne ganz nette Idee ist". :D
Jein, AMD muss selbst warten, bis es erstmal die nötige Hardware hat.
Hätte man bei RDNA4 schon an DLSS5 denken können, vermutlich nicht.
(wird NV nicht groß rumerzählt haben was da genau geplant ist, was die Hardware können muss)

Und momentan weiss noch Keiner was man für DLSS5 für Rechenpower braucht.
isses ein einfacher zusätzlicher deferedLighting Renderpass oder doch viel anspruchsvoller
(bei Ersterem würden evtl. die Raster-Fps um 30-50% sinken)

die optimale Position der zusätzlichen Lichtquelle würde die CPU in nem extra Thread liefern können
(wäre auch noch überschaubar vom Aufwand her)

oder die CPU entfernt die "Narbe"
 
Zuletzt bearbeitet:
Sowas kann gut sein, wenn der overall Kritiker erst ab 21. April auftaucht, quasi passend zum Thema.(x)
Wird doch nicht etwa ein Bot sein?

Hoch lebe die KI

(x) müsste man mal schauen bei welchem Thread er erstmalig aktiv wurde

btw.
Da fällt mir gerade ein, die Jungs vom 3dC machen da noch nen extra Test um ihr Forum vor Bot´s zu schützen.
 
Zuletzt bearbeitet:
Is halt ein Post Processing KI Filter ... bin gespannt ob das in schnellen Bewegungen konstant bleibt oder auseinander fällt.
Glaube nicht das das einer ist.
Is eben kein simpler Filter weil das Ding direkt mit Sachen aus der Engine arbeitet.
Aber wegn den schnelln Bewegungen bin ich auch mal gespant, ob die KI da Schlieren zieht.
Spiele gerne mit bessarer Grafik als mit AMD GPu, deshalb hab ich nvidea gekauft.
 
oder die CPU entfernt die "Narbe"
Die wird am Monitor mit einem Stück Gaffer überklebt, allerdings darf man sich damit dann nicht mehr bewegen. :-)
die optimale Position der zusätzlichen Lichtquelle würde die CPU in nem extra Thread liefern können
(wäre auch noch überschaubar vom Aufwand her)
Eine CPU einen "extra Thread" berechnen zu lassen, um die "optimale Position einer Lichtquelle" für Millionen von Pixeln pro Sekunde zu bestimmen, verursacht wohl einen Frame pro Minute.
Das macht alles die GPU viel schneller. Glaube Doom lief in den 90ern rein über die CPU.:D
Sowas kann gut sein, wenn der overall Kritiker erst ab 21. April auftaucht, quasi passend zum Thema.(x)
Wurde DLSS5 nicht schon mitte März vorgestellt? Kann mich auch irren. Ah, nein es war mitte März.
Ist also nicht nur mir aufgefallen :D
Mist, ertappt! "Wir" mit dediziert anderer Meinung sind eigentlich alle nur die KI-Accounts von Jensen, die im Hintergrund seine Lederjacke finanzieren, aber wie wäre es beim Thema zu bleiben? °_°
 
Zuletzt bearbeitet:
Ich wollte eigentlich nichts dazu sagen, aber es sind immer wieder Leute aus der roten Fraktion, die alles schlechtreden, wenn Nvidia etwas veröffentlichen möchte. Wir sollten froh sein, dass es Unternehmen wie Nvidia gibt. Hätten wir nur Radeon, wären wir immer noch beim Raster. Sorry, aber das ist nun mal die Realität. Ich bin auch kein Fan des Unternehmens, aber die Produkte sind einfach verdammt gut. Ich freue mich auch auf DLSS 5. :daumen:
Bitte was? Ich habe ganz ehrlich nicht die geringste Idee, was Du überhaupt sagen willst. DLSS 5 hat nichts, aber auch wirklich gar nichts mit "Spiel heller machen" zu tun. Durch "heller machen" bekommst Du kein Sub Surface Scattering, kein Kontaktschatten, keine korrekte physikalische Lichtreaktion auf unterschiedliche Materialien, keine korrekte Verschattung auf große Distanzen, usw.

Also entweder sind mir Deine Aussagen viel zu hoch, so dass ich sie intellektuell nicht erfassen kann, oder das Gegenteil ist der Fall... So oder so erscheint mir ein Austausch mit dir nicht sinnvoll zu sein. Das ist, als würden wir verschiedene Sprachen sprechen.
Vielleicht verwechselt er es mit der RTX-Dynamischen Farbanpassung, bei der einfach ein Filter darübergelegt wird, der alles heller erscheinen lässt.:ka:
 
AI ist nur ein Tool, ein Mensch verfasst noch immer den Prompt und/oder gibt vor welche Masken wo angewendet werden in DLSS5. Plus Modell-Auswahl.
Yeah, das ist so generell eine Misconception, hab ich das Gefühl, wenn's um AI geht, also ob man nichts mehr machen müsse. Was für eine Denkarbeit hinter dem Erstellen der Anweisungen und Prompts steckt, wird immer ausgeblendet.
 
Danke hier an alle, die so gut helfen die Technik dahinter zu erklären.
:-)

Ich bin aktuell noch auf einer AMD Grafikkarte und war damals schon etwas "neidisch", weil ich das eine coole Sache finde und AMD in Features immer etwas hinterherhinkt. Das ist wieder ein Schritt in die Zukunft und wird die Grafik vorantreiben. Wem es nicht gefällt, der kann es ja ausschalten, aber Features werden trotzdem weiter entwickelt und es gibt viele, die das feiern und lieben, sich aber nicht unbedingt im Forum bzw. Internet dazu austauschen. Die meisten Gamer nutzen es einfach und es gefällt. Das ist ja auch mit Bewertungen so: Die, die unzufrieden sind, melden sich eher, als die, die zufrieden sind.

Jetzt in eigener Sache und mit minimaler Off Topic-Einleitung:
Da ich mir nun einen 4k OLED gekauft habe, fehlt noch die passende GPU. Daher eine Frage, die vermutlich keiner genau beantworten kann, aber vielleicht können die technisch versierten eine Art Prognose abgeben.
Was denkt ihr, wie "kostenintensiv" das neue Feature sein wird? Ich überlege aktuell eine 5070ti oder eine 5080 zuzulegen. Die 5080 ist jedoch sehr teuer aktuell und hat auch nur 16 GB VRAM. Die Frage ist, wenn ein Spiel derzeit schon auf bspw. 60 FPS mit DLSS Quality läuft, kann man einen so krassen Einbruch wie bei Path Tracing erwarten (vermutlich nicht) oder eher einen "Einbruch", wie wenn man RT anstellt (vielleicht doofe Vergleiche).
Vermutlich werden auch die Anzahl der Tensor Kerne wichtig sein?
Ich weiß, dass das alles nur Spekulationen sein können, aber vielleicht kann man anhand des Verständnisses der Technik schon mal eine grobe Richtung geben.
 
Du bist doch selbst ein troll-bot bei diesen Anmerkungen ...
Klar wir gehen wieder zurück zu CPU Software-Rendering
Du hast anscheinend k.A. was die Aufgabe einer CPU ist.

ohne Geometriedaten = keine Narbe
(genaue Lage, Ausrichtung und Größe festlegen)

Die beste Position für die zusätzliche Lichtquelle ermitteln = genau senkrecht zur Wand = minimaler Rechenaufwand
Höhe der Lichtquelle je nach Hindernissen, damit das Licht auch ankommt.

also simple Geometrieberechnungen für die man nicht TFLOPS von FP32 blockieren muss

CPUs is doch viel zum langsam für sowas
Du hast in dem Bsp. mit den Rosen nur einen Raum mit ner Wand hinter den Rosen, die durch ein zusätzliches statisches Licht
etwas erhellt werden soll, damit AO wieder funzt.
(das Gleiche gilt auch für das Bsp. in Starfield, der Raum benötigt nur eine zusätzliches statisches Licht von Oben Vorne)

Erst der eigentliche defered Lighting Pass wird von der GPU berechnet.

btw.
Wie kommen eigentlich die ganzen Wichtigtuer auf die Idee, das DLSS 5 dynamische Lichtquellen braucht.
Es wird nur ein Bild berechnet.
Dann beginnt beim nächsten Bild der Zirkus von vorn, bei Null.
Also kann die Ki ganz einfach jedesmal einzeln ne zusätzliche statische Lichtquelle für Ihr gewünschtes Ergebnis setzen.
 
Zuletzt bearbeitet:
Zurück