News DLSS 4: Transformer Model soll 5 Prozent mehr Leistung kosten

[BlackyRay]

Das einzige was für mich wirklich interessant ist, ist ob die Latenz steigt. Also hat 60 FPS Native eine besser Latenz als 240 FPS mit MultiFG oder nicht. Reines Upscaling verwende ich schon jetzt immer. Bei FG bin ich noch immer skeptisch.

Ja. Auch das neue FG erhöht die Latenz und das auch abhängig davon wie viele Frames du generieren lässt wobei die zusätzlichen Frames (x2-4) wohl jeweils nur so 1-2ms zusätzlich bedeuten sollen)

Der Ansatz ist grundsätzlich Licht fast der gleiche wie beim Standard frame Generation mit dem Unterschied dass nicht zwischen zwei fertigen frames interpoliert wird sondern beim 2. Frame nicht 100% aller Daten verwendet werden sollen was vlt genau die zusätzlichen MS der zusätzlichen Frames wieder einsparen könnte.

Aber rein funktionell ist es schlichtweg unmöglich keine erhöhte Latenz zu haben, dass stets das 2. Gerenderte Bild ein klein wenig verzögert wird um Platz und Grundlage für die Zwischenframes zu schaffen....

(Läuft auch auf ADA)

Nein. Multi Framegen ist exklusiv für rtx5000

 

[RawMangoJuli]

Nein

Doch.

 

[BlackyRay]

Klar geht das, top Bildqualität. Und bezüglich fehlender Bildinformationen träumt uns die KI einen vor.
Aber sieht es dann noch so aus, wie vom Artdesigner gewollt oder bestimmt der Algorithmus jetzt mit wie Texturen, Objekte oder Details aussehen?

Dlss erfindet ja nicht sondern rekonstruiert nur. Wenn man jetzt nicht von 720p auf 4k hochskaliert (wo ggf. Zu viele Details schlichtweg verloren gehen könnten) wird grundlegend trotzdem noch das originale Bild wieder hergestellt werden.

Kann mir jemand erklären was Transformer ist.
Funktioniert es für MFG (Multiframe Gen x4) so wie AFMF 2 bei Radeon über den Treiber ?
Also quasi Frame Gen für alle Spiele über den Treiber durch Transformer ?
(Quasi ohne Implementierung der Spiele Entwickler)

Transformer ist ein neuer Upscaling Algorithmus für dlss und hat mit Multiframegen erstmal gar nichts zu tun.

Dass es treiberseitig funktionieren würde ist bislang nicht angekündigt und auch eher unwahrscheinlich da Nvidia zur Sicherstellung einer möglichst guten Qualität die Bewegungsvektoren der Objekte innerhalb der Gameengine nutzt. Ohne implementierung von FG bzw Übermittling dieser Vektoren an die GPU wird es daher zu 99% auch mit dlss4 nicht funktionieren.

Was sie aber bereits angekündigt hatten dass jedes dlss 3 Spiel wohl zukünftig ohne Implementierungen dlss 4 nutzen können soll, da man über den Treiber die dlss Version selbst aktualisieren können soll....

Doch.

Quelle?

Doch.

Nein! Quelle: nvidia.com

 

[RawMangoJuli]

Quelle?

Nein! Quelle: nvidia.com

Ich hab FramGen geschrieben nicht MultiFrameGen.

 

[BlackyRay]

Ich hab FramGen geschrieben nicht MultiFrameGen.

Ah sorry dann war das mein Fehler... Da wir die ganze Zeit über die neue Generationen sprechen hab ich mich wohl durch diesen bias verlesen.

Nichts für ungut

Bei einer Sache bin ich mir nur nicht sicher... Angeblich haben sie ja unter Blackwell der Speicherverbrauch um bis zu 30% abgesenkt... Wenn dem wirklich so sein sollte je nachdem ob es hierbei auf upscaling oder Multiframegen bezogen war könnte die Aussage mit dem Speicherverbrauch falsch sein....

 

[sho_xen]

Dlss erfindet ja nicht sondern rekonstruiert nur. Wenn man jetzt nicht von 720p auf 4k hochskaliert (wo ggf. Zu viele Details schlichtweg verloren gehen könnten) wird grundlegend trotzdem noch das originale Bild wieder hergestellt werden.

Nein man bekommt eine Reinterpretation des Originalbildes durch das CNN/TNN. Und die bewegt sich umso weiter weg vom Original, je geringer der Informationsgehalt des Inputs (Auflösung) ist. Das ist erstmal grundlegend so bei solchen interpolierenden Algorithmen.

Man vergleiche die Schachteltexturen oder die Becherfarbe zwischen nativ und dlss 4 z.B.:

 

[RawMangoJuli]

KA hier beziehen die sich jedenfalls nur auf die neue version von FrameGen.

Eingebundener Inhalt

youtube.com/watch/?v=qQn3bsPNTyI:177

An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Alle externen Inhalte laden Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.

 

[BlackyRay]

Nein man bekommt eine Reinterpretation des Originalbildes durch das CNN/TNN. Und die bewegt sich umso weiter weg vom Original, je geringer der Informationsgehalt des Inputs (Auflösung) ist. Das ist erstmal grundlegend so bei solchen interpolierenden Algorithmen.

Wir sprechen von Upscaling und nicht von Framegeneration. Insofern weiß ich trotz dessen, dass ich mir die Definition durchgelesen habe nicht inwiefern das zum DLSS Upscaling passen soll. Framegeneration wäre natürlich ein völlig anderes Thema....

 

[sho_xen]

Wir sprechen von Upscaling und nicht von Framegeneration. Insofern weiß ich trotz dessen, dass ich mir die Definition durchgelesen habe nicht inwiefern das zum DLSS Upscaling passen soll. Framegeneration wäre natürlich ein völlig anderes Thema....

Das (auch mit machine learning) hochskalierte Bild ist doch nur die Grundlage fürs FG. Aber hier werden vor allem mit dem neuen Upscaling Modell (Transformer) anscheinend viele Details hinzugedichtet.

 

[BlackyRay]

Das (auch mit machine learning) hochskalierte Bild ist doch nur die Grundlage fürs FG. Aber hier werden vor allem mit dem neuen Upscaling Modell (Transformer) anscheinend viele Details hinzugedichtet.

FG lässt sich vollkommen unabhängig von dlss nutzen insofern nein ist es nicht zwangsläufig die Grundlage... Man kann auch einfach Framegen oder eben Multiframegen ohne dlss nutzen....

 

[Wilbald_Meucheln]

"Laut DSO Gaming soll es sogar Situationen geben, in denen DLSS 4 besser ausgesehen haben soll als die native 4K-Auflösung."

Solche Aussagen liest man ja immer mal wieder. Ich verstehe ehrlich gesagt nicht, wie das gehen soll. Was soll denn die Referenz sein, wenn nicht das native Bild? Insofern kann doch die Frage immer nur sein, wie nahe das hochskalierte Bild an das native Bild herankommt.

Es gibt auch jetzt schon Spiele, in denen DLSS (Quality) besser als Nativ aussieht. Vor allem, wenn TAA genutzt wird. Death Stranding wäre so ein Beispiel. Oder auch Metro Exodus (Enhanced Edition). Der Unterschied ist marginal, aber da. Und da reden wir nicht mal von DLSS3, sondern von DLSS2.

Manchmal ist aber auch eben kein Unterschied zu erkennen.

DLSS ist ja nicht nur simples Upscaling, sondern bietet auch Kantenglättung. Und so weit ich das verstanden habe (und jetzt möge mich ein Besserwisser berichtigen, falls ich falsch liege), nutzt DLSS auch Informationen aus vorherigen Frames, um Details zu erhalten, die unter anderen AA-Modi (TAA z.B.) oder ohne AA untergehen.

Man beachte vor allem die Bäume im Hintergrund. Mit DLSS sind mehr Details zu erkennen.

 

[Khabarak]

Ähm... also ich sehe bei Waffe und Arm einen deutlichen Unterschied.... bei den Bäumen allerdings nicht.

 

[Wilbald_Meucheln]

Ähm... also ich sehe bei Waffe und Arm einen deutlichen Unterschied.... bei den Bäumen allerdings nicht.

Was meine Aussage nun nicht unbedingt widerlegt.

 

[Kribson]

In der Regel beschreibt so etwas den subjektiven Eindruck eines Beobachters. In Bewegung können Interpolationen den objektiven Vorteil einer inhärenten Kantenglättung haben: Der KI-Algorithmus bringt eine Grundvorstellung davon mit, wie eine Abbildung (= Pixel) aussehen sollten, sodass typische Abtastsprobleme eines Renderers wie Detailflimmern (= im objektiven 3D-Modell vorhandene feine Elemente sind mal am Abtastpunkt und ergeben ein Pixel oder werden bei kleinsten Änderungen verfehlt und nicht abgebildet) vermieden werden. Aber bei einem tatsächlichen Stand-Bild-Eindruck ist es reine Subjektivität. Alle Upscaling-Systeme beinhalten Kontrastkorrekturen und natürlich auch im Stand eine abweichende Kantendarstellung, außerdem haben sie den expliziten Auftrag, Details hinzuzudichten. Die so entstehende Szene sieht anders aus als eine nativ geränderte und wenn der Betrachter das andere halb lieber mag, dann ist sie für ihn subjektiv "schöner".

Solche Empfindungen gab es schon vor KI, zuletzt vor allem bei Scharfzeichnern, aber schon davor bei Kantenglättung, insbesondere temporaler: Eine diagonale Linie mit einer Breite von knapp einem Pixel bildet objektiv eine Perlenkette von gegeneinander versetzen Pixeln, während horizontal und vertikal benachbarte den Hintergrund zeigen. Viele Beobachter empfinden es aber als "besser", wenn eine Kantenglättung die Linie über deutlich mehr als eine Pixelbreite breitschmiert und die benachbarten Pixel eine Mischfarbe aus Hintergrund und Linie anzeigen, obwohl das im 3D-Ausgangsmodell nicht vorgesehen ist.

Hi Torsten, danke für Deine Erläuterung. Als subjektiven Eindruck kann ich es nachvollziehen. Ich persönlich bevorzuge in der Regel einen möglichst scharfen Bildeindruck. Daher schalte ich auch Funktionen wie Motion Blur oder Effekte die Scharfentiefe simulieren wenn möglich aus.

 

[Khabarak]

Was meine Aussage nun nicht unbedingt widerlegt.

naja... deine Aussage war, dass die Bäume im Hintergrund mit DLSS deutlich mehr Details zeigen... da ist aber nix.
Damit bist du weiter in der Bringschuld mit Beweisen.
Aber ich versteh auch, wenn da nix kommt... wo nichts ist, kann man nichts beweisen.

Auch in der Wissenschaft gilt: Erst beweise für eine These vorlegen, bevor sich jemand die Mühe macht, eine Falsifizierung zu versuchen, um die Beweise abzuklopfen.

 

[Wilbald_Meucheln]

naja... deine Aussage war, dass die Bäume im Hintergrund mit DLSS deutlich mehr Details zeigen... da ist aber nix.
Damit bist du weiter in der Bringschuld mit Beweisen.
Aber ich versteh auch, wenn da nix kommt... wo nichts ist, kann man nichts beweisen.

Auch in der Wissenschaft gilt: Erst beweise für eine These vorlegen, bevor sich jemand die Mühe macht, eine Falsifizierung zu versuchen, um die Beweise abzuklopfen.

Was willst du denn jetzt bitte von mir?

Die Grundaussage meines Posts war:

Es gibt auch jetzt schon Spiele, in denen DLSS (Quality) besser als Nativ aussieht. Vor allem, wenn TAA genutzt wird. Death Stranding wäre so ein Beispiel. Oder auch Metro Exodus (Enhanced Edition). Der Unterschied ist marginal, aber da. Und da reden wir nicht mal von DLSS3, sondern von DLSS2.

Manchmal ist aber auch eben kein Unterschied zu erkennen.

Du hast meine Aussage mit meinem Post ja auch noch bestätigt. Mein Fehler war lediglich, dass ich mein Beispiel auf den Hintergrund des Bildes beschränkte*. Aber mir jetzt noch ne Bringschuld andichten zu wollen, obwohl du selbst meine Aussage bestätigt hast (nur eben anhand eines anderen Beispiels), ist schon hart peinlich für dich.

*Und auch bei den Bäumen im Hintergrund sind Unterschiede zu erkennen. Sehr marginal, aber sie sind da. Es liegt nicht an mir, wenn du sie nicht erkennst. Also komm mir jetzt hier nicht mit Wissenschaft. Für dein Sehvermögen oder für den technischen Zustand auf deinem Schreibtisch bin ich nicht verantwortlich.

Und wenn du wissenschaftlich diskutieren willst, dann lass doch bitte nicht das hier außer Acht:

DLSS ist ja nicht nur simples Upscaling, sondern bietet auch Kantenglättung. Und so weit ich das verstanden habe (und jetzt möge mich ein Besserwisser berichtigen, falls ich falsch liege), nutzt DLSS auch Informationen aus vorherigen Frames, um Details zu erhalten, die unter anderen AA-Modi (TAA z.B.) oder ohne AA untergehen.

Wenn du da mehr Kenntnisse über die Arbeitsweise von DLSS hast, nur her damit. Ich bin da sehr offen in diesem Punkt.

 

[Khabarak]

Mein Fehler war lediglich, dass ich mein Beispiel auf den Hintergrund des Bildes beschränkte*. Aber mir jetzt noch ne Bringschuld andichten zu wollen, obwohl du selbst meine Aussage bestätigt hast (nur eben anhand eines anderen Beispiels), ist schon hart peinlich für dich.

Du hast deine Aussage nicht auf den Hintergrund beschränkt, sondern diesen besonders hervorgehoben, als solle man da einen speziell großen Unterschied sehen.

Man beachte vor allem die Bäume im Hintergrund. Mit DLSS sind mehr Details zu erkennen.

Jetzt sind es plötzlich nur noch sehr marginale Unterschiede....

Ist jetzt nicht unbedingt ein Premiumbeispiel deiner Argumentationskette...

 

[Wilbald_Meucheln]

Du hast deine Aussage nicht auf den Hintergrund beschränkt, sondern diesen besonders hervorgehoben, als solle man da einen speziell großen Unterschied sehen.

Zugegeben, das habe ich. Mein Fehler. Und nun? Ist meine Grundaussage deswegen jetzt widerlegt, obwohl du sie selbst noch anhand deiner Beobachtung bestätigt hast? Oder was konkret ist jetzt dein Punkt?

Jetzt sind es plötzlich nur noch sehr marginale Unterschiede....

Ist jetzt nicht unbedingt ein Premiumbeispiel deiner Argumentationskette...

Oh man... Okay, ich zitiere mich noch mal:

Es gibt auch jetzt schon Spiele, in denen DLSS (Quality) besser als Nativ aussieht. Vor allem, wenn TAA genutzt wird. Death Stranding wäre so ein Beispiel. Oder auch Metro Exodus (Enhanced Edition). Der Unterschied ist marginal, aber da. Und da reden wir nicht mal von DLSS3, sondern von DLSS2.

Danach kamen die Screenshots. Ich habe mich hier niemals widersprochen oder nachträglich irgendwas hinzu gedichtet. Dass die Unterschiede marginal sind, habe ich von vornherein geschrieben. Wenn du meinen Post entweder nicht richtig liest oder absichtlich Informationen ignorierst, dann troll dich. Ist nämlich nicht besonders wissenschaftlich von dir.

Also stell dich jetzt bitte nicht dümmer an, als du bist.