Methusalem
Freizeitschrauber(in)
Hm,
keiner hier aus China, Süd-Korea, oder Russland?
Aber schon klar, sind wohl alle am Minen.
keiner hier aus China, Süd-Korea, oder Russland?
Aber schon klar, sind wohl alle am Minen.
Ich meinte natürlich neue Technik/GPUs(Firmen).keiner hier aus China, Süd-Korea, oder Russland?
Ich meinte natürlich neue Technik/GPUs(Firmen).
Nicht Personen.
Jo, fangen wir mal an: DLSS.Schade eigentlich ...
edit: Also weiter mit AMDintelidia.
Sprichst du hier gerade vom Training oder der Anwendung von DLSS?DLSS setzt die interne Render Resolution runter (z.B. Performance Mode ~ 50% der Target Resolution), vergleicht jedes gerenderte Frame mit dem "perfekten" und verändert es um möglichst nahe an das "perfekte" Frame zu kommen. Der DLSS Algorithmus läuft auf den Tensor Cores, diese sind speziell für Matrixmultiplikationen gedacht. DLSS bringt übrigens nichts bei hohen FPS da die Matrixmultiplikationen relativ "lange" brauchen. Ich kenne nicht die genaue FPS Grenze, aber es gibt eine ab der DLSS automatisch deaktiviert wird.
Weißt du überhaupt was Aliasing ist und wie er zustande kommt? Denn so wie du es gerade beschreibst scheint dem nicht so. Treppchenbildung an Kanten sind nur eine Folge von Aliasing. Zusätzlich hast du in allen Bereichen Informationsverluste. (Unterabtastung)Es wird also aus einem Anti-Aliased 16K Image interpoliert an welcher Stelle Pixel hinzugefügt werden. Deswegen ist das Ergebnis auch "besser" als 4K + Anti-Aliasing weil Pixel hinzugefügt werden. Anti-Aliasing glättet ja nur Kanten anhand eines simpleren Algorithmus.
Die haben doch mit DLSS 2.0 das einzel Training für Spiele abgeschafft und gegen ein allgemeingültiges Modell ersetzt oder nicht?Es kommt also aufs Spiel an und wie gut das KI-Training war. Beide Spiele sind von Ende 2019, mittlerweile dürfte die Rekonstruktion besser geworden sein.
Der Teil betrifft die lokale Anwendung, nicht das Training.Sprichst du hier gerade vom Training oder der Anwendung von DLSS?
LinkWeißt du überhaupt was Aliasing ist und wie er zustande kommt? Denn so wie du es gerade beschreibst scheint dem nicht so. Treppchenbildung an Kanten sind nur eine Folge von Aliasing. Zusätzlich hast du in allen Bereichen Informationsverluste. (Unterabtastung)
Das folgende leite ich aus der Regelungstechnik/Signalanalyse ab sollte aber für Grafikausgabe ähnlich gültig sein. Wenn das falsch sein sollte bitte ich die Leute mit Ahnung das zu korrigieren!
Streng genommen dürfte nur Super Sampling Auflösungs-Aliasing effektiv beheben. Wenn man nach Shannon Theorem geht minimum 2x der Auflösung. Aus der Regelungstechnik wird aber eher 3-4x empfohlen wenn möglich.
Damit müsste sich auch DLSS messen denn das eine ist die "Wahrheit" (überspitzt) bei Auflösung x das andere ein intelligentes Upscaling was versucht Aliasing durch Prädiktion zu vermeiden. Das Problem ist aber das es eine Prädiktion bleibt und somit keine Garantie für Richtige Ergebnisse ist. Wenn dann im Vergleich zu SSAA plötzlich Details gibt die es vorher nicht gab, darf man sich durchaus fragen ob diese Korrekt sind.
Andere AA Verfahren versuchen das Problem der Unterabtastung möglichst Kostengünstig zu kaschieren bzw lokal zu lösen. Meines Wissens (Man darf mich auch gerne korrigieren) kann kein anderes AA Verfahren mit SSAA messen wenn es um Bildqualität geht.
Q: How does DLSS work?
A: The DLSS team first extracts many aliased frames from the target game, and then for each one we generate a matching “perfect frame” using either super-sampling or accumulation rendering. These paired frames are fed to NVIDIA’s supercomputer. The supercomputer trains the DLSS model to recognize aliased inputs and generate high quality anti-aliased images that match the “perfect frame” as closely as possible. We then repeat the process, but this time we train the model to generate additional pixels rather than applying AA. This has the effect of increasing the resolution of the input. Combining both techniques enables the GPU to render the full monitor resolution at higher frame rates.
LinkDie haben doch mit DLSS 2.0 das einzel Training für Spiele abgeschafft und gegen ein allgemeingültiges Modell ersetzt oder nicht?
So for their second stab at AI upscaling, NVIDIA is taking a different tack. Instead of relying on individual, per-game neural networks, NVIDIA has built a single generic neural network that they are optimizing the hell out of. And to make up for the lack of information that comes from per-game networks, the company is making up for it by integrating real-time motion vector information from the game itself, a fundamental aspect of temporal anti-aliasing (TAA) and similar techniques. The net result is that DLSS 2.0 behaves a lot more like a temporal upscaling solution, which makes it dumber in some ways, but also smarter in others.
Der Teil betrifft die lokale Anwendung, nicht das Training.
Du willst im Betrieb jedes gerenderte Bild mit dem perfekten Frame vergleichen? Du musst also mit jeder Berechnung das exakt richtige 16k Image bereitstellen? Woher sollen diese Images herkommen? Warum werden die nicht anstelle der Berechnung verwendet?DLSS setzt die interne Render Resolution runter (z.B. Performance Mode ~ 50% der Target Resolution), vergleicht jedes gerenderte Frame mit dem "perfekten" und verändert es um möglichst nahe an das "perfekte" Frame zu kommen. Der DLSS Algorithmus läuft auf den Tensor Cores, diese sind speziell für Matrixmultiplikationen gedacht. DLSS bringt übrigens nichts bei hohen FPS da die Matrixmultiplikationen relativ "lange" brauchen. Ich kenne nicht die genaue FPS Grenze, aber es gibt eine ab der DLSS automatisch deaktiviert wird.
Hast du überhaupt verstanden was ich geschrieben habe?
In dem Kontext wäre ein Link klasse. Ich würde erwarten dass ein extra Training die Gefahr von Overfitting mitbringt? Bei einem generellen Einsatz in vielen Spielen wäre das doch ein Problem?Link
Ich habe irgendwo gelesen dass NV Spiele auch "extra" trainieren kann, finde den Link aber gerade nicht mehr. Dazu müssen sie ja eigentlich nur das neurale Netz mit "mehr" Beispielen von dem speziellen Spiel füttern.
Immer die selben Links macht es auch NICHT wirklich besser/glaubhafter !Kommt aufs Spiel an, Control war das erste DLSS 2.0 Spiel wenn ich mich richtig erinnere. In Deinem Video wird übrigens zu 90% 4K DLSS Performance (1080p to 2160p) vs 4K nativ verglichen. Erst ganz am Ende sieht man 4K Quality DLSS (1440p to 2160p) vs 4K nativ, und da ist der Unterschied deutlich geringer.
Diverse Fachpressen sehen 4K DLSS übrigens vor 4K nativ in Death Stranding:
Link
Es kommt also aufs Spiel an und wie gut das KI-Training war. Beide Spiele sind von Ende 2019, mittlerweile dürfte die Rekonstruktion besser geworden sein.
Edit: übrigens warst DU derjenige der "viele Leute empfinden DLSS besser als nativ" in den Raum geworfen hat, ich habe das nirgends behauptet. Nur Vermutungen angestellt warum die Leute so empfinden könnten.
DLSS ist oft besser als nativ inkl. mehr Leistung. In Outriders zum Beispiel.Immer die selben Links macht es auch NICHT wirklich besser/glaubhafter !
Ist halt einfach DEINE Meinung, Mann (O-Ton vom DUDE).
Ich habe nichts davon so gesagt, aber schön wie hier die Worte verdreht und Teile weggelassen werden um mich zu denunzieren. Ich habe stark vereinfacht ausgedrückt wie DLSS funktioniert. Ein neuronales Netz wird mit hochaufgelösten Bildern trainiert und die Ergebnisse (Algorithmen) per Treiber ausgeliefert. Auf den Tensor Cores wird dann dieser Algorithmus ausgeführt, das Frame in der down-scaled resolution wird eingegeben, der Algorithmus berechnet an welchen Stellen der Frame sich von den trainierten Werten unterscheidet, und ergänzt diese.Du willst im Betrieb jedes gerenderte Bild mit dem perfekten Frame vergleichen? Du musst also mit jeder Berechnung das exakt richtige 16k Image bereitstellen? Woher sollen diese Images herkommen? Warum werden die nicht anstelle der Berechnung verwendet?
Weißt du wie neuronale Netze funktionieren?
Ich weiss was Aliasing und Moiré-Muster sind und werde keine Abhandlung darüber hier niederschreiben, das lässt sich ganz leicht googlen. Es gibt diverse Anti-Aliasing Techniken (MSAA, TSAA, SSAA, FXAA, SMAA, TXAA, TAA usw usf), alle haben Vor- und Nachteile. Auch das sollte man selbst googlen, das sprengt hier den Rahmen.Hast du überhaupt verstanden was ich geschrieben habe?
Ich Frage dich erneut was ist Aliasing? Was bewirkt das? Wie wirkt man dem gezielt entgegen? Was machen die verschiedenen Ansätze und was ggf. nicht?
Erläutere außerdem doch mal in deinen eigenen Worten warum DLSS welches scharfe Details hinzugefügt hat einem SSAA Bild überlegen ist, welches diese Details nur unscharf bzw. nicht dargestellt hat.
Vor allem interessiert mich die Erklärung, wie ein Verfahren welches ausreichend Abtastpunkte verwendet und Aliasing verhindern kann zu so falschen Ergebnissen kommt.
Unser neuronales Grafik-Framework, NGX, trainiert ein Deep Neural Network gegen Zehntausende hochauflösende, schöne Bilder, die offline in einem Supercomputer mit sehr niedrigen Frameraten und 64 Samples pro Pixel gerendert werden. Basierend auf dem Wissen aus unzähligen Trainingsstunden kann das Netzwerk dann Bilder mit niedrigerer Auflösung als Eingabe aufnehmen und hochauflösende, schöne Bilder erstellen.
DLSS 2.0 verfügt über zwei Haupteingaben, die in das KI-Netzwerk fließen:
- Niedrige Auflösung, Alias-Bilder, die von der Spiel-Engine gerendert werden.
- Niedrige Auflösung, Bewegungsvektoren aus denselben Bildern – auch von der Spiel-Engine generiert.
Bewegungsvektoren sagen uns, in welche Richtung sich Objekte in der Szene von Frame zu Frame bewegen. Diese Vektoren können wir auf die letzte hochauflösende Frame-Ausgabe des Netzwerks anwenden, um zu schätzen, wie der nächste Frame aussehen wird.
https://www.nvidia.com/content/dam/...ss-2-0/nvidia-dlss-2-0-architecture-850px.jpg
Oben: DLSS 2.0-Architektur
Ein spezieller Typ eines KI-Netzwerks, der konvolutionäre Autoencoder, verwendet den aktuellen Frame mit niedriger Auflösung und den letzten Frame mit hoher Auflösung, um pixelgenau zu bestimmen, wie ein aktueller Frame mit höherer Qualität generiert werden kann.
Beim Trainieren des KI-Netzwerks wird dann das Ausgabebild mit einem sehr hochwertigen, nativen um mit 16 K gerenderten Referenzbild verglichen. Der Unterschied wird wieder dem Netzwerk kommuniziert, sodass es mit den Ergebnissen weiter lernen und sich verbessern kann.
LinkIn dem Kontext wäre ein Link klasse. Ich würde erwarten dass ein extra Training die Gefahr von Overfitting mitbringt? Bei einem generellen Einsatz in vielen Spielen wäre das doch ein Problem?
Das habe ich jetzt auf die Schnelle gefunden. Warum sollte das neuronale Netz auch NICHT speziell für ein Spiel trainiert werden können? Es können ja von diesem Spiel viele Bilder eingespeist werden, somit wird die Trefferquote bei ähnlichen Frames erhöht.But DLSS also requires support to gain notoriety. To lessen the burden on its own team—which have already put "blood, sweat, and tears" into DLSS—Nvidia has removed the requirement to train an AI network on a per game basis. The system will still need to be trained, and support added for a game individually, but it can do so with non-game specific information.
Es gibt kein neuronales Netz mehr für ein Spiel, sondern nur noch eines für alle.Warum sollte das neuronale Netz auch NICHT speziell für ein Spiel trainiert werden können? Es können ja von diesem Spiel viele Bilder eingespeist werden, somit wird die Trefferquote bei ähnlichen Frames erhöht.
Ich habe nichts anderes behauptet. Das "eine" Netz lässt sich aber bestimmt auch gezielt trainieren. Und am Ende kommt sowieso nur ein "kleiner" Algorithmus dabei raus, da lässt sich bestimmt ein weiterer für speziell trainierte Spiele mit ausliefern per Treiber.Es gibt kein neuronales Netz mehr für ein Spiel, sondern nur noch eines für alle.
Dann suche dir mal jemanden mit ner 3090. da werden ev noch mehr GB VRAM "belegt". Wenn ich meine Fans von dem Nutzten von viel VRAM überzeugen will würde ich dem Treiber auch sagen:
Kopp in'n Nacken, hau voll was geht Alter...
Aber off Topic: deine Palit GTX 1080 Game Rock Premium ist ein richtig gutes Stück Hardware. War meine bisher leiseste Karte @stock, also ohne undervolting.
Im Afterburner gibt es die Möglichkeit "Memory usage \ process" anzuzeigen, das ist der tatsächlich genutzte VRAM. Alles andere zeigt nur "allocated VRAM" und ist somit nicht aussagekräftig.
6800, pardon.Es waren 14GB VRam Verbrauch bei einer 12GB Karte? Habt ihr den Rest geschätzt?