Die Bearbeitung von einem Frame ist dann aber so oder so vorhanden. Selbst wenn das Ergebnis dann (rein) appliziert wird muss ja diese Berechnung dann für jeden Frame statt finden. Also haste nicht den VRAM unter Last sondern ein anderes System auf der Grafikkarte, sei es Core, Cuda oder Whatever. Man kann die Berechnung die für die native Anzeige des Bildes ist zwar verlagern aber nicht den Aufwand eliminieren.
Ob das dann am Ende der Bessere Weg ist wage ich stark zu bezweifeln.
Ja richtig, der Aufwand wird auf die Tensor cores verlagert, weil ein kleines Neurals Netz die Daten verarbeitet.
Im Endeffekt wird der algo dafür deutlich schneller und schlanker sein, als z.B. DLSS. Aber sicherlich langsamer als der klassische Ansatz über die Textureinheiten.
Der Vorteil ist wohl einfach, dass man zum einen massiv Speicher und Bandbreite spart, aber zum anderen die Performance der Tensor Cores über Int8 und FP8 jetzt und in Zukunft zum einen ausnutzen und zum anderen in zukunft sehr viel stärker steigern kann. Der Skalierungseffekt ist Hardwareseitig wahrscheinlich mittel bis langfristig deutlich besser, wenn man aus den GPUs keine Grafikbeschleuniger macht, sondern AI beschleuniger und die Grafikberechnung in Form von Neuralen netzen einfach in Software abstrahiert.
Rein rechnerisch sicherlich alles aufwändiger, aber wenn die Hardwareperformance und die Chipherstellung damit viel besser skaliert und mit neuralen Netzen am Ende auch Dinge möglich werden, die bisher in echtzeitgrafik nicht möglich gewesen sind, dann kann das schon ein sinnvoller Ansatz sein.
Nvidia strebt hier ganz klar einen paradigmenwechsel an. Nicht nur für Texturen, sondern einfach alles was an Grafikberechnungen anfällt.
AMD zeigt ja auch bereits hier und da Bemühungen in die Richtung, auch wenn man konkret bzw. hardwareseitig noch nichts wirklich vorzuweisen hat, die Richtung wird aber langsam klar.
Generell ist der große Vorteil von Neuralen netzen eben, dass sie durch Training immer besser werden können. Sieht man ja jetzt wieder mit DLSS4.
Wenn in ferner Zukunft mal sämtliche Grafikberechnungen auf NN beruhen, dann wächst auch das Potenzial, mit bestehender Hardware immer bessere Grafik zu erzielen, weil viel mehr vom Training und den NN abhängt und weniger von der Rohleistung, welche bisher bei klassischer Grafikberechnung recht strikt limitiert hat, was möglich ist.
