Mir ist nicht klar wozu man motion-Vektoren braucht.
Jedes Bild wird einzeln berechnet, was interessiert da der Vektor des nächsten oder des letzten Bildes ?
Es sei denn das Skalieren fusst auf Simplifizierung, indem es sich auf die wichtigsten Bildpunkte konzentriert und alles andere nicht beachtet. Da kann es dann wohl sinnig sein, die Berechnung nach der Bewegung zu planen.
Aber auch unter dem Gesichtspunkt, lässt sich meiner Meinung nach, ohne Vergleiche der Resultate, nicht sagen welche Technik die Bessere ist.
Auch große Gruppen können irren, bzw. nur weil 2 Unternehmen es mit Vektoren machen, muss es nicht das Beste sein. Zumal diese beiden immer sehr eng zusammen gearbeitet haben. Zumindest über die letzten 7 - 8 Jahre.
Ich hatte bei Nvidia eher das Gefühl, dass man die Chips mit Blick auf die Professionelle Schiene entwickelt und später dann nach einem Verwendungszweck der Hardware für bei den Gamern gesucht hat.
...Eine ernst gemeinte Frage.
Da es eine ernstgemeinte Frage war, hier auch ein paar ernste Antworten.
DLSS 2.x rekonstruiert einen konkreten Frame auf Basis mehrerer Frames und innerhalb diesen können sich Bildbestandteile unterschiedlich durchs Bild bewegen. Ohne Bewegungsvektoren könnte das NN nur die Farbpixel betrachten und müsste raten ob der rosarote Pixel, der sich von Frame zu Frame von rechts unten nach links oben bewegt immer das gleiche Objekt darstellt und dass man das entsprechend bei der Rekonstruktion des aktuellen Frames annehmen kann. Mit den Bewegungsvektoren weiß DLSS welche Pixel zusammengehören und kann präziser abschätzen.
Das kommt z. B. auch zum Tragen wenn sich ein größerer "Pixelhaufen" der zu einem Objekt (oder auch nur zu einem Teil von diesem) gehört gemeinsam durchs Bild bewegt. Die Zusammengehörigkeit erkennt DLSS erst zuverlässig durch Bewegungsvektoren. Zudem, da hier mehrere Frames in die Rekonstruktion einfließen und wir hier von Rasterisierung sprechen, ist es z. B. möglich, dass dieser "Pixelhaufen" in vorausgehend Frames stellenweise mehr Details offenbarte, als es bspw. im nativen Rendering des aktuellen Frames der Fall ist. DLSS kann diese Informationen mitverwerten und in die aktuelle Rekonstruktion einfließen lassen, auch wenn der aktuelle Frame das eine oder andere konkrete Detail gar nicht hergib und das führt zu solchen Aussagen wie einem stellenweise "
überaus gelungenem Raten" bzw. zu "
rekonstruiert Details die eigentlich gar nicht da sind", denn stellenweise waren die durchaus mal da, wenn auch nur kurzzeitig, denn bereits kleine Objektverschiebungen im recht groben Pixelraster können schnell zu einem andersartigen Rendering des Objektes führen.
Im Trainigsprozess wird das zugrundeliegende neuronale Netz im Wesentlichen lernen diese lokal gemeinsamen Pixel eines Objektes zuverlässig über mehrere Frames zu erkennen (u. a. mithilfe der Bewegungsvektoren) und Details und Interpolationen zu erkennen und diese dann in den neu zu rekonstruierenden Frame einzuarbeiten. Entsprechend sollte man hier nicht etwa meinen, dass das Netz "lernt" Autos, Menschen, Hunde, Häuser und diverse schräge Charaktere zu erkennen und dass es sich merkt wie diese aussehen bzw. auszusehen haben, sodass es sie rekonstruieren kann. Das dürfte ein Trugschluss sein, denn nVidia trainiert hier ein universell nutzbares Netz, das auf alle möglichen Titel angewendet werden kann, d. h. es lernt nichts Konkretes. Dies kann es auch grundsätzlich nicht, da Neuveröffentlichungen das nächste schräge SciFi-Autodesign präsentieren werden oder den nächsten skurrilen Bösewicht, der nicht nur über ein paar abgedrehte Narben und kybernetische Erweiterungen verfügt, sondern auch noch eine Mischung aus einem Alien und einem Gorilla ist. So was kann das NN natürlicherweise nicht vorab antizipieren (
logischerweise, denn das ist letzten Endes schlicht kodifizierte Statistik und Wahrscheinlichkeit und hat eher wenig mit dem "I" in KI zu tun).
Ein weiterer wichtiger Teilaspekt ist die temporale Stabilität einzelner Bildbereiche sicherzustellen und bspw. hässlich-flackernde Moire-Muster zu vermeiden, was bei filigranen, sich leicht bewegenden Objekte, die auf ein grobes Pixelraster abgebildet werden, leicht zustande kommen kann.
"
... lässt sich meiner Meinung nach, ohne Vergleiche der Resultate, nicht sagen welche Technik die Bessere ist."
Selbstredend nicht und das dürfte den meisten auch bewusst sein, auch wenn es hier regelmäßge und im speziellen besonders auffallende Ausnahmen gibt, die nicht müde werden nun AMD die GPU-Weltherrschaft zuzuschreiben.
Schlussendlich scheint AMDs Ansatz einfacher gestrickt zu sein, was auch nicht verwundert, denn primär ist die Technik dafür da die Konsolen zu pimpen und 4K mit hohen Fps zu ermöglichen und hier stehen gerade mal 36 schnellere oder 52 langsamere CUs zur Verfügung. Das in Verbindung mit dem bisher präsentierten und den rudimentären Informationen zur Implementation lässt einfach die Wahrscheinlichkeit höher erscheinen, dass FSR DLSS nicht ganz das Wasser reichen können wird, aber letzten Endes sollte man hier einfach mal abwarten bis konkrete Implementationen zum freien Testen vorliegen, idealerweise in einem Fall mit einem Titel der beide Techniken implementiert, damit man einen direkten 1:1-Vergleich vornehmen kann. Wenn man Pech hat wird insbesondere dies jedoch noch ein Weilchen dauern.
"
Auch große Gruppen können irren, bzw. nur weil 2 Unternehmen es mit Vektoren machen, muss es nicht das Beste sein."
Ersteres ist zweifellos richtig, bedeutet im Umkehrschluss aber ebensowenig, dass diese Gruppen falsch liegen, wenn es der persönlichen Ansicht zuwiderläuft.
Und ebenso bedeutet diese Aussage auch nicht, dass wenn ein Unternehmen es ohne versucht, dieses den besseren oder sinnvolleren Ansatz gewählt haben muss. Im Wesentlichen kann man AMD hier unterstellen, dass sie einerseits keine Funktionseinheiten für die beschleunigte Prozessierung von NNs besitzen (
und das daher berücksichtigen müssen) und weiterhin, dass hier explizit die Unterstützung der kleinen Konsolen-GPUs im Fokus stand, was ihren Handlungsspielraum schon einmal per se einschränkt. *)
Schlussendlich einfach mal abwarten. Am Ende ist ja auch die Frage welche persönliche Erwartungshaltung man an den Einsatz einer solchen Technik stellt. Die einen wollen primär hohe Fps und nehmen qualitative Kompromisse durchaus in Kauf, andere wollen das nicht, wieder anderen reichen vielleicht nur kleine Fps-Zugewinne, jedoch wollen die dafür eine maximale visuelle Qualität. Hier kann man durchaus entlang verschiedener Achsen messen und dementsprechend wird es vermutlich auch keine einzelne Antwort bzgl. der Bewertung geben können.
*) Das muss AMD natürlich nicht daran hindern das dennoch als das NonPlusUltra darzustellen ... Marketing hat oftmals nichts mit technischen Fakten sondern eher mit Emotionen zu tun. Bezüglich bspw. Raytracing hat AMD dem Markt ja auch rund zwei Jahre lang was vom Pferd erzählt a la "
Der Markt und das Ökosystem ist noch nicht bereit" usw., dabei war konkret AMD einfach noch nicht bereits für Raytracing, weil man exklusive Verträge mit Sony/Microsoft bzgl. der Entwicklung von RDNA2 geschlossen hatte, die es AMD untersagten diese IP frühzeitig in den Markt zu bringen.
Deren Marketingabteilung kann genau so gut BS verbreiten wie jede andere Firma ... da tun die sich alle nichts.
Was man jedoch als Denkanstoß mitnehmen kann ist, dass die zusätzliche Berücksichtigung von Bewegungsvektoren den Algorithmus weiter verkompliziert und niemand macht sich diese Arbeit, wenn es nicht den Aufwand wert wäre und zu ggf. gar besseren Resultaten führen würde, als sie Bestandtechniken derzeit imstande zu liefern sind, daher erneut ... abwarten bis man testen kann.
"
Ich hatte bei Nvidia eher das Gefühl, dass man die Chips mit Blick auf die Professionelle Schiene entwickelt und später dann nach einem Verwendungszweck der Hardware für bei den Gamern gesucht hat."
Historisch gesehen verlief die Entwicklung hier eigentlich genau umgekehrt. Die Designs waren reine Gaming-Produkte, denen man nach und nach für den professionellen Einsatz zusätzliche Funktionalitäten bescherte. Die Tensor Cores dürften vermutlich derzeit den Hauptgrund für diese Wahrnehmung darstellen, jedoch gibt es die erst seit Ende 2018 in den Consumer-Chips.
Dennoch muss nVidia als Marktführer natürlich durchaus zusehen, dass sie die Bedürfnisse weitläufig und kosteneffizient bedienen können und dazu muss man natürlich auch hier und da Kompromisse eingehen, was jedoch vollkommen normal ist. Und dann kommt natürlich noch hinzu, dass jedes Unternehmen etwaige spezifische Vorteile natürlich auch entsprechend auszuspielen versucht. nVidia hat ihre RT und Tensor Cores als erster Hersteller eingeführt und auch erfolgreich im Markt platzieren können und selbstredend bauen die auch vertriebstechnisch darauf auf. Die Chipentwicklung ist teuer und bspw. AMD hat nicht umsonst bisher reine Consumer-GPUs gefertigt und die für alles andere Zweckentfremdet. Erst mit CDNA haben sie eine komplett separate Linie aus der Taufe gehoben, weil sie nun dafür die Ressourcen haben und weil es der Markt schon länger erfordert (
entsprechend glücklos war bspw. auch Vega20 mit der Instinct MI60/50 i. V. z. nVidia's Portfolio).
Und am Ende müsste man auch fragen was man anderes bei nVidia erwarten würde? Dass RT Cores eingespart werden sollten? Wohl kaum, eher würden Gamer noch mehr davon verlangen. Dass Tensor Cores gestrichen werden sollten? Warum, die haben in Verbindung mit DLSS ihren Nutzen schon längst unter Beweis gestellt und was absehbar gesichert ist, ist, dass die NN-Berechnungen (das Infrencing) ohne diese über die ALUs sicherlich nicht schneller prozessiert werden, d. h. man müsste hier nachweisen, dass ein derartiges Upscaling auch ohne ML/DL gleichwertig mit herkömmlichen Algorithmen zu realisieren wäre. Einen solchen Beweis(versuch) wird man ja in nächster Zeit durch erste Implementationen von FSR erhalten ... und dann kann man weitersehen.
Beispielsweise bei Intel in Verbindung mit Xe gibt es mit "XeSS" angeblich eine ähnliche Technik in der Entwicklung, jedoch ist zu deren Arbeitsweise noch nichts bekannt. Was man lediglich mitnehmen kann ist, dass man offensichtlich was eigenes präsentieren und sich nicht auf die frei verfügbare Technik von AMD verlassen will. Intel hätte hier wenig Grund den "geschenkten Gaul" abzulehnen, d. h. rational/wirtschaftlich betrachtet erscheint es wahrscheinlicher, dass man dort der Meinung zu sein scheint was mindestens gleichwertiges oder gar besseres hinzubekommen, den andernfalls würde sich der Aufwand schlicht nicht lohnen, insbesondere, wenn man eine gewisse Verbreitung von FSR zwangsweise aufgrund der Konsolen vorhersehen kann.
Diese Überlegung natürlich nur unter der Voraussetzung, dass die zugehörigen Leaks hier zu "XeSS" zutreffend sind.
). Je nach Implementierung kommt es daher vor, dass DLSS nicht nur Details "herbeizaubert", sondern auch schlechter aussehen kann. Bei DLSS (Ultra) Performance sieht man sowas eigentlich immer, während DLSS Quality recht konsequent mehr Detailtreue zeigt als "native" Wiedergabe.
Aber warten wir es halt ab. Man wird, zum Launch und in Folge darauf immer den Vergleich mit DLSS machen müssen.
