AMD Fidelity FX Super Resolution (FSR) ohne Machine Learning

[BlubberLord]

Laut unten stehender Quelle hat ein AMD-Entwickler (Vizepräsident Scott Herkelman) in einem Talk verlauten lassen, dass AMDs Antwort auf DLSS definitiv ohne AI/Machine Learning funktioniert.
Es würden aktuell noch mehrere Techniken getestet und es gebe noch viel zu tun. Aber FSR soll definitiv 2021 und Cross Platform erscheinen, versichert Herkelman.

Hier im Forum wurde vermehrt vertreten, dass AMDs Lösung höchstwahrscheinlich auf der ML-Bibliothek von Microsoft basieren wird, welche technisch deutliche Vorteile gegenüber nVidias proprietärer Lösung habe.

Da DLSS auch neue Details hinzufügt (siehe Schriften, Zäune, Maserungen etc.) die durch reine Interpolation und nachschärfen nicht wiederherstellbar wären wird es spannend zu sehen, welche Technik AMD wählt und wie die Ergebnisse 2021 noch aussehen werden.

Quelle: https://mixed.de/amd-dlss-alternative-kommt-ohne-ki-technik/

Ich hoffe die Diskussion zum Thema bleibt gesittet!

 

[TheGermanEngineer]

Das ist schade zu hören, denn DL-Technologien können hier einige herausholen, vor allem wenn sie allgemein auf alle Spiele oder Videos in Echtzeit angewendet werden können.
Auch könnte das AMDs Vorstoß ins DL fördern. Wer aktuell GPU-beschleunigtes Lernen nutzen will, kommt praktisch nicht an NVIDIA vorbei.

 

[DaHell63]

Aber FSR soll definitiv 2021 und Cross Platform erscheinen, versichert Herkelman.

Versichert hat er nichts.

We belive we can do that this year,

AMD FidelityFX Super Resolution (FSR) to launch this year for PCs - VideoCardz.com

FidelityFX Super Resolution is one of the biggest AMD’s software initiatives AMD’s Scott Herkelman confirmed during PCWorld’s Full Nerd Special podcast that AMD’s Super Resolution technology is set to launch this year. FidelityFX Super Resolution focus on image quality Scott Herkelman – CVP &...

videocardz.com

AMD FidelityFX Super Resolution: DLSS-Konter „FSR“ erscheint vielleicht noch dieses Jahr

FidelityFX Super Resolution (FSR), AMDs Konter auf Nvidias DLSS, könnte noch in diesem Jahr erscheinen, sagt AMD. Sicher ist das aber nicht.

www.computerbase.de

 

[Cleriker]

Mhm... auch ich bin eher davon ausgegangen dass AMD den Weg über DL Bibliotheken geht, allerdings freue ich mich auch wenn sie es auf anderem Wege schaffen. Denn dieses "hinzudichten" von Details finde ich fraglich. Manchmal klappt das gut, an anderer Stelle nicht. Vor allem aber macht es die Vergleichbarkeit zunichte, was Benchmarks völlig ad absurdum führen würde. Auch für uns Spieler wäre das so eine Sache. Je nachdem welchem GPU-Hersteller man nutzt, könnten andere Ergebnisse ausgegeben werden und die optische Stimmung total anders wirken.

 

[-THOR-]

Ich bezweifle dass AMDs Ansatz besser sein kann, als das was Sony, Ubisoft oder ID Software im Bereich TAA und Cheackerboarding bereits geleistet haben.


Das TAA von Doom Eternal ist z.B. eine der besten Implementierungen von TAA am Markt. Das gleiche gilt für Ubisofts TAA in AC Odyssey, oder Immortals. Das ist knackscharf (in valhalla leider weniger, keine Ahnung warum).
Division 2 bietet am PC sogar eine Art Checkerboarding Rekonstruktion, die optisch DLSS Quality in nichts nachsteht (bringt aber weniger Performance).

Es wird schwer für AMD hier "mal eben" was aus dem Boden zu stampfen wo hingegen andere Entwickler schon seit vielen Jahren an ihren TAA Algorithmen arbeiten.

Übrigens werden bei TAA auch zusätzliche Details generiert, wie bei echtem MSAA/SSAA, nur mal so zu Info...

Irgendwie hab ich das Gefühl, als würde hier AMD nur was bringen, weil sie "müssen", aber nicht, weil sie es besser können als andere.
Ich hoffe mal nicht, dass AMD hier jetzt Zeit und Mühe reinsteckt und am Ende verwenden die Spieleentwickler ihre eigenen Algorithmen, weil die schon viel ausgereifter sind.

Nvidia hat hier eben den Vorteil, dass man sich seit Jahren im professionellen Bereich mit MachineLearning sowie Bildmanipulations und verarbeitungstechniken auseinandergesetzt hat. Nvidia ist hier eben auch Softwareseitig stark unterwegs. Das sehe ich bei AMD einfach nicht.


Also ich ziehe meinen nicht vorhandenen Hut, wenn AMD es wirklich schafft, ohne ML eine bessere Lösung anzubieten, als am Markt bereits existiert (ausgenommen DLSS).

 

[RawMangoJuli]

Denn dieses "hinzudichten" von Details finde ich fraglich. Manchmal klappt das gut, an anderer Stelle nicht.

jegliches Upscaling ist ein "hindichten"

und "hindichten" mit AI geht halt einfach besser

 

[TheGermanEngineer]

Je nachdem welchem GPU-Hersteller man nutzt, könnten andere Ergebnisse ausgegeben werden und die optische Stimmung total anders wirken.

Im Grunde ein richtiger Gedanke. In der Praxis dürfte das aber nicht auffallen. So stark wird man kaum das Bild aufskalieren, als dass man einen Unterschied sieht.

Ich hab mal mit Topaz Video Enhance herumgespielt. Das ist im Grunde das Gleiche, nur halt für Videos und nicht in Echtzeit. Hier geht es eher darum z. B. Material in DVD-Qualität (576p) auf FullHD (1080p) oder gar UHD (2140p) zu skalieren. Hier können je nach Einstellungen durchaus Artefakte entstehen, weil die Skalierungsfaktoren recht groß sind. Zumindest bei DLSS ist es ja aktuell nicht der Plan ein Spiel in 720p zu Rendern und dann in UHD auszugeben.

 

[-THOR-]

@TheGermanEngineer
Doch der DLSS Ultra Performance Modus reduziert die Gesamtpixelanzahl um den Faktor 9

Der Modus ist eigentlich für 8K gedacht.
Aber wenn man ihn mit 4K nutzt, dann kommt man exakt bei 1280x720 raus.

Also ja, DLSS kann von 720p auf 2160p skalieren.

Nutzt man in 1440p den normalen Performance Mode dann wird zwar im Performance Mode mit kleinerem Faktor skaliert aber mit 1440p als Zielauflösung beträgt die interne Auflösung trotzdem 720p.

Im 1440p quality Modus wird intern mit 950p gerechnet.
Das sind schon verdammt wenig Pixel, dafür dass es manchmal sogar ein wenig besser als nativ aussehen kann

 

[TheGermanEngineer]

Tut es? Ok, ich hab mich ehrlich gesagt nicht so im Detail damit beschäftigt.

 

[-THOR-]

Die Zahlen bzw. Faktoren stammen von Digital Foundry. Findet man über google recht schnell.

 

[BlubberLord]

Der Algorithmus von Topaz Labs hat den großen Nachteil, dass er nur das eine vorhandene Bild hat um neue Bildteile zu generieren. Größtenteils – z.B. bei der Fortsetzung von Kontrastkanten – funktioniert das sehr gut. Aber gerade bei Unschärfe und Rauschen und auch bei sehr kleiner Schrift etc. sieht man bei stark gezoomter Sicht, dass einfach nur andere Bildteile wie ein Kopierstempel dorthin verfrachtet würden.

DLSS hat den Vor- und gleichzeitig Nachteil, dass es mit ganz viel Bildmaterial aus unterschiedlichsten Szenen des Spiels gefüttert wird und damit eine Datengrundlage hat um nähere bzw. höher aufgelöste Ansichten bestimmter Details an die Stellen zu setzen die nach einer unscharfen (auch perspektivisch verzerrten, anders beleuchteten etc.) Variante dieses Details aussehen.
Daher frage ich mich, wie das universelle UnrealEngine-Plugin wohl funktioniert. Höchstwahrscheinlich werden hier auch Texturdaten o.ä. "verfüttert". Allerdings steht eben kein AI-Compute-Superrechner zur Verfügung um unendlich Stunden 16K-Videomaterial zu verarbeiten.

 

[-THOR-]

Hab mal aus Spaß nen Vergleich gemacht in Cyberpunk zwischen 1440p nativ, DLSS im Ultra Performance Modus (= 480p!) und 495p mit CAS upscaling.

Da ich jedoch den CAS Regler auf 33% setzen müsste, das Spiel aber nur 50% erlaubt musste ich die Spielauflösung auf 900p setzen und davon dann 55% auswählen. (Hier 50% pro achse, nicht gesamtpixelanzahl) Ergibt dann insgesamt 480p upscaled auf 1440p.

Hier mal das Ergebnis.

Schon erstaunlich, was DLSS hier im Extremfall noch leistet bei einem Neuntel der ursprünglichen Pixel. Das DLSS Bild sieht gar nicht so kacke aus. Auch in Bewegung ist es noch brauchbar. Da flimmert CAS sehr, sehr viel mehr.

EDIT: Ich hab zwar keine Ahnung, wie DLSS im Detail funktioniert.
Aber ich bezweifle, dass hier Machine Learning für das direkte Upscaling verwendet wird.

Ich vermute mal, dass hier ähnlich wie bei TAA die Szene mit leichtem Kameraversatz abgetastet wird, um über Zeit mehr Samples zu sammeln.
Das Deep Learning wird wahrscheinlich verwendet, um genau diese mehrfachabtastung (Temporales Supersampling) der Szene zu optimieren.

Der Punkt ist einfach, dass DLSS so gut wie keine typischen "AI - upscaling" artefakte aufweist. Ich kenn auch die Ergebnisse, die z.B. Topaz Video Enhance AI oder Gigapixel AI erzeugen.

Die Ergebnisse sehen ganz anders aus. Da werden wirklich Details dazu erfunden und man erkennt in den meisten Fällen, dass diese Details künstlich erzeugt wurden, auch wenn es meist sehr gut und authentisch aussieht.

DLSS hat solche Fehler praktisch überhaupt nicht. Alle Details die dazukommen entsprechen ziemlich exakt dem, was auch das native Bild oder ein höher aufgelöstes Bild darstellen würde. Es gibt da bis auf Aliasing Artefakte und Unschärfe keinerlei Interpolationsfehler.

Daher meine Schlussfolgerung, dass die AI hier dafür sorgt, dass aus der vorhandenen Bildszene über mehrere Frames möglichst viele Details (ähnlich TAA) gesammelt werden, die am Ende ein detaillierteres Gesamtergebnis ermöglichen.

Es heißt ja auch Deep Learning Supersampling und nicht Deep Learning Upscaling. Kleiner aber feiner Unterschied.

 

[TurricanVeteran]

EDIT: Ich hab zwar keine Ahnung, wie DLSS im Detail funktioniert.
Aber ich bezweifle, dass hier Machine Learning für das direkte Upscaling verwendet wird.

Geht mir ähnlich.
Und wenn ich dein beispiel-bild so ansehe würde ich eher sagen, die polygone werden in der geringen auflösung berechnet, anschließend groß gezogen (ggf. noch gefiltert) und anschließend mit höher aufgelösten texturen versehen. Allerdings kann ich nur hoffen, das das in bewegung besser aussieht. Ansonsten müßte ich mich fragen warum man sich das an tut und ich bin da weißgott nicht empfindlich. Aber die standbilder sehen schon grausig aus.

 

[Belzebub13]

Das ist ja auch DLSS in Ultra Performance, ich selber nutze DLSS in Quality bei 4K und da fällt nix negatives auf.
Ich muss zugeben ich habe das jetzt noch nicht ganz genau im Detail betrachtet, bestimmt wird es da kleine Nachteile geben. Aber man erreicht selbst bei Quality höhere FPS und was für mich noch wichtiger ist das durch DLSS oft Sachen wie Shadowflickering oder ähnliches beseitigt werden.

 

[-THOR-]

Geht mir ähnlich.
Und wenn ich dein beispiel-bild so ansehe würde ich eher sagen, die polygone werden in der geringen auflösung berechnet, anschließend groß gezogen (ggf. noch gefiltert) und anschließend mit höher aufgelösten texturen versehen. Allerdings kann ich nur hoffen, das das in bewegung besser aussieht. Ansonsten müßte ich mich fragen warum man sich das an tut und ich bin da weißgott nicht empfindlich. Aber die standbilder sehen schon grausig aus.

Wie gesagt, das ist der "Ultra Performance" Modus von DLSS. Also der vierte Modus neben Performance, Balanced und Quality.

Die Qualität ist entsprechend schlecht, dafür auch der Performancegewinn sehr hoch, da eben nur ein Neuntel der Pixel berechnet wird.
Aber das hätte ich eigentlich erklärt...


Aber damit lässt sich eben am besten veranschaulichen, was DLSS leisten kann.
Es geht da eher um den Vergleich mit CAS bzw. klassischem Upscaling.

DLSS ist da ja trotz Ultra Performance Mode näher an nativ, als am ausgangsmaterial. Und das ist extrem beeindruckend.


Wem die Qualität wichtig ist, der kann den Ultra Performance oder den Performance Mode ja auch nutzen, um Downsampling zu betreiben. Man stellt einfach die Zielauflösung um den entsprechenden Faktor höher als die native Displayauflösung und erhält durch DLSS praktisch gratis ein extrem hochauflösendes Bild, das man downsamplen kann. Dass die Qualität in jedem Fall gegenüber der Ausgangsauflösung steigt beweisen ja meine Screenshots mehr als deutlich.

Nvidia wollte so einen Modus ja auch mal offiziell anbieten...

 

[DKK007]

Nvidia wollte so einen Modus ja auch mal offiziell anbieten...

Hätte ich eigentlich mit den neuen GPUs erwartet

 

[openSUSE]

Hab mal aus Spaß nen Vergleich gemacht in Cyberpunk zwischen 1440p nativ, DLSS im Ultra Performance Modus (= 480p!) und 495p mit CAS upscaling.

Da ich jedoch den CAS Regler auf 33% setzen müsste, das Spiel aber nur 50% erlaubt musste ich die Spielauflösung auf 900p setzen und davon dann 55% auswählen. (Hier 50% pro achse, nicht gesamtpixelanzahl) Ergibt dann insgesamt 480p upscaled auf 1440p.

Die Art wie du hier vergleichbare Bedingungen herstellen willst kann so hinten und vorne nicht aufgehen.
Merke: Das Gleiche ist nicht dasselbe.


Zudem nimmst du CAS den eizigen Vorteil den es hat, Geschwindigeit.
DLSS kostet idR ~20% Leistung vs der "nativen Auflösung (480p) ", CAS kosta fast nix. Dies bedeutet, dass du die Native CAS Auflösung so lange erhöhen kannst bis sie ungefähr ~20% Leistung gegenüber 480p "kostet".
Also hast du dann mit CAS eine Auflösung die höher ist, man kommt idR (bei RT off Games) auf 900p.

Und dann solltest du auch wirklich kontrastadaptive Schärfung verwenden wie sie AMD auch nutzt inc GPU Upsampling. Und nich so ein gebastel was du da machst.

 

[-THOR-]

@openSUSE

Meine Intention war es zu zeigen was DLSS leisten kann, nicht mehr und nicht weniger.
Dazu ist eben einmal native Auflösung mit TAA notwendig und ein klassisch hochskaliertes TAA Bild in der ausgangs Auflösung um zu zeigen wie die gleiche berechnete Pixelmenge ohne DLSS aussehen würde.

Dass CAS u.U. mit einem kleineren Faktor die gleiche Performance erzielt und deshalb besser aussehen könnte als mein Bild tut für mich erstmal wenig zur Sache, da ich wissen wollte was DLSS aus technischer Sicht beim reinen Upscaling bzw. Supersampling leistet und nicht was CAS leistet.

Ich glaube das ist falsch rübergekommen und von mir nicht eindeutig beschrieben.

Aber wenn wir schon bei CAS bzw. FSR sind... auch FSR wird wahrscheinlich einen Performancehit haben, da der Algorithmus wohl deutlich aufwendiger sein muss als CAS.

 

[DKK007]

Bin mal gespannt, ob FSR auch auf den APUs läuft. Denn gerade da würde so eine Beschleunigung viel bringen.
Insbesondere, wo die auch keinen schnellen Grafikspeicher haben.

 

[BigBoymann]

Also ich bin bekanntermaßen kein Freund von DLSS, eine offene Alternative würde dem Markt gut tun.

Aber, ich denke, dass DLSS schon quasi Standard ist und AMD wenn überhaupt nur eine Chance hat, wenn der erste Schuss sitzt. Erfahrungstechnisch, wird das aber nicht klappen, wie sollte es auch. AMD kann nur hoffen, dass große Studios dem Ruf folgen und in Zukunft DLSS links liegen lassen (wird ja auch Geld kosten, das zu implementieren) und sich DLSS quasi von alleine rauswächst.