• Achtung, kleine Regeländerung für User-News: Eine User-News muss Bezug zu einem IT-Thema (etwa Hardware, Software, Internet) haben. Diskussionen über Ereignisse ohne IT-Bezug sind im Unterforum Wirtschaft, Politik und Wissenschaft möglich.
  • Hallo Gast, du kaufst gerne günstig ein und erfährst oft vor deinen Freunden von interessanten Angeboten? Dann kannst du dein Talent als Schnäppchenjäger jetzt zu Geld machen und anderen PCGH-Lesern beim Sparen helfen! Schau einfach mal rein - beim Test der Community Deals!

AMD Fidelity FX Super Resolution (FSR) ohne Machine Learning

BlubberLord

Komplett-PC-Aufrüster(in)
Laut unten stehender Quelle hat ein AMD-Entwickler (Vizepräsident Scott Herkelman) in einem Talk verlauten lassen, dass AMDs Antwort auf DLSS definitiv ohne AI/Machine Learning funktioniert.
Es würden aktuell noch mehrere Techniken getestet und es gebe noch viel zu tun. Aber FSR soll definitiv 2021 und Cross Platform erscheinen, versichert Herkelman.

Hier im Forum wurde vermehrt vertreten, dass AMDs Lösung höchstwahrscheinlich auf der ML-Bibliothek von Microsoft basieren wird, welche technisch deutliche Vorteile gegenüber nVidias proprietärer Lösung habe.

Da DLSS auch neue Details hinzufügt (siehe Schriften, Zäune, Maserungen etc.) die durch reine Interpolation und nachschärfen nicht wiederherstellbar wären wird es spannend zu sehen, welche Technik AMD wählt und wie die Ergebnisse 2021 noch aussehen werden.

Quelle: https://mixed.de/amd-dlss-alternative-kommt-ohne-ki-technik/

Ich hoffe die Diskussion zum Thema bleibt gesittet!
 
Zuletzt bearbeitet:

TheGermanEngineer

BIOS-Overclocker(in)
Das ist schade zu hören, denn DL-Technologien können hier einige herausholen, vor allem wenn sie allgemein auf alle Spiele oder Videos in Echtzeit angewendet werden können.
Auch könnte das AMDs Vorstoß ins DL fördern. Wer aktuell GPU-beschleunigtes Lernen nutzen will, kommt praktisch nicht an NVIDIA vorbei.
 

DaHell63

BIOS-Overclocker(in)
Aber FSR soll definitiv 2021 und Cross Platform erscheinen, versichert Herkelman.
Versichert hat er nichts.

We belive we can do that this year,

 

Cleriker

PCGH-Community-Veteran(in)
Mhm... auch ich bin eher davon ausgegangen dass AMD den Weg über DL Bibliotheken geht, allerdings freue ich mich auch wenn sie es auf anderem Wege schaffen. Denn dieses "hinzudichten" von Details finde ich fraglich. Manchmal klappt das gut, an anderer Stelle nicht. Vor allem aber macht es die Vergleichbarkeit zunichte, was Benchmarks völlig ad absurdum führen würde. Auch für uns Spieler wäre das so eine Sache. Je nachdem welchem GPU-Hersteller man nutzt, könnten andere Ergebnisse ausgegeben werden und die optische Stimmung total anders wirken.
 

-THOR-

Komplett-PC-Aufrüster(in)
Ich bezweifle dass AMDs Ansatz besser sein kann, als das was Sony, Ubisoft oder ID Software im Bereich TAA und Cheackerboarding bereits geleistet haben.


Das TAA von Doom Eternal ist z.B. eine der besten Implementierungen von TAA am Markt. Das gleiche gilt für Ubisofts TAA in AC Odyssey, oder Immortals. Das ist knackscharf (in valhalla leider weniger, keine Ahnung warum).
Division 2 bietet am PC sogar eine Art Checkerboarding Rekonstruktion, die optisch DLSS Quality in nichts nachsteht (bringt aber weniger Performance).

Es wird schwer für AMD hier "mal eben" was aus dem Boden zu stampfen wo hingegen andere Entwickler schon seit vielen Jahren an ihren TAA Algorithmen arbeiten.

Übrigens werden bei TAA auch zusätzliche Details generiert, wie bei echtem MSAA/SSAA, nur mal so zu Info...

Irgendwie hab ich das Gefühl, als würde hier AMD nur was bringen, weil sie "müssen", aber nicht, weil sie es besser können als andere.
Ich hoffe mal nicht, dass AMD hier jetzt Zeit und Mühe reinsteckt und am Ende verwenden die Spieleentwickler ihre eigenen Algorithmen, weil die schon viel ausgereifter sind.

Nvidia hat hier eben den Vorteil, dass man sich seit Jahren im professionellen Bereich mit MachineLearning sowie Bildmanipulations und verarbeitungstechniken auseinandergesetzt hat. Nvidia ist hier eben auch Softwareseitig stark unterwegs. Das sehe ich bei AMD einfach nicht.


Also ich ziehe meinen nicht vorhandenen Hut, wenn AMD es wirklich schafft, ohne ML eine bessere Lösung anzubieten, als am Markt bereits existiert (ausgenommen DLSS).
 
Zuletzt bearbeitet:

TheGermanEngineer

BIOS-Overclocker(in)
Je nachdem welchem GPU-Hersteller man nutzt, könnten andere Ergebnisse ausgegeben werden und die optische Stimmung total anders wirken.
Im Grunde ein richtiger Gedanke. In der Praxis dürfte das aber nicht auffallen. So stark wird man kaum das Bild aufskalieren, als dass man einen Unterschied sieht.

Ich hab mal mit Topaz Video Enhance herumgespielt. Das ist im Grunde das Gleiche, nur halt für Videos und nicht in Echtzeit. Hier geht es eher darum z. B. Material in DVD-Qualität (576p) auf FullHD (1080p) oder gar UHD (2140p) zu skalieren. Hier können je nach Einstellungen durchaus Artefakte entstehen, weil die Skalierungsfaktoren recht groß sind. Zumindest bei DLSS ist es ja aktuell nicht der Plan ein Spiel in 720p zu Rendern und dann in UHD auszugeben.
 

-THOR-

Komplett-PC-Aufrüster(in)
@TheGermanEngineer
Doch der DLSS Ultra Performance Modus reduziert die Gesamtpixelanzahl um den Faktor 9

Der Modus ist eigentlich für 8K gedacht.
Aber wenn man ihn mit 4K nutzt, dann kommt man exakt bei 1280x720 raus.

Also ja, DLSS kann von 720p auf 2160p skalieren.

Nutzt man in 1440p den normalen Performance Mode dann wird zwar im Performance Mode mit kleinerem Faktor skaliert aber mit 1440p als Zielauflösung beträgt die interne Auflösung trotzdem 720p.

Im 1440p quality Modus wird intern mit 950p gerechnet.
Das sind schon verdammt wenig Pixel, dafür dass es manchmal sogar ein wenig besser als nativ aussehen kann
 

-THOR-

Komplett-PC-Aufrüster(in)
Die Zahlen bzw. Faktoren stammen von Digital Foundry. Findet man über google recht schnell.
 
TE
B

BlubberLord

Komplett-PC-Aufrüster(in)
Der Algorithmus von Topaz Labs hat den großen Nachteil, dass er nur das eine vorhandene Bild hat um neue Bildteile zu generieren. Größtenteils – z.B. bei der Fortsetzung von Kontrastkanten – funktioniert das sehr gut. Aber gerade bei Unschärfe und Rauschen und auch bei sehr kleiner Schrift etc. sieht man bei stark gezoomter Sicht, dass einfach nur andere Bildteile wie ein Kopierstempel dorthin verfrachtet würden.

DLSS hat den Vor- und gleichzeitig Nachteil, dass es mit ganz viel Bildmaterial aus unterschiedlichsten Szenen des Spiels gefüttert wird und damit eine Datengrundlage hat um nähere bzw. höher aufgelöste Ansichten bestimmter Details an die Stellen zu setzen die nach einer unscharfen (auch perspektivisch verzerrten, anders beleuchteten etc.) Variante dieses Details aussehen.
Daher frage ich mich, wie das universelle UnrealEngine-Plugin wohl funktioniert. Höchstwahrscheinlich werden hier auch Texturdaten o.ä. "verfüttert". Allerdings steht eben kein AI-Compute-Superrechner zur Verfügung um unendlich Stunden 16K-Videomaterial zu verarbeiten.
 

-THOR-

Komplett-PC-Aufrüster(in)
Hab mal aus Spaß nen Vergleich gemacht in Cyberpunk zwischen 1440p nativ, DLSS im Ultra Performance Modus (= 480p!) und 495p mit CAS upscaling.

Da ich jedoch den CAS Regler auf 33% setzen müsste, das Spiel aber nur 50% erlaubt musste ich die Spielauflösung auf 900p setzen und davon dann 55% auswählen. (Hier 50% pro achse, nicht gesamtpixelanzahl) Ergibt dann insgesamt 480p upscaled auf 1440p.

Hier mal das Ergebnis.

Schon erstaunlich, was DLSS hier im Extremfall noch leistet bei einem Neuntel der ursprünglichen Pixel. Das DLSS Bild sieht gar nicht so kacke aus. Auch in Bewegung ist es noch brauchbar. Da flimmert CAS sehr, sehr viel mehr.

Screenshot2.png



EDIT: Ich hab zwar keine Ahnung, wie DLSS im Detail funktioniert.
Aber ich bezweifle, dass hier Machine Learning für das direkte Upscaling verwendet wird.

Ich vermute mal, dass hier ähnlich wie bei TAA die Szene mit leichtem Kameraversatz abgetastet wird, um über Zeit mehr Samples zu sammeln.
Das Deep Learning wird wahrscheinlich verwendet, um genau diese mehrfachabtastung (Temporales Supersampling) der Szene zu optimieren.

Der Punkt ist einfach, dass DLSS so gut wie keine typischen "AI - upscaling" artefakte aufweist. Ich kenn auch die Ergebnisse, die z.B. Topaz Video Enhance AI oder Gigapixel AI erzeugen.

Die Ergebnisse sehen ganz anders aus. Da werden wirklich Details dazu erfunden und man erkennt in den meisten Fällen, dass diese Details künstlich erzeugt wurden, auch wenn es meist sehr gut und authentisch aussieht.

DLSS hat solche Fehler praktisch überhaupt nicht. Alle Details die dazukommen entsprechen ziemlich exakt dem, was auch das native Bild oder ein höher aufgelöstes Bild darstellen würde. Es gibt da bis auf Aliasing Artefakte und Unschärfe keinerlei Interpolationsfehler.

Daher meine Schlussfolgerung, dass die AI hier dafür sorgt, dass aus der vorhandenen Bildszene über mehrere Frames möglichst viele Details (ähnlich TAA) gesammelt werden, die am Ende ein detaillierteres Gesamtergebnis ermöglichen.

Es heißt ja auch Deep Learning Supersampling und nicht Deep Learning Upscaling. Kleiner aber feiner Unterschied.
 
Zuletzt bearbeitet:

TurricanVeteran

Volt-Modder(in)
EDIT: Ich hab zwar keine Ahnung, wie DLSS im Detail funktioniert.
Aber ich bezweifle, dass hier Machine Learning für das direkte Upscaling verwendet wird.
Geht mir ähnlich.
Und wenn ich dein beispiel-bild so ansehe würde ich eher sagen, die polygone werden in der geringen auflösung berechnet, anschließend groß gezogen (ggf. noch gefiltert) und anschließend mit höher aufgelösten texturen versehen. Allerdings kann ich nur hoffen, das das in bewegung besser aussieht. Ansonsten müßte ich mich fragen warum man sich das an tut und ich bin da weißgott nicht empfindlich. Aber die standbilder sehen schon grausig aus.
 

Belzebub13

Komplett-PC-Aufrüster(in)
Das ist ja auch DLSS in Ultra Performance, ich selber nutze DLSS in Quality bei 4K und da fällt nix negatives auf.
Ich muss zugeben ich habe das jetzt noch nicht ganz genau im Detail betrachtet, bestimmt wird es da kleine Nachteile geben. Aber man erreicht selbst bei Quality höhere FPS und was für mich noch wichtiger ist das durch DLSS oft Sachen wie Shadowflickering oder ähnliches beseitigt werden.
 

-THOR-

Komplett-PC-Aufrüster(in)
Geht mir ähnlich.
Und wenn ich dein beispiel-bild so ansehe würde ich eher sagen, die polygone werden in der geringen auflösung berechnet, anschließend groß gezogen (ggf. noch gefiltert) und anschließend mit höher aufgelösten texturen versehen. Allerdings kann ich nur hoffen, das das in bewegung besser aussieht. Ansonsten müßte ich mich fragen warum man sich das an tut und ich bin da weißgott nicht empfindlich. Aber die standbilder sehen schon grausig aus.


Wie gesagt, das ist der "Ultra Performance" Modus von DLSS. Also der vierte Modus neben Performance, Balanced und Quality.

Die Qualität ist entsprechend schlecht, dafür auch der Performancegewinn sehr hoch, da eben nur ein Neuntel der Pixel berechnet wird.
Aber das hätte ich eigentlich erklärt... ;)


Aber damit lässt sich eben am besten veranschaulichen, was DLSS leisten kann.
Es geht da eher um den Vergleich mit CAS bzw. klassischem Upscaling.

DLSS ist da ja trotz Ultra Performance Mode näher an nativ, als am ausgangsmaterial. Und das ist extrem beeindruckend.


Wem die Qualität wichtig ist, der kann den Ultra Performance oder den Performance Mode ja auch nutzen, um Downsampling zu betreiben. Man stellt einfach die Zielauflösung um den entsprechenden Faktor höher als die native Displayauflösung und erhält durch DLSS praktisch gratis ein extrem hochauflösendes Bild, das man downsamplen kann. Dass die Qualität in jedem Fall gegenüber der Ausgangsauflösung steigt beweisen ja meine Screenshots mehr als deutlich.

Nvidia wollte so einen Modus ja auch mal offiziell anbieten...
 
Zuletzt bearbeitet:

openSUSE

Software-Overclocker(in)
Hab mal aus Spaß nen Vergleich gemacht in Cyberpunk zwischen 1440p nativ, DLSS im Ultra Performance Modus (= 480p!) und 495p mit CAS upscaling.

Da ich jedoch den CAS Regler auf 33% setzen müsste, das Spiel aber nur 50% erlaubt musste ich die Spielauflösung auf 900p setzen und davon dann 55% auswählen. (Hier 50% pro achse, nicht gesamtpixelanzahl) Ergibt dann insgesamt 480p upscaled auf 1440p.
Die Art wie du hier vergleichbare Bedingungen herstellen willst kann so hinten und vorne nicht aufgehen.
Merke: Das Gleiche ist nicht dasselbe.


Zudem nimmst du CAS den eizigen Vorteil den es hat, Geschwindigeit.
DLSS kostet idR ~20% Leistung vs der "nativen Auflösung (480p) ", CAS kosta fast nix. Dies bedeutet, dass du die Native CAS Auflösung so lange erhöhen kannst bis sie ungefähr ~20% Leistung gegenüber 480p "kostet".
Also hast du dann mit CAS eine Auflösung die höher ist, man kommt idR (bei RT off Games) auf 900p.

Und dann solltest du auch wirklich kontrastadaptive Schärfung verwenden wie sie AMD auch nutzt inc GPU Upsampling. Und nich so ein gebastel was du da machst.
 

-THOR-

Komplett-PC-Aufrüster(in)
@openSUSE

Meine Intention war es zu zeigen was DLSS leisten kann, nicht mehr und nicht weniger.
Dazu ist eben einmal native Auflösung mit TAA notwendig und ein klassisch hochskaliertes TAA Bild in der ausgangs Auflösung um zu zeigen wie die gleiche berechnete Pixelmenge ohne DLSS aussehen würde.

Dass CAS u.U. mit einem kleineren Faktor die gleiche Performance erzielt und deshalb besser aussehen könnte als mein Bild tut für mich erstmal wenig zur Sache, da ich wissen wollte was DLSS aus technischer Sicht beim reinen Upscaling bzw. Supersampling leistet und nicht was CAS leistet.

Ich glaube das ist falsch rübergekommen und von mir nicht eindeutig beschrieben.

Aber wenn wir schon bei CAS bzw. FSR sind... auch FSR wird wahrscheinlich einen Performancehit haben, da der Algorithmus wohl deutlich aufwendiger sein muss als CAS.
 

DKK007

PCGH-Community-Veteran(in)
Bin mal gespannt, ob FSR auch auf den APUs läuft. Denn gerade da würde so eine Beschleunigung viel bringen.
Insbesondere, wo die auch keinen schnellen Grafikspeicher haben.
 

BigBoymann

Software-Overclocker(in)
Also ich bin bekanntermaßen kein Freund von DLSS, eine offene Alternative würde dem Markt gut tun.

Aber, ich denke, dass DLSS schon quasi Standard ist und AMD wenn überhaupt nur eine Chance hat, wenn der erste Schuss sitzt. Erfahrungstechnisch, wird das aber nicht klappen, wie sollte es auch. AMD kann nur hoffen, dass große Studios dem Ruf folgen und in Zukunft DLSS links liegen lassen (wird ja auch Geld kosten, das zu implementieren) und sich DLSS quasi von alleine rauswächst.
 

TheGermanEngineer

BIOS-Overclocker(in)
Schon erstaunlich, was DLSS hier im Extremfall noch leistet bei einem Neuntel der ursprünglichen Pixel. Das DLSS Bild sieht gar nicht so kacke aus. Auch in Bewegung ist es noch brauchbar. Da flimmert CAS sehr, sehr viel mehr.
Danke noch mal für deinen Vergleich. Mit einem offenen Standard birgt das gewaltiges Potential.
Man muss es vielleicht übertreiben mit einem Supersampling um den Faktor x9, aber um mit einer älteren Grafikkarte oder einer Entry-Level-Karte auch neuere Titel ganz ansehnlich genießen zu können, ist das schon ein gewaltiger Fortschritt. Vorausgesetzt es funktioniert ausnahmslos mit jedem Spiel und auch banalen Dingen wie Video-Wiedergabe. Ich glaube da hat man gerade jetzt wo neue Grafikkarten Mangelware und teuer sind deutlich mehr als von Raytracing.
 

DKK007

PCGH-Community-Veteran(in)
Nur wenn es nur die neuen Grafikkarten können, die alle nicht lieferbar sind, nützt es nicht viel.

Auf den iGPUs bzw. APUs würde es wirklich was bringen.
 

Richu006

Software-Overclocker(in)
Das "Problem" von DLSS sehe ich im Aufwand der betrieben werden muss um das feature zu integrieren.
Die AI muss ja erst mit Massenweise 8K/16K Bildmaterial gefüttert werden, dann werden diese Daten im Treiber hinterlegt und erst dann kann DLSS auch funktionieren.

Zukünftig kann sein, dass zb. In paar Jahren der grafik treiber die daten zu zb. Cyberpunk nicht mehr hat. Dann lässt sich DLSS nicht weiter verwenden.

Ebenso frage ich mich wie gross die Grafikkartentreiber denn noch werden sollen, wenn für jedes Spiel diese Daten darin hinterlegt werden müssen.

Von daher wäre mir eine nicht so aufwändige Lösung irgendwie sympathischer.
Mal sehen was AMD hin bekommt.
 

Belzebub13

Komplett-PC-Aufrüster(in)
Nvidia hat doch nun angekündigt DLSS in die UE4 zu integrieren. Ich schätze mal damit wird das Problem Massenweise Bildmaterial zu erstellen eingeschränkt. Ob es dann von gleicher Qualität ist wie wenn es individuell erstellt wird ist abzuwarten.

 
TE
B

BlubberLord

Komplett-PC-Aufrüster(in)
Nvidia hat doch nun angekündigt DLSS in die UE4 zu integrieren. Ich schätze mal damit wird das Problem Massenweise Bildmaterial zu erstellen eingeschränkt. Ob es dann von gleicher Qualität ist wie wenn es individuell erstellt wird ist abzuwarten.

Ähm das ist doch schon ein alter Hut?!
Relativ neu ist, dass sich Entwickler das Plugin nicht mehr einzeln von nVidia freischalten lassen müssen.
Es kann natürlich auch trotzdem weierhin mit Bildmaterial aus dem jeweiligen Spiel trainiert werden. Das Plugin kann das ja über die Engine problemlos selbstständig holen und analysieren.
 
Oben Unten