News FSR Upscaling 4.1: AMDs neuestes KI-Upscaling ist offiziell

[IguanaGaming]

das Steam Survey is aber auch überflüssig, wenn man einfach nach Marktanteilen von Herstellern bei dGPU's im Netz sucht, wie gesagt da hatte Nvidia letztes Jahr 94% und dementsprechend sollte dann au der Anteil von AMD Karten im Steam Survey aussehen

 

[dudellino]

Es ist auch etwas paradox. man wechselt von integer auf floats um mehr präzision zu erhalten, merkt aber, dass fp16 zu langsam ist und reduziert dann die präzision auf fp8 um dann als nächstes die präzision auf fp4 (in blöcken) zu reduzieren.

warum nicht gleich bei integer bleiben und die gewichtung in einem block an int8 abbilden. wir liegen bei fp4 noch bei einer nachkommastelle und retten exponent und vorzeichen. nvidia verwendet noch weniger präzision und bildet dann blöcke. aber deren motivation ist keine mathematische notwendigkeit für upscaling, sondern die abbildung der statistischen ausreisser für Interferenz, weil ansonsten Informationen verloren gehen. Sony hat gezeigt, dass für den Anwendungsfall Gaming Int8 absolut ausreichend ist und genau für diesen Anwendungsfall nutzen wir unsere Consumer GPUs meistens und auch unsere Handhelds.

Von Nvidia zu Intel und zu AMD ist AMD der einzige Hersteller, der keine Abwärtskompatibilität bietet und auch ein Jahr nach dem Release der RDNA4 Karten keine Lösung anbietet.

Der Hauptunterschied zwischen INT8 und FP8 liegt in der Verteilung der darstellbaren Werte. Beide Formate können genau 256 verschiedene Zahlen abbilden. INT8 ist dabei linear quantisiert, das bedeutet, die Werte sind gleichmässig verteilt, zum Beispiel 0.25, 0.5, 0.75 usw. Jeder Schritt hat also den gleichen Abstand.

FP8 hingegen nutzt ein Gleitkommaformat. Dadurch sind die Werte nicht gleichmässig verteilt, sondern logarithmisch. In der Nähe von 0 gibt es viele fein abgestufte Werte, während die Abstände zu den Extremen hin grösser werden, also Richtung -1 und 1 deutlich gröber.

Für neuronale Netze ist das entscheidend, weil viele Aktivierungen und Gewichte nahe bei 0 liegen und weil Aktivierungsfunktionen oft gerade um 0 herum am steilsten sind. Kleine Änderungen in diesem Bereich haben also einen grossen Einfluss auf das Ergebnis. FP8 kann diese kleinen Unterschiede besser auflösen. Bei INT8 verlierst du schneller Informationen.

 

[Thoriig]

Der Hauptunterschied zwischen INT8 und FP8 liegt in der Verteilung der darstellbaren Werte. Beide Formate können genau 256 verschiedene Zahlen abbilden. INT8 ist dabei linear quantisiert, das bedeutet, die Werte sind gleichmässig verteilt, zum Beispiel 0.25, 0.5, 0.75 usw. Jeder Schritt hat also den gleichen Abstand.

FP8 hingegen nutzt ein Gleitkommaformat. Dadurch sind die Werte nicht gleichmässig verteilt, sondern logarithmisch. In der Nähe von 0 gibt es viele fein abgestufte Werte, während die Abstände zu den Extremen hin grösser werden, also Richtung -1 und 1 deutlich gröber.

Für neuronale Netze ist das entscheidend, weil viele Aktivierungen und Gewichte nahe bei 0 liegen und weil Aktivierungsfunktionen oft gerade um 0 herum am steilsten sind. Kleine Änderungen in diesem Bereich haben also einen grossen Einfluss auf das Ergebnis. FP8 kann diese kleinen Unterschiede besser auflösen. Bei INT8 verlierst du schneller Informationen.

exakt, aber für upscaling ist das nicht notwendig, für Interferenz zb schon. ich wollte damit ausdrücken, dass der trend (abgesehen vom vorgehen selbst) nicht sinnvoll ist für unseren Anwendungsfall und das die Verwendung von fp8 oder fp4 in zukunft aus einem anderen usecase als gaming besteht. Gerade die Blockweise Nutzung ist wesentlich effizienter, wie es Nvidia auch vor macht.