Xbox: Stellenausschreibungen sorgen für neue Gerüchte um eigene Machine Learning-gestützte Upscaling-Technologie

[PCGH-Redaktion]

Jetzt ist Ihre Meinung gefragt zu Xbox: Stellenausschreibungen sorgen für neue Gerüchte um eigene Machine Learning-gestützte Upscaling-Technologie

Neue Gerüchte um eine mögliche Microsoft-eigene Upscaling-Technologie, die von Machine Learning gestützt wird, kursieren im Netz. Anlass sind neuerliche Stellenausschreibungen.

Bitte beachten Sie: Der Kommentarbereich wird gemäß der Forenregeln moderiert. Allgemeine Fragen und Kritik zu Online-Artikeln von PC Games Hardware sind im Feedback-Thread zu veröffentlichen und nicht im Kommentarthread zu einer News. Dort werden sie ohne Nachfragen entfernt.

Zurück zum Artikel: Xbox: Stellenausschreibungen sorgen für neue Gerüchte um eigene Machine Learning-gestützte Upscaling-Technologie

 

[Technologie_Texter]

Da Microsoft da sehr eng mit AMD zusammenarbeiten wird könnte AMD die eigene Lösung danach einstellen.

Mantle wurde immerhin auch eingestellt, nachdem AMD den Mantle-Code an Khronos abgetreten hat und die daraus dann Vulkan entwickelt haben.

 

[theeagle61]

Anscheinend hat Phil Spencer die neuen Videos von Digi Foundry angesehen, wo DLSS2.2 eine fantastische Arbeit leistet. Hoffe wirklich das die Konsolen sowas bekommen, auch in der Cloud könnten Sie es für XCLOUD einsetzen.
Das letzte war Doom Eternal, wo es mit den Konsolen verglichen wurde, während PS5 mit 15xxp lief und die SX mit 1800p auf 4K, hatte DLSS 2.2 Performance Mode auf 4K ( 1080p DLSS ) ein besseres Bild in jeder Szene geschafft. Man mag von Nvidia halten was man will, aber mit DLSS haben Sie wirklich ein tolles Feature erschaffen.

 

[Blackout27]

Das wäre wirklich eine tolle Neuigkeit! Habe mir gestern bei DF das Doom Video angeschaut und war wirklich begeistert vom aktuellen DLSS 2.2
Wenn so ein Feature mit der Qualität auf den Konsolen möglich wäre (oder ähnlich gut), könnte man wirklich viel Rohleistung einsparen. Dank DLSS konnte eine RTX2060 besser abschneiden als die Konsolen, da lediglich 900-1080p berechnet werden musste.
In 900-1080p hätten die Konsolen sicher nochmal deutlich RT aufwerten oder RT und 120Fps anbieten können.

Schade das AMDs Super Resolution noch nicht auf den Konsolen unterstützt wird. Wäre interessant gewesen bei Doom

Mal eine Frage an die Spezialisten, die Tensor Kerne übernehmen ja die Arbeit bei den RTX Karten. Wäre es möglich diese Berechnungen über die CPU laufen zu lassen und falls ja wie viel Power benötigt man da? Die Konsolen haben ja eine APU plus spezielle Einheiten fürs Komprimieren und co. Alles ist miteinander verbunden, sodass es vielleicht so möglich wäre ohne die GPU zusätzlich damit zu beschäftigen?

 

[rumpeLson]

Mal eine Frage an die Spezialisten, die Tensor Kerne übernehmen ja die Arbeit bei den RTX Karten. Wäre es möglich diese Berechnungen über die CPU laufen zu lassen und falls ja wie viel Power benötigt man da? Die Konsolen haben ja eine APU plus spezielle Einheiten fürs Komprimieren und co. Alles ist miteinander verbunden, sodass es vielleicht so möglich wäre ohne die GPU zusätzlich damit zu bebeschäftigen

Auf der CPU wäre das einfach furchtbar inperformant. Die Tensorcores liefern für sehr spezielle Berechnungen einfach unheimlich viel Rechenleistung.

Es wäre aber durchaus möglich die Berechnungen für DLSS auf den gewöhnlichen ALUs auszuführen. Aber, ob das sinnvoll möglich ist, weiß letztlich nur Nvidia.

 

[sandworm]

Oh doch! Wie verbreitet FSR sein wird ist sehr wohl abzusehen.

Da ihr anscheinend hinter dem Mond lebt und die Uhren in Deutschland eh etwas langsamer ticken als sonst wo hat sich hier anscheinend noch nicht herumgesprochen das mittlerweile alle Plattformen FSR unterstützen:
PS5 / PS4 / XBOX one / seies X /S /PC AMD / Intel (nicht offiziell) / NVIDIA (nicht offiziell?)

Selbst unter Linux, auch wenn noch nicht offiziell, scheint es super zu laufen.

Auch interessant ist die Aussage von Jérémy Zeler-Maury, führende Programmierer des Spiels Edge of Eternity.
Da es sich dabei um eines der wenigen Spiele, die sowohl FSR als auch DLSS unterstützen handelt, sollte man der folgenden Aussage besondre Beachtung zukommen lassen.
Interview mit Jérémy Zeler-Maury

In Bezug auf die Qualität liefern beide Technologien erstaunliche Ergebnisse, wenn viele Pixelinformationen für die Hochskalierung auf 4K verfügbar sind, und es fällt mir schwer, Unterschiede zwischen ihnen zu erkennen. Ich würde sogar sagen, dass ich den FSR für 4K-Auflösung etwas bevorzuge, da er keine Artefakte / geringfügige Unschärfe einführt, die DLSS manchmal verursachen kann.

Auch die Aussage bezüglich des Aufwands der Implementierung spricht Bände.
Kein Indie Entwickler wird sich den Aufwand antun und DLSS in ihr Spiel integrieren, bei FSR wiederum ist es ein Selbstläufer und der Aufwand ist nur marginal.

Auch kommt das Spiel für Konsolen und anscheinend ist es gerade für diese ein Muss der den Aufwand mehr als rechtfertigt.

Es sieht wirklich alles danach aus, das der Krieg bereits entschieden ist, bevor die überhaupt die erste Schlacht gefochten wurde.

 

[raPid-81]

Auch die Aussage bezüglich des Aufwands der Implementierung spricht Bände.
Kein Indie Entwickler wird sich den Aufwand antun und DLSS in ihr Spiel integrieren, bei FSR wiederum ist es ein Selbstläufer und der Aufwand ist nur marginal.

Auch kommt das Spiel für Konsolen und anscheinend ist es gerade für diese ein Muss der den Aufwand mehr als rechtfertigt.

Es sieht wirklich alles danach aus, das der Krieg bereits entschieden ist, bevor die überhaupt die erste Schlacht gefochten wurde.

Entschuldige, aber Du übertreibst bezüglich "der Krieg ist entschieden".

1. AMD's FSR muss genauso wie NV's DLSS in die Engine / das Game integriert werden. Von allein passiert da nix. Siehe hier: https://gpuopen.com/fidelityfx-superresolution/

• Full shader source code provided for a smooth and flexible integration.

Laut den bisherigen Entwicklern die FSR eingebaut haben dauert es einige Tage das Feature zu integrieren. Im Vergleich dazu ist / wird DLSS in diverse Engines nativ integriert (Unreal, Unity, IDTech, Frostbite, Disrupt, Anvil, CryEngine usw usw, siehe hier https://www.nvidia.com/en-gb/geforce/news/june-2021-rtx-dlss-game-update/)

In diesen Engines lässt sich DLSS innerhalb weniger Klicks aktivieren. Also da sehe ich FSR noch nicht vorne.

2. Die Qualität von FSR ist nicht vergleichbar mit DLSS. FSR ist ein reiner Spatial-Upscaler, nutzt keine temporalen Informationen, rekonstruiert keine verlorenen Details und nutzt keine Bewegungsvektoren. Es kann in der aktuellen Version nicht die Qualität von DLSS erreichen, das zeigen auch so gut wie alle Tests. "Nur" in 4K ist die Qualität im Ultra-Quality Mode gut, alles darunter leidet mehr oder weniger stark an "Matsch-Bildung".

Was man FSR zugute halten muss ist die übergreifende Unterstützung für alle Karten und Konsolen. Ohne Integration in die Game-Engines bringt das aber (noch) nichts bezüglich der schnellen Verbreitung. Da ist NV einfach 2 Jahre voraus.

 

[Blackout27]

Oh doch! Wie verbreitet FSR sein wird ist sehr wohl abzusehen.

Da ihr anscheinend hinter dem Mond lebt und die Uhren in Deutschland eh etwas langsamer ticken als sonst wo hat sich hier anscheinend noch nicht herumgesprochen das mittlerweile alle Plattformen FSR unterstützen:
PS5 / PS4 / XBOX one / seies X /S /PC AMD / Intel (nicht offiziell) / NVIDIA (nicht offiziell?)

Selbst unter Linux, auch wenn noch nicht offiziell, scheint es super zu laufen.

Auch interessant ist die Aussage von Jérémy Zeler-Maury, führende Programmierer des Spiels Edge of Eternity.
Da es sich dabei um eines der wenigen Spiele, die sowohl FSR als auch DLSS unterstützen handelt, sollte man der folgenden Aussage besondre Beachtung zukommen lassen.
Interview mit Jérémy Zeler-Maury


Auch die Aussage bezüglich des Aufwands der Implementierung spricht Bände.
Kein Indie Entwickler wird sich den Aufwand antun und DLSS in ihr Spiel integrieren, bei FSR wiederum ist es ein Selbstläufer und der Aufwand ist nur marginal.

Auch kommt das Spiel für Konsolen und anscheinend ist es gerade für diese ein Muss der den Aufwand mehr als rechtfertigt.

Es sieht wirklich alles danach aus, das der Krieg bereits entschieden ist, bevor die überhaupt die erste Schlacht gefochten wurde.

Ob FSR auf der Playstation laufen wird ist noch unbekannt oder gibt es mittlerweile ein Statement von Sony zu dem Feature?

 

[sandworm]

Ob FSR auf der Playstation laufen wird ist noch unbekannt oder gibt es mittlerweile ein Statement von Sony zu dem Feature?

Lies dir das von mir verlinkte Interview aufmerksam durch.

Does that mean FSR will be available in the same implementation on PS4 and PS5, too?

Yes. On consoles, we won't expose the settings directly as we do on PC, however. It will probably be hidden behind quality/performance toggles.

 

[Blackout27]

Lies dir das von mir verlinkte Interview aufmerksam durch.

Die Aussage bzw. Meinung ist von EINEM Entwickler. Ich meinte eine Bestätigung von FSR von Sony bzw. einem First Party Entwickler der die benötigten Tools ggf. schon hat.
Bei MS ist es ja jetzt in der Beta Phase und kommt wohl 2022 auf die Konsolen. Sowas meinte ich.
Wäre natürlich schön wenns auch flächendeckend für Playstation 4 und 5 verfügbar sein wird

 

[raPid-81]

Lies dir das von mir verlinkte Interview aufmerksam durch.

Du hast aus dem Link aber auch nur die "besten Stücke" genommen. Hier noch ein paar andere Aussagen:

Implementing DLSS was quite complex to integrate into Unity for a small studio like us; it required tweaking the engine and creating an external plugin to bridge Unity and DLSS. It was complicated, but in the end, it gave amazing results. FSR, on the other hand, was very easy to implement, it only took me a few hours, requiring only simple data. However, it did require the source data to be as sharp as possible since FSR is not a deep learning method and cannot reconstruct loss details.

Wenn DLSS in Unity nativ verfügbar wird (angekündigt für 2021) dann wird es vermutlich mit ein paar Klicks aktiviert (wie in der Unreal Engine).

I’d even say that I slightly prefer the FSR for 4K resolution since it doesn’t introduce any artifacts/minor blurriness that DLSS can sometimes introduce. For lower resolutions like upscaling to 1080p or 720p, I think DLSS gives a better result since it can reconstruct parts of missing details due to the nature of the technique.

Die Artefakte / Ghosting Problematik ist mit DLSS Version 2.2 so gut wie ausgemerzt. Für alles unter 4K empfiehlt er ganz klar DLSS.

For the Xbox Series X, it is the support of DirectML. I don’t think it’s used much yet, but machine learning will allow awesome performance improvements (ML super-resolution)

Hier wird noch mal hervorgehoben dass machine-learning (oder deep-learning...) Ansätze von den Entwicklern als besser eingeordnet werden.

Am Ende ist hier ein kleiner Indie-Entwickler mit gerade mal 2 Games auch nicht entscheidend.

 

[sandworm]

Du hast aus dem Link aber auch nur die "besten Stücke" genommen. Hier noch ein paar andere Aussagen:

Nein wenn es mir nur danach gegangen wäre die besten Stücke zu zitieren dann hätte ich zum Beispiel diese Zitat gewählt.

FSR, on the other hand, was very easy to implement, it only took me a few hours, requiring only simple data.

Wenn DLSS in Unity nativ verfügbar wird (angekündigt für 2021) dann wird es vermutlich mit ein paar Klicks aktiviert (wie in der Unreal Engine).

Ob es dabei wirklich bei ein paar Klicks bleiben wird wage ich zu bezweifeln aber selbst wenn ist es unerheblich da
DLSS nur in homöopathischen Dosen Verbreitung findet wird da auf RTX >= 20 beschränkt.

FSR wird hingegen bereits bei der Entwicklung auf den Konsolen mitberücksichtigt und da ist es dann wirklich eine Frage von nur wenigen Klicks dies am PC zu implementieren.

 

[raPid-81]

Ob es dabei wirklich bei ein paar Klicks bleiben wird wage ich zu bezweifeln aber selbst wenn ist es unerheblich da
DLSS nur in homöopathischen Dosen Verbreitung findet wird da auf RTX >= 20 beschränkt.

Hier, bitte, 5 Minuten und DLSS ist aktiviert in der UE4/5:

Eingebundener Inhalt

youtube.com/watch/?v=4JkHE48YptA

An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Alle externen Inhalte laden Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.

So wird es auch bei Unity sein, ist dann halt ein nativ integriertes Plugin.

FSR wird hingegen bereits bei der Entwicklung auf den Konsolen mitberücksichtigt und da ist es dann wirklich eine Frage von nur wenigen Klicks dies am PC zu implementieren.

Das mag sein, aber vorher müssen erst mal alle Game-Engines FSR integrieren. Und dann bleibt DLSS weiterhin überlegen was Bildqualität angeht.

 

[sandworm]

Hier, bitte, 5 Minuten und DLSS ist aktiviert in der UE4/5:

Eingebundener Inhalt

youtube.com/watch/?v=4JkHE48YptA

An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Alle externen Inhalte laden Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.

So wird es auch bei Unity sein, ist dann halt ein nativ integriertes Plugin.


Das mag sein, aber vorher müssen erst mal alle Game-Engines FSR integrieren. Und dann bleibt DLSS weiterhin überlegen was Bildqualität angeht.

Das man es nur mit wenigen Klicks aktivieren kann glaube ich gern, ob es allerdings out of the box, unoptimiert auch das gewünschte Ergebnis liefert steht auf einem ganz anderen Blatt.

Na ja, im ersten Direktvergleich bei der Hochskalierung auf 4k, unterliegt ja DLSS anscheinend.
So überlegen scheint das Endergebnis ja zum jetzigen Zeitpunkt doch nicht zu sein.
Aber wie gesagt, auch wenn FSR halt nur super Klasse, anstatt mega super geil ist, spielt das schlussendlich auch keine Rolle weil es halt überall läuft (bis auf Nintendo Switch)

 

[raPid-81]

Das man es nur mit wenigen Klicks aktivieren kann glaube ich gern, ob es allerdings out of the box, unoptimiert auch das gewünschte Ergebnis liefert steht auf einem ganz anderen Blatt.

Du hast das Video also nicht angeschaut. Na dann brauchen wir auch nicht weiter diskutieren, immerhin habe ich Deine Quelle gelesen, Du ignorierst meine.

Edit: Und wenn man FSR nicht optimiert dann wäre es doch dasselbe? Ich verstehe nicht mal Deine Argumentation richtig, DLSS müssen die Entwickler also optimieren, FSR nicht?

Na ja, im ersten Direktvergleich bei der Hochskalierung auf 4k, unterliegt ja DLSS anscheinend.
So überlegen scheint das Endergebnis ja zum jetzigen Zeitpunkt doch nicht zu sein.
Aber wie gesagt, auch wenn FSR halt nur super Klasse, anstatt mega super geil ist, spielt das schlussendlich auch keine Rolle weil es halt überall läuft (bis auf Nintendo Switch)

DLSS unterliegt? Wer sagt das wo? Die Aussagen von Fachmagazinen die ich gelesen habe gehen in die Richtung "FSR ist im Ultra-Quality-Mode in 4K gut, alle anderen Modi oder niedrigere Zielauflösungen sind nicht zu empfehlen". Das war der generelle Tenor.

DLSS ist in jedem anderen Modus und in niedrigeren Auflösungen überlegen. In 4K zieht FSR auch nicht gleich, es bietet nur eine ordentliche Qualität. Wie gesagt, FSR kann keine (durch die niedrigere Render-Auflösung) verloren gegangenen Details rekonstruieren, das kann DLSS dagegen schon.

Schlussendlich spielt es keine Rolle ob FSR auf allen Karten und Konsolen läuft, wenn andere Lösungen (DLSS, XeSS, TSR) besser und auch in den Engines per Plugin aktivierbar sind, dann nimmt der User die Lösung mit der besten Qualität.

Edit: Als Beispiel die UE5 Engine: am Ende werden wir dort min. 3 Upscaling Verfahren sehen: DLSS, FSR, TSR. Ich nehme auf jeden Fall das mit der besten Qualität.

 

[Scorpionx01]

Ob FSR auf der Playstation laufen wird ist noch unbekannt oder gibt es mittlerweile ein Statement von Sony zu dem Feature?

Da mache ich mir keine Sorgen. Microsoft hat zwar mehr CUs, aber die sehen exakt gleich aus, wie die von der Playstation. Und Tensor Kerne haben ja beide Konsolen nicht.

 

[DaStash]

Da mache ich mir keine Sorgen. Microsoft hat zwar mehr CUs, aber die sehen exakt gleich aus, wie die von der Playstation. Und Tensor Kerne haben ja beide Konsolen nicht.

Da wäre ich mir nicht so sicher, siehe Sorgen machen ich meine, zähle doch mal eins und eins zusammen, siehe hiesige News. Wenn das feature von MS übernommen wird, dann könnte man schon, den Willen vorausgesetzt, die Konkurrenz ausschließen. Das es technisch geht, steht ja auf einem anderen Blatt.

MfG

 

[Scorpionx01]

Da wäre ich mir nicht so sicher, siehe Sorgen machen ich meine, zähle doch mal eins und eins zusammen, siehe hiesige News. Wenn das feature von MS übernommen wird, dann könnte man schon, den Willen vorausgesetzt, die Konkurrenz ausschließen. Das es technisch geht, steht ja auf einem anderen Blatt.

MfG

(Wie schon angekündigt) wird FidelityFX Super Resolution bald von MS Studios angewendet. Aber warum sollte das dann exklusiv werden. Vor allem, da es eine offene Lösung sein soll, die auch Besitzer von Nvidia Karten nutzen können.
Und überhaupt... ob FSR Ultra Quality besser aussieht, als 1800p mittels Checkerboard skaliert auf 2160p, hat sich auch noch niemand angesehen. Der Performance Boost ist vermutlich sehr ähnlich. 43% mehr FPS in Riftbreaker mit FSR Ultra Quality vs. 2160p 43% mehr Pixel gegenüber 1800p.
Jedoch während Checkerboard auf Playstation von Xbox und PC Usern verpönt wurde, wird FSR jetzt gefeiert. Merkwürdig.

Hier mal ein Vergleich von Checkerboard mit 4K bei 800% Zoom. Ob sich FSR besser schlägt, bezweifle ich. Von daher wäre es auch egal, ob FSR exclusiv verwendet wird.

Eingebundener Inhalt

youtube.com/watch/?v=9ggro8CyZK4:526

An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Alle externen Inhalte laden Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.

Hier mal FSR Vergleiche:

No, AMD's FSR (FidelityFX Super Resolution) Is Not A DLSS Alternative, And Here Is Why You Should Care

AMD recently rolled out an amazing new framework called FidelityFX Super Resolution (FSR) and in a stroke of genius and commitment to open standards, made it available for both Radeon and GeForce GPUs (editor's note: see the update at the end of the article). While the feature will certainly...

wccftech.com

Meine Aussage, die du zitierst hast, war ja sowieso Quatsch, da FSR ja keine ML Technik ist. Da hatte ich irgendwie an der Aussage von Blackout27 vorbeigelesen.