3DMark Time Spy wegen angeblicher Nvidia-Bevorzugung in der Kritik

Man macht doch auch eine Sonderausnahme für AMD. AMD kann kein FL 12_1, Maxwellv2/Pascal hingegen schon. Effektiv bleiben diese Gens also unter ihrer realen Leistungsfähigkeit und werden benachteiligt. Es werden also weder AMD noch NV unter Idealbedingungen getestet, was man sicherlich kritisieren kann; falsch ist es aber zu sagen, dass NV unter Idealbedingungen getestet wird, AMD aber nicht.

Nein, der Benchmark läuft unter allen Karten nur mit FL 11_0, von einer Ausnahme kann man da nicht sprechen.
 
Sie haben einen Renderpfad eingebaut, der kein FL 12_1 nutzt. FL 12_1 ist eine Option, die den Spieleentwicklern bereitssteht. FL 12_1 beherrschen AMD-GPUs nicht, das sollte also herauskristallisiert werden. Wärst du also dafür, dass FL 12_1 getestet wird, so dass AMD völlig abstürzt?

Ich hätte nichts dagegen. Das ist ja der Sinn und Zweck von Benchmarks und den Optionen die man hat, oder nicht?
Wenn AMD keine FL 12_1 unterstützt und sie der Test deswegen nicht startet, weiß man: Ok funktioniert nicht. Bei NVIDIA : Funktioniert.
Und ebenso ist es mit AC. Wenn ich es im Bench einschalte, sollte der Bench das auch testen. Wenn die Grafikkarte das nicht unterstützt muss halt eine Meldung kommen und der Bench ohne dem Feature ausgeführt werden oder.
Das Problem ist aber, wenn ich ein Feature im Benchmark mit meiner Karte testen möchte, der Test ohne Probleme funktioniert. Dabei aber die von getestete Funktion gar nicht getestet wurde.
 
SO, SO ist nun bei NVidia Karten AC On oder OFF im Benchmark ?? Kapier das nicht

NVidia Maxwell - ON gleich off
NVidia Pascal - ON gleich on
AMD - ON gleich on
oder wie soll ich das jemanden erklären den ich die Benchmark´s als Kaufberatung zeigen möchte ?

Soweit ich es bisher verstanden habe - und ich habe mich zugegebenermaßen mit dem 3DMark erst eine halbe Stunde oder so beschäftigt - gibt es genau einen Renderpfad, den Futuremark den Grafikkarten vorsetzt. Der nutzt die DirectX-12-API, begnügt sich - vielleicht aus Kompatibilitätsgründen - mit Feature-Level 11_0 (Maxwell v1, Kepler, theoretisch auch Fermi; aber auch HD 7000/R9 280(X)/ bis hinauf zur R7 370, die lediglich 11_1 beherrschen. DX12 FL12_0 können erst Bonaire, Hawaii und natürlich Tonga, Fiji und Polaris, s. PCGH 05/2016, S. 49).

Was nun bei Maxwell passiert ist, dass - laut Nvidia - im Treiber Concurrent Execution/Async Compute nicht aktiviert ist. Ob das jemals aktiviert wird (und ob die Hardware es tatsächlich abseits von Static Partitioning der SMs unterstützt... glaub ich nicht. Jedenfalls tut der Treiber mit dem Futuremark-Code nun genau das, was er immer getan hat: Er integriert die Compute-Shader, die asynchron laufen dürften, in die Graphics Queue (und darf das laut DX12 auch, es bringt nur halt keine Vorteile) sodass alle Operationen seriell abgearbeitet werden. Dadurch entsteht natürlich kein Gewinn.

Bei Pascal scheint das anders zu sein.

Daher gilt hier noch mehr als in anderen 3D-Märkern: Sinnvolle Vergleiche gibt es nur innerhalb einer Chipfamilie und -generation. Bei Fire Strike ließen sich ja zumindest noch die Geforce- und die Radeon-Karten jeweils untereinander vergleichen. Damit scheint hier wohl auch Schluss.
 
Das ist doch gerade der Punkt, dass "AC on" als Ausgangspunkt für die gleichen Bedingungen völlig willkürlich gewählt ist. Genauso gut könnte man argumentieren, dass "AC off" der Standard ist, und AMD bevorzugt wird, weil man AC extra für AMD aktiviert hat. Worauf ich hinauswill: Was als Standard bzw. für alle zu gelten habende Bedingungen definiert, ist völlig arbiträr. Dass AMD-Fans natürlich AMD-freundliche Settings als Standard definieren wollen, überrascht ebenso wenig, wie dass NV-Fans NV-freundliche Settings als Standard ansehen wollen.

Du kapierst es nicht, oder? Wenn der Test AC "on" voreingestellt hat, hat es "on" zu sein. Ich will mit der Einstellung wissen, wie sich die zu testenden Karten damit verhalten. Nichts anderes.
Es geht nicht, dass dann einzelne Teilnehmer andere Einstellungen verwenden ( und das evtl. nicht mal deutlich herausgestellt).
Man kann gerne auch mit AC "off" testen, aber dann bitte auch für alle gleich.

Cunhell
 
Artikel schrieb:
Allerdings wird nur das Feature-Level Direct3D 11_0 genutzt - Funktionen von 12_0 oder 12_1 liegen brach. Hinzu kommen optionale Zusatz-Features wie eben Asynchronous Compute und der Explicit Multiadapter für die Unterstützung mehrerer GPUs. "State of the art" ist Time Spy damit nicht.
Offenbar unterstützt Time Spy ja AC. Der Artikel liest sich missverständlich. Er suggeriert, dass nichts von den aufgezählten Dingen unterstützt wird.

Die Performance der Radeons bei Computerbase ist doch dufte. Alles im Grünen Bereich.
 
Nein, der Benchmark läuft unter allen Karten nur mit FL 11_0, von einer Ausnahme kann man da nicht sprechen.

Dann wäre es auch keine Ausnahme für NV, wenn alle Karten ohne AC laufen? Wir drehen uns hier im Kreis.

Ich hätte nichts dagegen. Das ist ja der Sinn und Zweck von Benchmarks und den Optionen die man hat, oder nicht?
Wenn AMD keine FL 12_1 unterstützt und sie der Test deswegen nicht startet, weiß man: Ok funktioniert nicht. Bei NVIDIA : Funktioniert.
Und ebenso ist es mit AC. Wenn ich es im Bench einschalte, sollte der Bench das auch testen. Wenn die Grafikkarte das nicht unterstützt muss halt eine Meldung kommen und der Bench ohne dem Feature ausgeführt werden oder.
Das Problem ist aber, wenn ich ein Feature im Benchmark mit meiner Karte testen möchte, der Test ohne Probleme funktioniert. Dabei aber die von getestete Funktion gar nicht getestet wurde.

Das Problem, das Futuremark mit dieser Methode wohl gesehen hat, war die fehlende Einheitlichkeit der Ergebnisse. Für einen Benchmark ist es wichtig, ein vergleichbares Setting zu haben, mit dem alle Karten getestet werden. Erlaubt man, irgendwelche Features zu- oder abschaltbar zu machen, dann leidet die Verbindlichkeit und Zuverlässigkeit der Resultate. Für einen Bench wie den 3DMark muss man hier einfach Kompromisse eingehen.
 
Ich seh da kein Problem. Der Nvidia Treiber sagt, er kann kein AC, also wird AC im 3D Mark deaktiviert. Bei Pascal siehts anders aus, dort ist AC aktiviert und bringt auch etwas.

Solange Futuremark keinen speziellen AC Algorythmus eingebaut hat, ist doch alles im grünen Bereich.

Oder stört es AMD, das ihre Karte nicht mehr 30 % schneller sind als die Nvidia Karten ?

Nein, es stört das hier gelogen und betrogen wird. Es gibt zwei Probleme mit dem Time Spy Benchmark:

1. AC on ist nicht immer = AC on. Das ist ein großes Problem bei der Vergleichbarkeit, weil man nicht mehr Testen kann wie bestimmte Karte auf bestimmte Settinsg reagieren. D.h., Time Spy schwindelt hier vor, Maxwell würde mit AC auch Performance gewinnen, bzw. auf jeden Fall nicht einbüsen, nützt aber gar kein AC.

2. Time Spy nutzt kein echtes Hardware AC, sonder eine eigens von Nvidia entwickelte Softwarelösung, die nicht einmal annähernd an die Performance einer echte Hardwarelösung ran kommt. Dadurch profitier Nvidia mehr, da die Nvidia Karten (inkl. Pascal) dadurch prozentual besser dastehen. Mit echtem Hardware AC würden die Nvidia Karten nämlich weniger, und die AMD GCN Karte mehr, Performance gewinnen.

Zusammengefasst bedeutet das, dass Nvidia bevorzugt wird und zwar weil auf Nvidia Karten nicht immer alle Settings aktiv sind, die laut Benchmark aktiv sein müssten, und weil extra eine Nvidia "AC" Lösung als AC verwendet wird.

Tja, was anderes kann Nvidia auch nicht machen, wenn plötztlich die last-gen AMD Karten so schnell wie die next-gen Nvidia Karten sind :daumen2:
 
Du kapierst es nicht, oder? Wenn der Test AC "on" voreingestellt hat, hat es "on" zu sein. Ich will mit der Einstellung wissen, wie sich die zu testenden Karten damit verhalten. Nichts anderes.
Es geht nicht, dass dann einzelne Teilnehmer andere Einstellungen verwenden ( und das evtl. nicht mal deutlich herausgestellt).
Man kann gerne auch mit AC "off" testen, aber dann bitte auch für alle gleich.

Cunhell

Das hatte ich schon verstanden. Kein Grund, ausfallend zu werden.

Mein Punkt ist nach wie vor: "AC on" ist für alle gleich, es wird bei NV nur treiberseitig für Maxwellv2/Kepler nicht angewendet. Das ist aber keine Bevorzugung durch Futuremark, sondern etwas, was nur NV entscheiden kann und entschieden hat und auch für alle anderen Anwendungsfälle von AC gilt. Ein anderer Punkt ist, warum Futuremark eine Implementierung von AC verwendet hat, mit der GCN und Pascal gleichermaßen gut umgehen können. Das liegt eben an dem von mir beschriebenen Ansatz, einen middle ground für alle IHVs zu finden.
 
2. Time Spy nutzt kein echtes Hardware AC, sonder eine eigens von Nvidia entwickelte Softwarelösung, die nicht einmal annähernd an die Performance einer echte Hardwarelösung ran kommt. Dadurch profitier Nvidia mehr, da die Nvidia Karten (inkl. Pascal) dadurch prozentual besser dastehen. Mit echtem Hardware AC würden die Nvidia Karten nämlich weniger, und die AMD GCN Karte mehr, Performance gewinnen.
Wo kommt diese Aussage eigentlich her? Soweit ich das verstehe ist die Implementierung von AC in TimeSpy die gängige so wie das in den anderen DX12 Anwendungen wenn genutzt auch gemacht wird, also nichts zu sehen von "eigens von Nvidia entwickelt".

Wie die Hardware damit umgeht wird vom Treiber geregelt und da kann die Anwendung, in diesem Fall TimeSpy, garnichts dran drehen.
 
Da werden dann halt einfach keine neueren Spiele mit Async drauf laufen. Freigeschaltet kann bei Maxwell nichts werden, was nicht da ist.
Somit heißt es dann neue Karte oder Spiel läuft eben nicht, und wie Nvidia die Leute kennt, wird es wohl auf eine neue Karte hinauslaufen.
AC funktioniert ja bei Maxwell, nur werden die Karten dann langsamer, da AC bei Maxwell eine Softwarelösung zu sein scheint. Und den Umstand scheint NVidia mit solchen Methoden fleißig vertuschen zu wollen. Unterstützt von Futuremark... Denn wäre das nicht unterstützt, würde zwecks der Vergleichbarkeit entweder AC für alle Karten deaktiviert sein oder eine Meldung wie "Sorry, deine GPU kann den Test nicht ausführen" erscheinen.
 
Wo kommt diese Aussage eigentlich her? Soweit ich das verstehe ist die Implementierung von AC in TimeSpy die gängige so wie das in den anderen DX12 Anwendungen wenn genutzt auch gemacht wird, also nichts zu sehen von "eigens von Nvidia entwickelt".

Wie die Hardware damit umgeht wird vom Treiber geregelt und da kann die Anwendung, in diesem Fall TimeSpy, garnichts dran drehen.
Das ist eine falsche Spekulation von Mahigan im overclock.net Forum, was einige als Fakt und soliden Standpunkt ansehen, um Kritik und Vorwürfe Richtung Futuremark zu äußern.
[computerbase.de] DOOM + Vulkan Benchmarked. - Page 23

Im Steam-Community-Hub schreien einige Kandidaten sogar nach Refunds.
Ai, ai, ai.
 
  • Like
Reaktionen: hwk
2. Time Spy nutzt kein echtes Hardware AC, sonder eine eigens von Nvidia entwickelte Softwarelösung, die nicht einmal annähernd an die Performance einer echte Hardwarelösung ran kommt. Dadurch profitier Nvidia mehr, da die Nvidia Karten (inkl. Pascal) dadurch prozentual besser dastehen. Mit echtem Hardware AC würden die Nvidia Karten nämlich weniger, und die AMD GCN Karte mehr, Performance gewinnen.
Die Radeons gewinnen durch AC in Timespy ~15% an Performance hinzu. Maxwell und Kepler gewinnen garnichts und Pascal gewinnt 7%. Dadurch schiebt sich die 390 wie in der Vergangenheit auf die gleiche Performance wie die 980 und die Fury X schiebt sich auf Augenhöhöe zur 980Ti. Alles genauso wie in den bisherigen DX12 Spielen. So repräsentativ für Real World Performance war 3DMark noch nie. :ugly:

Wenn hier wirklich was auf Nvidia abgestimmt worden sein sollte, dann ziemlich dilettantisch.

Oder meinst du mit Softwarelösung, dass Pascal durch AC um 7% zulegen kann? Sollte Pascal eigentlich garnicht zulegen?
 
Ah ich verstehe, danke Locuza.
Mahigan begründet seinen Verdacht ja soweit ich das jetzt kurz überflogen habe auch vor allem auf dem fehlenden Performance-Verlust von Maxwell.... denkt dabei aber nicht daran, dass da noch ein Treiber "zwischen sitzt".
Vielleicht sollte man hier demnächst Alu-Hütchen an die ganzen Leute, die das einfach immer wieder nachplappern, verteilen.
 
eine Meldung wie "Sorry, deine GPU kann den Test nicht ausführen" erscheinen.

Wie gesagt, so funktioniert das nicht. So eine Meldung käme, wenn Maxwellv2 Multi Engine nicht unterstützen würde. Multi Engine wird von Maxwellv2 aber (nach Spec) selbstredend unterstützt. Etwas ganz anderes ist die Frage, ob eine Funktionalität, die auf Multi Engine basiert, von einer GPU unterstützt wird, und ob dies mit Leistungsverlusten oder -gewinnen einhergeht. Mit der letzteren Frage ist das gemeint, was in Foren unter dem Schlagwort "AC" zusammengeworfen wird.
 
auch wenn das jetzt dumm klingt, aber mich würde wirklich mal interessieren warum nvidea so große schwierigkeiten mit async compute bzw dem überfüllen der renderpfade hat. liegt das an der softwaresteuerung in der aufteilung auf einzelne bereiche bzw hw blöcke oder fehlt es schon in der organisation der hardware zb an einem "co prozessor" (könnte sie das dann nicht mit einigen compute shadern lösen oder kann es an der anbindung liegen). bzw kann das mit einem bios oder treiber update generell gefixed werden in zunkunft oder ist das in stein gemeißelt? weiß da jmd was?
 
Zuletzt bearbeitet:
Da AC ja keine optische Anderung bringt, ist es völlig legitim es nicht zu nutzen, wenn es keine Vorteile bringt. Das 'keine Performancegewinne' ist doch schon Aussage genug, Eine Verschlechterung der Leistung ist doch keine nutzbare Aussage, denn wieso sollte man auf der Karte ein Feature nutzen, das sie nur langsamer macht, aber nichts bringt? Das ist doch völlig Realitätsfern und bringt auch in einem Benchmark für potentielle Kunden gar nichts.

Ich habe den Eindruck, dass man um Teufel komm raus einen kleineren Balken beim ungeliebten Anbieter sehen möchte um die eigene Häme bzw. das Überlegenheitsgefühl so richtig auskosten zu können. Da ist ein Delta von 0% einfach nicht so schön für das Ego wie -2%...
 
Zuletzt bearbeitet:
Das ist aber wirklich reiner Beschiss, wenn automatisch ein Renderpfad gewählt wird, damit die Karten eines Herstellers wegen eines nicht unterstützten Features besser dastehen. So ist die Vergleichbarkeit nicht mehr gegeben, da so eine unterschiedliche technische Basis genutzt wird...

Jow! Scheiss auf TimeSpy. Man kann einfach niemanden mehr trauen. Da wird überall beschissen! Ist meines erachtens auch nicht das erste mal, das ein 3D Mark in Kritik steht gekauft wurden zu sein.
Da wird wirklich mit allen Mitteln versucht NVidia gut da stehen zu lassen! Was soll der Scheiss. Sind die Karten von NVidia, ist NVidias Entwicklungsabteilung und die ganzen hundertschaften an Mitarbeitern wirklich so schlecht, das man Benchmarks für diese armen Schweine Fälschen muss? Mittlerweile wird es immer deutlicher, wer sich des Geldes wegen hat kaufen lassen und wer nicht! Scheiss auf NV, scheiss auf 3D Mark. Ihr könnt mich alle mal! So eine Frechheit! Das gehört Boykottiert oder eigtl. gleich in den Knast! Die spinnen wohl!
 
Locuza hat ja schon viele Links zum Thema geposted, aber wer gedruckte Infos zu DX12 und Multi Engine Support (AC ist AMDs Marketingname dafür) haben möchte, einfach schnell an den Zeitschriften Kiosk und die PCGH 8/16 kaufen Seite 40-44 gibts Infos satt :).
 
Daher gilt hier noch mehr als in anderen 3D-Märkern: Sinnvolle Vergleiche gibt es nur innerhalb einer Chipfamilie und -generation. Bei Fire Strike ließen sich ja zumindest noch die Geforce- und die Radeon-Karten jeweils untereinander vergleichen. Damit scheint hier wohl auch Schluss.


Passt zwar nicht unbedingt ganz zum Thema, aber dennoch... Apropo Sinnvolle Vergleiche: inzwischen geht mir das klassische Maximale-Frameratenjäger-Getue rund um Grafikkarten und Benchmarks ziemlich auf den Zeiger. Dort 3% mehr, hier 5% weniger, der Eine kann das nicht, beim anderen geht dies nicht, Async-Mirdochwurscht... geht mir inzwischen schon richtig aA vorbei. Vielleicht wäre es allmählich an der Zeit, das gesamte Testszenario über den Haufen zu werfen, und sich etwas völlig Neues auszudenken. Also nein, natürlich nicht alles abzuschaffen. Verständlicherweise interessiert sich jeder was Hardware kann oder auch nicht und wie gut, schnell oder langsam.

Also nur mal so als Beispiel zum Anstoß: mich als PC-Gamer interessiert schlussendlich nur eine einzige Sache: welches Spiel läuft mit welchen (Standard-)Einstellungen auf welcher Hardware vernünftig (flüssig spielbar etc...). Ein mögliches durchschnittliches Real-Life-Szenario vorausgesetzt, wie z. B. 2560x1440@60Hz, oder was auch immer (und bitte vor allem auch mit V-Sync!). Eine einfache Spalte mit ja/nein, oder vielleicht auch noch bedingt, oder probiers doch selber, würde da womöglich schon genügen. Dabei wären auch so Kleinigkeiten wie die Stromaufnahme interessant (Kleinigkeit :-P), wenn die GPU's nicht nur immer aus dem letzten Loch pfeifen müssen.

Nur mal so vor mich hin gedacht... :)
 
Zurück