Differenzen alte und neue Benchmarks in PCGH Heft

[Pennyman]

Hallo liebe Community,

ich kaufe mir die PCGH ab und an, wenn mich eine Ausgabe interessiert. Früher war ich auch mal Premium Abonnent des Heftes.

Dies geht an alle und ganz speziell an die Redakteure der Fachbereiche GFX und CPU (C. Spille und R. Vötter).

Ich weiß nicht, ob sich schonmal jemand hier Gedanken um die Bnechmarkwerte der verschiedenen Generationen von Grafikkarten und CPUs gemacht hat.

Mir fällt immer wieder auf, wie wenig aussagekräftig manche Benchmarks wirklich sind, wenn man den Markt über die Zeit betrachtet (mehrere Jahre). Nicht als Kritik an den Messungen der Redaktion, sondern insbesondere bei den Herstellern bzw. den Treiber-Schreibern von NVidia und AMD.

Ich habe neulich durch Zufall das Testjahrbuch 2011 ausgegraben und durchgeblättert, dass damals als Heftbeilage zu haben war. Dabei fiel mir sofort etwas ins Auge...
Leider ließ sich ein Vergleich nur am i5-2500K und dem i7-2600K anstellen, da sämtliche Vergleichsprozessoren bei euch nicht mehr gelistet werden. Sowohl beim Leistungsbenchmark x264 als auch beim Spiel "Starcraft 2" sind die alten Messwerte wesentlich höher, als heute bei den selben Prozessoren. Da ihr ja auch immer aktuelle Tests auch von alter Hardware macht, gehe ich mal davon aus, dass:

- Entweder die Programm- oder Spieleversionen sich verändern?!

oder was ich für am wahrscheinlichsten halte zumindest bei Grafikkarten:

- Die Hersteller "pushen" immer nur das aktuellste Produkt und durch Treiberänderungen gerät alte Hardware ins Hintertreffen!!

Meine Beweise möchte ich dem Forum nicht vorenthalten.
Was sagen Sie dazu Hr. Spille / Hr. Vötter? Ihre Meinung interessiert mich sehr.

Bei Grafikkarten ist es mir in der Vergangenheit auch immer wieder aufgefallen, aber z.Zt. lassen sich durch ihre Umstellung im Heft bei der Kategorie "Single-GPU" keine aussagekräftigen Indizien mehr ableiten.
Es wäre schön, wenn sie im Heft die Messwerte für einzelne Spiele auch wieder differenzierbar machen würden, DENN manche wollen gute Leistung in SC2 andere widerum in TES5 usw. usf.

Gruß
Pennyman

 

[True Monkey]

vllt solltest du auch mal die jeweilig verwendetet hardware angeben ....beim oberen Pic sehe ich eine GTX 480,SMT an und Turbo aus und beim unteren ?

 

[oldsql.Triso]

Na er hat schon recht. PCGH testet immer gleich und da ist es echt verwunderlich warum eine GTX 480, und im anderen Test dürfte es auf jeden Fall nichts schlechteres sein, schneller ist als eben die schnellere Grafikkarte bei gleicher CPU. Find ich gut was ihm da aufgefallen ist. PCGH wird ja morgen dazu was schreiben ^^

 

[True Monkey]

^^Und fällt dir noch nicht einmal auf das beim ersten screen die CPU mit 93,2% bewertet wird und der ausgangspunkt ein 990x ist

Und beim zweitem nur 77,6 % ....ausgangspunkt ??? 3960x ?

Aber ok wenn ihr hier Apfel mit Birnen vergleichen wollt dann macht das

 

[PCGH_Raff]

Wir verändern Benchmarks immer wieder. Starcraft 2 und Crysis Warhead sind beispielsweise Dauergäste im Parcours, allerdings mit im Laufe der Jahre drei verschiedenen Benchmarkszenen. Die Änderungen haben wir nicht aus Spaß, sondern zum Erhalt der Praxisnähe und Reproduzierbarkeit vorgenommen. Daher ist es wichtig, dass ihr nicht nur die Indizes anseht, sondern auch unsere jährlich stattfindenden Abhandlungen des renovierten Parcours, wo wir genau darlegen, was sich geändert hat – und warum.

Kurz: Nur weil das gleiche Spiel in einem Index ist, sind die Werte wegen einer Szenenänderung bzw. wegen komplett neuer Infrastruktur nicht mit uralten Indizes vergleichbar.

Darüber, ob und in welcher Form wir die Fps-Werte einzelner Spiele wieder abdrucken, debattieren wir zurzeit intern.

MfG,
Raff

 

[Pennyman]

vllt solltest du auch mal die jeweilig verwendetet hardware angeben ....beim oberen Pic sehe ich eine GTX 480,SMT an und Turbo aus und beim unteren ?

Gut das habe ich vorhin nicht mit dokumentiert, kann ich dir aber gerne jetzt nachreichen.
Zu der verwendeten Hardware kannst du auf den unteren Bildern nun alles sehen. Die längs geschriebenen sind wie gesagt vom Jahrbuch 2011 und die komplett drunter stehen, sind vom jetzigen Heft 10/13.



Die Hardware ist auf dem aktuellen technischen Stand, also vollkommen up-to-date. Da kann ich dich beruhigen.
Das heißt im Klartext: Es ist für mich nicht nachvollziehbar, dass ein Spiel vor 2 Jahren besser lief als heute, es sei denn die Programmierer von den Treibern bei NVIDIA und AMD legen es darauf an bzw. wollen das so, dass immer nur die aktuellsten Spiele hohe FPS haben. Verstehst du, darum geht es mir. Nicht darum dich oder jmd anders mit Unwahrheiten anzuflamen oder so. Das ist nicht mein Ziel, sondern eine technische Stellungnahme von den Verantwortlichen dazu. Allerdings finde ich, es ist eine berechtigte und hochinteressante Frage, die man sich als Gamer mal stellen sollte, weil es kurios ist. Man sollte nicht, ohne mal drüber nachzudenken, einen für eine Fragstellung verurteilen, über die man sich selbst noch nie den Kopf zerbrochen hat, weil es einem noch nie aufgefallen ist.
Und deswegen muss ich auch nochmal dein 2. Post zitieren:

^^Und fällt dir noch nicht einmal auf das beim ersten screen die CPU mit 93,2% bewertet wird und der ausgangspunkt ein 990x ist

Und beim zweitem nur 77,6 % ....ausgangspunkt ??? 3960x ?

Aber ok wenn ihr hier Apfel mit Birnen vergleichen wollt dann macht das

Es ist kein Äpfel mit Birnen vergleichen, denn ich beziehe mich auf fps in damaliger und heutiger Konfiguration. Das ist ZDF --> Zahlen, Daten, Fakten!
Prozentangaben sind schwammige Angaben und haben nur in der Relation eine Bewandnis, aber da sie keine absoluten Zahlen darstellen, sind sie nicht vergleichbar, sondern immer nur auf 100% zu beziehen. Genau das ist ja auch der Sinn des Indexes von PCGH Print.

Der damals verfügbare i7-990X war damals die 100%, aber spielt heute überhaupt keine Geige mehr beim Ranking. Und wie du in meinen Fotos von heute Nachmittag sehen kannst habe ich NUR die Frames/Sek. und die Punkte von "x264" eingekreist, nicht die %-Zahlen!

Und dann guck dir mal bitte die eingestellten Auflösungen von damals und von heute an und sag mir, dass du das nicht komisch findest.

Und jetzt nochmal die Kernfrage: Werden durch Treiberprogrammierung bei den Grafikkartenherstellern FPS von alten Spielen schlechter und sind nur die aktuellen immer gut?

@Raf: Ich glaub euch das, dass durch Veränderungen im Testparcours sich ständig Werte ändern usw, nur FPS sind für mich absolute Werte und nicht ganz nachvollziehbar, wenn die nach dem Stand heutiger Technik und geringeren Auflösungen in den Test trotzdem soviel geringer sind, als damals, wo das Spiel topaktuell war?!

Darüber, ob und in welcher Form wir die Fps-Werte einzelner Spiele wieder abdrucken, debattieren wir zurzeit intern.

Danke, das wäre ganz nett um wieder zu sehen, wo die Spiele so stehen.

 

[mowglie]

Ist eine interessante Frage, ich habe mich beim Lesen der 10/2013 Ausgabe auch ein bisschen gewundert. Beim Test der neuen Ivy CPUs für den 2011er Sockel schneidet der FX8350 plötzlich besser ab als der i5-2500k. Bei frühere Test war die Intel CPU um Welten schneller...

siehe hier: Battlefield 3 Multiplayer im Test: 25 CPUs im Benchmark [Artikel der Woche]

Natürlich, die Benchmark Savegames sind grundsätzlich verschieden (wahrscheinlich OP Swordbreaker gegen Caspian Boarder im 64er Multiplayer). Dennoch frage ich mich warum die FX Prozzis jetzt plötzlich besser abschneiden?

Kann die Redaktion hierzu etwas sagen?

 

[PCGH_Carsten]

Das liegt an den unterschiedlichen Anforderungen im Single- und Multiplayer. Die Multiplayer-Benchmarks sind jedoch leider so aufwendig, dass wir den Monat über kaum zu etwas anderem kommen würden, wenn wir die jedes Mal durchführten.

 

[TempestX1]

Und jetzt nochmal die Kernfrage: Werden durch Treiberprogrammierung bei den Grafikkartenherstellern FPS von alten Spielen schlechter und sind nur die aktuellen immer gut?

Ist doch klar das die Treiberprogrammierer den Fokus auf die neusten Titel hat und die alten Spiele nicht mehr unterstützt. Man sieht es doch wieder schön an Battlefield 4, da werden auch die Treiber auf das Spiel optimiert.
Wenn der Titel dann ein paar Jahre auf dem Buckel hat und niemand mehr danach kräht oder eben weniger User wird man auch weniger optimierungen machen und auf andere Spiele optimieren. Das da dann auch mal die Unterstützung für Spiel X zerschossen werden kann, oder einfach nicht mehr so gute FPS rauskommen, wird nur den Leuten auffallen, welche das alte Spiel spielen möchten.

 

[Pennyman]

Jo, so ungefähr würde ich die Situation auch einschätzen.

 

[PCGH_Marc]

Werden durch Treiberprogrammierung bei den Grafikkartenherstellern FPS von alten Spielen schlechter und sind nur die aktuellen immer gut?

Nö, die alten Karten werden nicht langsamer, die neuen aber schneller.

 

[PCGH_Raff]

Nö, die alten Karten werden nicht langsamer, die neuen aber schneller.

... was bedeutet, dass die alten Karten im Index, bei der die schnellste neue Karte den 100-Prozent-Wertungsmaßstab stellt, abfallen.

MfG,
Raff

 

[Psychopath]

und somit wurde die Frage des TE immer noch nicht beantwortet...

 

[mmayr]

Es geht nicht um die Indexwerte, sondern um die absoluten Benchmarkwerte.

 

[Der-Bert]

Kann es vieleicht daran liegen das früher im alten Test verfahren nur mit Qualität im Grafikkartentreiber getestet wurde und im neuen mit HighQualität.
So wie Raff es auch schon gesagt hat wurden die Benchszenen auch angepasst was die alten nicht mit den neuen vergleichbar macht(darauf wird auch immer hingewiesen).

Und was den Treiber angeht hat PCGH in der Ausgabe 05/2013 getestet das ein aktueller Treiber die beste wahl ist.
Selbst bei einer GTX570 gab es ne Leistungsteigerung.

 

[Pennyman]

Es geht nicht um die Indexwerte, sondern um die absoluten Benchmarkwerte.

Danke mmayr!

@Raff: Es ist schon einleuchtend, dass die Karten insg. gesehen nicht langsamer werden bei alten Spielen. Auf der ersten Seite habe ich ja gesagt, dass ich mich nicht auf die % beziehe.
Es geht im Prinzip um selbes Spiel mit selber Karte. Und wenn man immer die (beinahe) beste CPU nimmt, kann von dem her eine so auffällige Differenz ja nicht zustande kommen.

Es ist klar, dass ein HL 2 auf allen aktuellen Karten 3x so schnell läuft wie früher. Deswegen habe ich auch die fixen Werte verglichen (fixes Spiel && fixe Karte), wohl bemerkt bei damaligem Test in FullHD und der aktuelle in SD.

@Der-Bert: Klar dass neue Treiber die aktuellen Spiele verbessern. Es muss ja auch nach Erscheinen eines Spiels angepasst werden, damit es gut läuft. Stichwort: "GTA IV - Radeon Besitzer im Hintertreffen" (Abstürze nach Spielrelease).

Mein Vergleich führte mich schon beim Entdecken sofort auf die Frage:

Werden Spiele mit zunehmendem Alter bei gleichen Bedingungen wieder langsamer, dadurch dass sie im Treiber nicht mehr großartig berücksichtigt werden?
Tut mir leid, aber noch genauer kann ich die Frage nun wirklich nicht mehr spezifizieren. Sie sagt genau das aus, was ich mich dabei frage.

 

[marvinj]

Was mich bisher stört ist auch der Verglecih. Da habt ihr zum einen die fps rausgelassen. Diese vermitteln mir als Leser aber z.B. einen besseren Eindruck von der Karte selbst und es lässt sich einfach besser vergleichen.
Wenn Karte A den fps-Wert X in Sc2 hat, Graka B aber "nur" X+5 fps hat, aber 200€ teurer ist, finde ich es besser zu sehen, als wenn da simple Prozentangaben stehen. So macht das alles keinen Sinn! Momentan steht eine 6950 bei euch ganz unten im test. Es wird somit vermittelt: Diese Grafikkarte ist schlecht und du solltest wechseln. Dabei reicht diese Karte vollkommen für jedes erdenkliche Spiel, auch wenn sie nunmal langsamer ist als eine 7970 Ghz. Aber der vermittelte Eindruck, stimmt so leider nicht der Realität überein.
Wenn ihr dann ein Grafikkarten-Special rausbringt, wo die FPS in Spielen wie Metro und co verglichen werden, dann werden dem Leser mehr wichtige Deteils geboten, z.B. das besagte Karte locker für Spiel X ausreicht


Kurzum: Ich bin Fan von den FPS angaben und wünsche sie mir wieder zurück!

 

[Pennyman]

Entschuldigung, aber das ist doch hier garnicht das Thema.

Es ist ja auch logisch, dass ältere Karten von Heft zu Heft bzw. von Karten-Release zu Karten-Realease immer weiter nach unten abrutschen.
Edit1: Das Gleiche kannst du auch oben von Raffael und Marc nachlesen.

Und ja, momentan fehlen die Frameangaben leider (weiß Gott wer sich den Käse ausgedacht hat scnr), aber Raffael hat auf Seite 1 schon gesagt, dass sie das wohl wieder rückgängig machen wollen...evtl.

Edit2:

Ist doch klar das die Treiberprogrammierer den Fokus auf die neusten Titel hat und die alten Spiele nicht mehr unterstützt. Man sieht es doch wieder schön an Battlefield 4, da werden auch die Treiber auf das Spiel optimiert.
Wenn der Titel dann ein paar Jahre auf dem Buckel hat und niemand mehr danach kräht oder eben weniger User wird man auch weniger optimierungen machen und auf andere Spiele optimieren. Das da dann auch mal die Unterstützung für Spiel X zerschossen werden kann, oder einfach nicht mehr so gute FPS rauskommen, wird nur den Leuten auffallen, welche das alte Spiel spielen möchten.

Darum geht es und darauf wollte ich auch hinaus!

 

[PCGH_Raff]

Wie an anderer Stelle bereits gepostet: Auf vielfachen Leserwunsch wird der Index im kommenden Heft erneut verändert. Hier der aktuelle Entwurf mit den Fps-Werten aller 15 Indexspiele sowie Preisleistungsberechnung:

Haken: Es passen nur noch 10 Grafikkarten auf die Halbseite. Wir haben euch gewarnt.

Meinungen?

MfG,
Raff

 

[Pennyman]

Kommt da eine Grafik mit rein? Weil das nimmt ja auch ganz schön Platz weg. Und jedem reicht ja der Name denke ich. Bunte Bilder tragen ja nicht zur Bewertung durch den Leser bei.
Dann würde ich entweder eine Zeile, sprich 5 Games, rauslassen oder wieder wie früher die Abk. nehmen und an den Rand schreiben. Das war eigentlich immer die beste Variante finde ich.

Wie gesagt, ich bin eher ein Freund einer langen Liste, um 2-3 Jahre alte Karten mit neuen vergleichen zu können, um quasi den Leistungsschub sehen zu können.