Diskussion zu PCGH-Benchmarks

[PCGH_Carsten]

Dieser Thread ist als Feedback-Sammelthread gedacht, in dem konstruktive Kritik, Anregungen, Ideen und Vorschläge zu den von PCGH verwendeten und durchgeführten Benchmarks gepostet werden sollen.

Er ist aus diesem PCGH.de-Artikel entstanden:
PCGH - News: PCGH-Benchmarks: Feedback von und mit der Redaktion
Bitte lest den ebenfalls!

Es gelten die normalen Forenregeln, aber ich bitte ernsthaft darum, folgende Dinge besonders zu beachten, da sonst das Posting Gefahr läuft, kommentarlos gelöscht zu werden:
• Kein Off-Topic
• Keine Flames
• Keine Beleidigungen
• Kein Gespamme, keine Fremdwerbung

Vielen Dank!

 

[Stefan Payne]

Erstmals keine Benchmarks benutzen sondern nur Walkthroughs.

Benchmarks spiegeln nur selten die Leistungsfähigkeit von Komponenten im Real Life wieder...

 

[PCGH_Carsten]

Erstmals keine Benchmarks benutzen sondern nur Walkthroughs.

Benchmarks spiegeln nur selten die Leistungsfähigkeit von Komponenten im Real Life wieder...

Walkthroughs sind auch "Benchmarks". Außerdem - wenn du die Artikel auch mal lesen würdest - wüßtest du, dass wir das (nennt sich Savegame) in den meisten Benchmarks - da wo es eben praktikabel ist, auch machen.

Timedemos nutzen wir nur im Ausnahmefall und sind dabei, diese Methode möglichst gar nicht mehr zu verwenden.

 

[jaytech]

Also ich finde den Artikel aus dem Heft sehr gut, er macht mir persönlich einiges deutlicher, was vorher nicht so klar war.

Was ist allerdings im Test vermisst habe, war die angabe des Betriebssystems. Ich wusste nicht, dass ihr Vist 64 benutzt hattet und deswegen kamen mir die Ergebnisse komisch vor (habs nachgetestet), allerdings benutze ich Windows XP 32, was dann wohl der Grund für die Unterschiedlichen ergebnisse gewesen sein wird.
Also in diesem Sinne eine Anregung von mir, dass ihr die (wichtigen) Tests auf 2 verschiedenen Betriebssystemen durchführt, da es ja noch genug User gibt, die WinXP verwenden.

 

[Tentakeltyp]

Ich wäre dafür wenn PCGH jedes Jahr eine Art Benchmarkpaket schnürt, bestehend aus den grafisch wichtigsten ~5 Spielen, die dann zusammengenommen werden wodurch dann die Durchschnittliche Leistung der Grafikkarte in einem Gesamtwert angegeben werden kann (ähnlich dem PC Mark).

Damit könnte man die Grafikkarten, CPUs ähnlich dem PC Mark auf einen Blick vergleichen, wäre aber sehr viel näher am Praxiseinsatz. Mich persönlich interessiert es nämlich nicht ob die eine Karte jetzt in CoD4 2% schneller ist oder in Crysis 2% langsamer sondern was sie insgesamt bei aktuellen Spielen leistet.

 

[PCGH_Daniel_W]

Da die Wertung von Grafikkarten auch stark von den gerade verwendeten Benchmarks abhängt, stellt sich die Frage, ob Noten bei VGA-Tests überhaupt Sinn machen. Wie seht ihr das?

 

[Micha-Stylez]

Also erstmal finde ich es total klasse das ihr eure Benches so offen zeigt (siehe Heft DVD ) , desweiteren finde ich die Benches schon sehr gut gemacht!

Was mir allerdings teilweise fehlt , ist ein Bench mit NFS Pro Street !
Wieso Bencht ihr Carbon ? Hat das besondere Gründe ?

Ich fände Noten schon ganz gut , gemessen an dem Leistungsindex ?! Wobei die Kaufempfehlung ja eigentlich dies wiederspiegelt nur in anderer Form ??!

Mfg Micha

 

[TUBAF]

Hallo,

möchte gerne ein positives Feedback geben. Ich finde das Testverfahren mit Savegames sehr aussagekräftig und realitätsnah . Durch diese an die Praxis angelehnte Methode und das Testen mit aktuellen Spielen ( aufgeschlüsselte Ergebnissangabe ), kann man sich sehr gut eine Grafikkarte nach eigenen Bedürfnissen kaufen .

Was nützt mir ein Leistungsranking aus verschiedenen Spielen wenn ich 80% davon nicht spiele ?

ps:

PCGH hatte mal die 8800GT 1024 MB für AOC empfohlen, worauf ich sie gekauft habe. Sie läuft da absolut super (kein Aufploppen der Texturen mehr ) . Sicher hätten andere gesagt die 4850 sei die bessere Karte ( Preis war zu dem Zeitpunkt gleich), was auch viele Testergebnisse zeigen.

Für meine Bedürfnisse ist aber eben die 8800GT 1024 MB besser (wegen dem Vram ).

Für solche Kaufentscheidungen ist mir deshalb PCGH am liebsten.

pps:

Nicht nur reine Leistung, sondern auch andere Faktoren ( zB. Lautstärke ) mit in die Bewertung einzubeziehen finde ich auch positiv !

MfG Tubaf

 

[TUBAF]

@ PCGH_Daniel

Wenn mehrere Karten auf dem selben System unter gleichen Bedingungen getestet werden, würde es schon Sinn machen !

Wobei Vergleiche dann nur unter diesen Bedingungen gelten. Somit erscheint es mir schwer zB. über ein Jahr lang vergleichbare Bedingungen zu erzeugen. Da ihr ja sicher gewillt seit, immer wieder die neuesten Spiele einzubinden. Also könnte man schwer eine Karte vom Anfang eines Jahres mit einer vom Ende des Jahres vergleichen. Außer ihr würdet 1 Jahr lang mit den selben Bedingungen testen .

Deswegen macht es für mich persönlich recht wenig Sinn .

MfG

 

[Tentakeltyp]

@ PCGH_Daniel
Wobei Vergleiche dann nur unter diesen Bedingungen gelten. Somit erscheint es mir schwer zB. über ein Jahr lang vergleichbare Bedingungen zu erzeugen. Da ihr ja sicher gewillt seit, immer wieder die neuesten Spiele einzubinden. Also könnte man schwer eine Karte vom Anfang eines Jahres mit einer vom Ende des Jahres vergleichen. Außer ihr würdet 1 Jahr lang mit den selben Bedingungen testen .
MfG

Deswegen hätte ich feste, sich nur jährlich wechselnden Benchmarks vorgeschlagen- den neusten Spieleblockbuster kann man freilich zusätzlich testen.

Sonst hat Daniel schon recht, vor allem in der heutigen Zeit, in der sich die Grafikkarten nur noch beim Aufkleber unterscheiden ist es sinnvoller eine Leistungsbewertung der Chips nicht der Karten zu geben.

 

[TheGamler]

Ich wäre dafür wenn PCGH jedes Jahr eine Art Benchmarkpaket schnürt, bestehend aus den grafisch wichtigsten ~5 Spielen, die dann zusammengenommen werden wodurch dann die Durchschnittliche Leistung der Grafikkarte in einem Gesamtwert angegeben werden kann (ähnlich dem PC Mark).

Damit könnte man die Grafikkarten, CPUs ähnlich dem PC Mark auf einen Blick vergleichen, wäre aber sehr viel näher am Praxiseinsatz. Mich persönlich interessiert es nämlich nicht ob die eine Karte jetzt in CoD4 2% schneller ist oder in Crysis 2% langsamer sondern was sie insgesamt bei aktuellen Spielen leistet.

Als Problem sehe ich in diesem Verfahren jedoch den Gesamtwert.
Finde es besser zu sehen wo die Karte ihre Stärken und Schwächen hat.

Angenommen bei Spiel 1 hat die Karte 30fps, bei Spiel 2 hat es 80fps und bei Spiel 3 100fps; Gesamtwert wäre dann 70fps.

Hört sich auch nicht schlecht an. Doch was wenn ich Spiel 2+3 gar nicht habe, ich aber Spiel 1 gern Spiele? Für das Spiel ist dann die Karte halt nicht geeignet, das sehe ich aber im Gesamtwert gar nicht!

PS: Der Thread hat Potenzial, die Idee ist

 

[PCGH_Carsten]

Angenommen bei Spiel 1 hat die Karte 30fps, bei Spiel 2 hat es 80fps und bei Spiel 3 100fps; Gesamtwert wäre dann 70fps.

Das ist auch mein Problem, welches ich mit jeder Art von Indizes habe. Dasselbe Problem stellt sich übrigens bei Standard-Avg-Fps-Benchmarks. Was, wenn (extrem überspitzt) eine Karte durchgehend 40 Fps liefert, die andere in der ersten Hälfte 10 fps und in der zweiten Hälfte 70 Fps? Die Avg-Fps wären gleich - die Min-Fps geben hier schonmal ein bißchen Hilfe, aber erst richtige Spielbarkeitsbenchmarks sind da wirklich aussagekräftig.

 

[Black_Beetle]

Von mir jetzt einfach mal ein Lob für diese Aktion die ihr hier startet und somit der Community wieder ein Stück näher rückt. Ich finde diese Aktion echt wunderbar. Nicht jedes Magazin bzw ist PCGH auch das einzigste die sich dabei so ein Kopf darüber machen. Das mein ich zu glauben.

Was die Benchmarks angehen würde mich es mega freuen, in eurer Zeitung bei den Benchmarks, öfters auch mal größere Auflösungen zu finden, gerade bei HighEnd Grafikkarten wäre dies sehr wünschenswert.

Ausserdem habe ich noch in keiner Tankstelle oder so die Extreme PCGH gefunden. Gibts die bei euch nur im Abo oder wie?

Bitte sagt mir wie ich an die rankomme.

 

[Tentakeltyp]

Gerade das fände ich gut weil mir die einzelnen Spiele für mich nicht von belang sind und ich auf einen Blick die Karte einordnen will.

 

[PCGH_Daniel_W]

Von mir jetzt einfach mal ein Lob für diese Aktion die ihr hier startet und somit der Community wieder ein Stück näher rückt. Ich finde diese Aktion echt wunderbar. Nicht jedes Magazin bzw ist PCGH auch das einzigste die sich dabei so ein Kopf darüber machen. Das mein ich zu glauben.

Was die Benchmarks angehen würde mich es mega freuen, in eurer Zeitung bei den Benchmarks, öfters auch mal größere Auflösungen zu finden, gerade bei HighEnd Grafikkarten wäre dies sehr wünschenswert.

Ausserdem habe ich noch in keiner Tankstelle oder so die Extreme PCGH gefunden. Gibts die bei euch nur im Abo oder wie?

Bitte sagt mir wie ich an die rankomme.

Danke für dein Feedback.

Zum Thema PCGH Extreme: Eine Einzelheftbestellung ist unter diesem Link möglich, allerdings fallen hier auch Portokosten an. Am besten gehst du zum Kiosk deines Vertrauens und lässt dir das Heft von dem kostenlos bestellen - das macht jeder Kiosk.

 

[Z4Ck]

Einer der Probleme des berüchtigten Artikels "RV770 und GT200 im Test" ist, dass nur zwei Spiele getestet wurden und davon nicht eins DirectX 10 unterstützt.

Falls ihr selbst Bendenken habt, dass die schlechte Leistung mit den Treibern zusammenhängt, solltet ihr explizit darauf hinweisen und später mit neueren Treibern nachtesten.

Weiterhin ist mir aufgefallen, dass ihr euch teilweise deutlich widersprecht:
Ihr habt hier geschrieben: "Damit ist eine HD 4800 für Call of Duty 4 aktuell eindeutig die beste Wahl."
Im Test im Magazin fallen die HD48xx deutlich hinter die GT2xx.

 

[TUBAF]

@ Tentakeltyp

Dafür könntest du doch aber viele andere Quellen nutzen. Für mich zeichnet sich PCGH gerade dadurch aus, dass sie es nicht tun. Es ist eben ihr Stil, die Sache differenzierter zu betrachten.

Aber wie gesagt, es gibt ja noch viele andere Informationsquellen für so eine Gesamtbewertung.

MfG

 

[boschwanza]

Leider ist Fraps auch nicht der Weisheit letzter Schluss

Let's draw a bottom line of another FRAPS research. Fourfold testing on each computer without processing results is too rough, and its measurement error may reach 10-15%, which is absolutely unacceptable! Even though the frame rate in many games is relatively stable and the graphs show similar peaks, the difference in the average FPS values is sometimes too big. It makes no sense to compare performance of graphics cards using such tests, as performance differences between some cards may sometimes be less than 10%. Even if you carry out 4-10 tests, you are careful with the test procedure, and you process results by discarding anomalous readings, you cannot be certain about the resulting figures.
(...)
What concerns modern first or third person shooters, the situation is even worse. It's even more difficult to repeat the original gaming situation there, each attempt to pass through a level brings something new. Enemies in modern games possess some AI, use complex behavior scripts, acting differently each time. So if testers use the above mentioned method of loading a saved game and going through a certain part of the level to measure performance, we can say for sure that it's impossible to do it several times in the same way, if the test is rather long.

Digit-Life - Problems of Testing 3D Performance with FRAPS, Part 2 - Page 3: Conclusions

Was ich mir bei CPU Benches wünschen würde, wären auch Spiele Benches in Hohen Auflösungen und Qualitätsstufen.

 

[TUBAF]

@ boschwanza

Das wären dann ja keine richtigen CPU-Benches, weil die Grafikkarten limitieren würden. Aussagen zur CPU-Leistung sind dann nicht mehr möglich.

Als Fahrzeugbauingenieur kann ich mir das jetzt nicht verkneifen ^^ :

Das wäre wie einen Lamborghini und Ferrari zu vergleichen, aber die Test-vmax auf 100 km/h zu beschränken. IMO nicht aussagekräftig, wenn es nur um Leistung geht !

 

[$Lil Phil$]

Ich wünsche mir mehr Spielbarkeitsdiagramme (oder wie auch immer das genannt wird), genau aus den Gründen, die PCGH_Carsten im Post#12 schon erläutert hat.
Sie spiegeln nämlich genau das wider, was mich vor einem Grafikkartenkauf interesiert.
Find ich übrigens klasse, dass ihr euch Gedanken wegen den (wie ich finde) unberechtigten Anschuldigungen macht.