Diskussion zu PCGH-Benchmarks

[MixMasterMike]

@yeeha: Ich finds auch mal wieder gut, wie ruhig du bleibst und alles erklärst und sogar noch extra Tests machst!

Weiterhin auch toll das soviele Redakteure hier reinschauen und sich melden!

Ich lasse hiermit den Vorwurf der Bestechlichkeit vollends fallen, aber erhebe den neuen Vorwurf der ziemlich unzureichenden Benchmarktaktik

Erstens mal kann ich verstehen, dass ihr einen fordernden Level suchen wollt und vielleicht ist es einfach nur zufall dass im ganzen CoD4 Spiel die Radeons vor der GTX280 liegen, aber genau in dem Level umgekehrt, die Frage ist dann nur, ist das dann für das ganze Spiel repräsentativ? Ich finde irgendwie überhaupt nicht, da es ja nur eine Szene ist. Auch wenn die eben ein "kleines bisschen" fordernder ist als alle anderen...

Die wahre Leistung die die Radeons zeigen ist so in eurem Test absolut nicht drin. In der Statistik nennt man das eine Repräsentative Auswahl und die erreicht man nur wenn man einen Querschnitt zieht, also mehr Spielszenen und nicht nur eine einzige, da die anderen Tests in allen anderen Magazinen und Webseiten zeigen, dass da mehr in den Karten steckt.

Auch dass dann nur noch UT3 hinzukommt reicht einfach nicht aus um ein Kauffazit zu erstellen, denn so ist das einfach falsch mit den Noten. Die GTX260 und 4870 liegen niemals soweit auseinander und die Lautstärke sollte definitiv höher mit einberechnet werden, da sowas unglaublich auf die Spielqualität geht und nervt. Und zwar auch mehr als ein etwas hoher Idle Stromverbrauch.

Ihr sagt selber Dinge wie "Call of Juarez" zockt ja keiner, mag sein, aber wenn ihr danach geht was die meisten Leute zocken, dann müsst ihr einfach Die Sims2, Counterstrike, Battlefield und World of Warcraft testen Wie wärs wenn ihr einfach versucht möglichst aktuelle Titel zu testen, auch wenn sie nicht so gut verkauft werden, einfach da man so am besten sehen kann wie gut die Grafikkarten nunmal sind, und das ist ja der Sinn des Tests. Ich finde UT3 ist ein uraltes Spiel, was auch auf uralten PCs wunderbar läuft, da braucht man weder ne 4870 noch ne GTX260 dafür...

Wer sich sone Karte jetzt kauft, möchte damit vll Farcry2 spielen und wenn ihr dann ohne Crysis oder Assassins Creed testet ist das einfach unzureichend. Und das sind auch Spiele die sich ganz gut verkaufen.

 

[Nobbis]

Es scheint aber den Einstellungen von CB zu entsprechen.

Ich hab jetzt noch das ani auf 16x im Treiber eingestellt, im Spiel nach links und AI auf Standard.

1.Bench: Min 52 Max 63 Avg 58
2.Bench: Min 52 Max 61 Avg 56

Ich hab auch einmal den "RUN" zum Auto wie im Mäusekino mit der Screenshottaste festgehalten und die wenigsten fps die ich damit festhalten konnte waren 57, die meisten über 60.

Erstens mal kann ich verstehen, dass ihr einen fordernden Level suchen wollt und vielleicht ist es einfach nur zufall dass im ganzen CoD4 Spiel die Radeons vor der GTX280 liegen, aber genau in dem Level umgekehrt, die Frage ist dann nur, ist das dann für das ganze Spiel repräsentativ? Ich finde irgendwie überhaupt nicht, da es ja nur eine Szene ist. Auch wenn die eben ein "kleines bisschen" fordernder ist als alle anderen...

Die wahre Leistung die die Radeons zeigen ist so in eurem Test absolut nicht drin. In der Statistik nennt man das eine Repräsentative Auswahl und die erreicht man nur wenn man einen Querschnitt zieht, also mehr Spielszenen und nicht nur eine einzige, da die anderen Tests in allen anderen Magazinen und Webseiten zeigen, dass da mehr in den Karten steckt.

Auch dass dann nur noch UT3 hinzukommt reicht einfach nicht aus um ein Kauffazit zu erstellen, denn so ist das einfach falsch mit den Noten. Die GTX260 und 4870 liegen niemals soweit auseinander und die Lautstärke sollte definitiv höher mit einberechnet werden, da sowas unglaublich auf die Spielqualität geht und nervt. Und zwar auch mehr als ein etwas hoher Idle Stromverbrauch.

Ihr sagt selber Dinge wie "Call of Juarez" zockt ja keiner, mag sein, aber wenn ihr danach geht was die meisten Leute zocken, dann müsst ihr einfach Die Sims2, Counterstrike, Battlefield und World of Warcraft testen Wie wärs wenn ihr einfach versucht möglichst aktuelle Titel zu testen, auch wenn sie nicht so gut verkauft werden, einfach da man so am besten sehen kann wie gut die Grafikkarten nunmal sind, und das ist ja der Sinn des Tests. Ich finde UT3 ist ein uraltes Spiel, was auch auf uralten PCs wunderbar läuft, da braucht man weder ne 4870 noch ne GTX260 dafür...

Wer sich sone Karte jetzt kauft, möchte damit vll Farcry2 spielen und wenn ihr dann ohne Crysis oder Assassins Creed testet ist das einfach unzureichend. Und das sind auch Spiele die sich ganz gut verkaufen.

Zustimm - davon red ich schon ewig, aber wenn überhaupt was kommt, dann nur, das ist eben die fordernste Stelle im SPiel. Ja aber wen interessiert denn das wenn 99% des Spiels mehr als super läuft? Mich jedenfalls nicht und trotzdem komme ich mit meinem lahmen Spydersystem auf überaus spielbare Werte. Schlimm ist ja nicht, das die ATi´s bei PCGH schlechter abschneiden als woanders, sondern die NV´s nochmal ne ganze Ecke besser. Der ABstand wird so unglaubwürdig groß.

 

[y33H@]

Unter WinXP mit dem 8.7 WHQL scheint es eben deutlich besser zu laufen.

cYa

 

[PCGH_Carsten]

Das ist doch auch die selbe Szene die CB bencht.

Another popular mistake. Ok, nicht hier im Thread, aber bereits bei mehreren Gelegenheiten in den Forumsdiskussionen wurde darauf hingewiesen, dass Computerbase zwar Screenshots davon herzeigt, aber eben NICHT diese Szene verwendet.

Und so ganz allein sind wir mit unserem Benchmark übrigens auch nicht:
iXBT.com - i3D-Quality - - - 2008, - NVIDIA GeForce 9800 GX2

Ist zwar russisch, aber das macht in diesem Falle nichts, da die Zahlen nicht auf kyrillisch sind - oder?

 

[PCGH_Carsten]

Erstens mal kann ich verstehen, dass ihr einen fordernden Level suchen wollt und vielleicht ist es einfach nur zufall dass im ganzen CoD4 Spiel die Radeons vor der GTX280 liegen, aber genau in dem Level umgekehrt, die Frage ist dann nur, ist das dann für das ganze Spiel repräsentativ? Ich finde irgendwie überhaupt nicht, da es ja nur eine Szene ist. Auch wenn die eben ein "kleines bisschen" fordernder ist als alle anderen...

Das ist eine Frage, die man durchaus diskutieren kann! (Und u.A. dazu ist dieser Thread auch da.)

Meine pers. Meinung hierzu:
Entsprechend meinem Posting weiter oben sind die Stellen, die am schlechtesten laufen, maßgeblich für die Spielerfahrung. In Bioshock bsw. war ich damals ständig damit zugange, die Auflösung zu ändern, weil ich einerseits maximale Optik wollte, meine Grafikkarte für die fordernden Situationen aber nicht ausreichte. Ähnlich bei CoD 4: Schön, in manchen/vielen Levels liegen die Fps dann statt bei 100 bei 140 (nur eine ausgedachte Zahl) - doch was habe ich davon, wenn es zur "Crunchtime", wie der Ami sagt, bei der 140fps-Karte eng wird, bei der anderen aber nicht (so sehr).

IMO nicht viel. Ich würde mir eher eine Karte kaufen, die stocksteif bei 45 Fps stehenbleibt als eine, die zwischen 15 und 85 Fps schwankt.

 

[PCGH_Carsten]

Ihr sagt selber Dinge wie "Call of Juarez" zockt ja keiner, mag sein, aber wenn ihr danach geht was die meisten Leute zocken, dann müsst ihr einfach Die Sims2, Counterstrike, Battlefield und World of Warcraft testen Wie wärs wenn ihr einfach versucht möglichst aktuelle Titel zu testen, auch wenn sie nicht so gut verkauft werden, einfach da man so am besten sehen kann wie gut die Grafikkarten nunmal sind, und das ist ja der Sinn des Tests. Ich finde UT3 ist ein uraltes Spiel, was auch auf uralten PCs wunderbar läuft, da braucht man weder ne 4870 noch ne GTX260 dafür...

Wer sich sone Karte jetzt kauft, möchte damit vll Farcry2 spielen und wenn ihr dann ohne Crysis oder Assassins Creed testet ist das einfach unzureichend. Und das sind auch Spiele die sich ganz gut verkaufen.

Das ist unter anderem das, was wir auch durch diesen Thread versuchen wollen, herauszufinden. Lohnt es sich, gibt es Mehrheiten der User, die das auch so sehen usw. usf.

 

[Binn]

Dem kann ich nur zustimmen. Spiele die auch auf älteren Karten gut laufen brauchen bei den neuen nicht getestet zu werden.

Das führt mich jedoch wieder zum Einkaufsführer. Mal von dem früheren Leistungstand der Grafikkarten abgesehen, kann man heutzutage keine GTX260 die ihre Note 2,03 bekommen hat, mit einer 1-2 Jahre alten 8800 GTS vergleichen die ihre 2 bei einem Test bekommen hat wo z.B. CoD 2 gespielt wurde.

Fairer weise muss ich sagen die alten Karten werden ja schon abgewertet, meiner Meinung aber nicht genug. Am besten lässt man die Benotung im Einkaufführer weg oder muss sie besser einteilen. Z.b. Low End, Mainstream und High End.
Das habe ich gestern schon y33H@ klar machen wollen, da er jedoch nichts mit dem Einkaufführer zu tun war das nicht an den richtigen gerichtet.

Mein nächste Kritikpunkt sind die unterschiedlichen Testsysteme.
Nehmen wir z.B. bei CoD 4 die Auflösung 1680x1050 mit 4xAA/16:1 AF(8:1 Einkaufsführer)

1.RV770 und GT200 Test: C2D E8500, Nforce 680i 4 Gib DDR-800

GTX 260: 60fps
HD 4870: 42fps

2. Leistungsindex: C2 Extreme QX6850, Nforce 680i 4 GiB DDR-800, Nforce 680i

GTX 260: 62fps
HD4870: 52fps

3. Einkaufsführer: C2D ? , Board ? Arbeitsspeicher?

GTX 260: Zotac GTX260 AMP! :80,4 fps
Leadtek GTx260 :76,5 fps
Durchschnittlich :78,5 fps

HD4870: MSI R4870 OC :60 fps
Sapphire HD4870 :56 fps
Gecube HD487XT :56 fps
Durchschnittlich :57,3 fps

Woher kommen die unterschiedlichen Werte? Beim Einkaufsführer ist zwar nur 8:1 AF an aber macht das so viel aus? Gewiss nicht.

Ich will euch jetzt nicht schlecht machen aber das kann doch nicht sein immerwieder ein anderes System da blickt doch keiner mehr durch.

Mfg Robin

P.S. Carsten: Danke das du für uns deine frei Zeit opferst. Find ich gut

 

[jaytech]

Unter WinXP mit dem 8.7 WHQL scheint es eben deutlich besser zu laufen.

cYa

Das kann ich nur bestätigen, bei mir sind die Werte auch besser als in der Zeitschrift, wo mit Vista 64 getestet worden ist.

Was schließe ich daraus?


Vista kommt mir (noch) nicht auf die Platte!
_____

Ich finde es aber prinzipiell aber auch besser, wenn der schlimmste Fall gewählt wird, aber vielleicht sollte man am Anfang des Artikels darauf hinweisen, dass das Spiel im worst case getestet worden ist und man davon ausgehen kann, dass man das Spiel eigentlich mit einer vernünftigen Quali und genügend fps spielen kann.

 

[PCGH_Carsten]

P.S. Carsten: Danke das du für uns deine frei Zeit opferst. Find ich gut

Danke, tu ich doch gern. Macht auch viel mehr Spaß, wenn man nicht nur geflamed wird.

 

[y33H@]

Solange der Ton ok ist, diskutiert doch jeder gerne

cYa

 

[tibu]

Von mir auch mal ein Vorschlag bzw. Anregung.

Da die öfter wechselnden Testsysteme ziemliche Verwirrung stiften sollte man immer mit dem gleichen System, gleicher Auflösung und den gleichen Spielen sowie Benchprogrammen testen. Die erhaltenen Werte solten sich (nicht nur diese) im Einkaufsführer wiederspiegeln.

Da ja beinahe wöchentlich neue Hardware auf den Markt kommt, sollte man bei regulären Tests eine "Durchnittshardware" nutzen. Also genau die, die der größte Teil der User nutzt. Diese zu ermitteln dürfte nicht allzu schwer werden.
Für alle nichtregulären Tests kann man ja das neueste vom neuen nutzen.

Ähnliches vorgehen mit Software.

Die Redaktion setzt sich 1-2x im Jahr zusammen und entscheidet, auch nachdem Umfragen ausgewertet sind, was als neuer Hardwaredurchschnitt und was als Benchprogramm neu in die Tests aufgenommen wird und was rausfliegt.

Im Einkaufsführer hätte ich auch (meine Meinung) gern eine andere Wichtung der Ergebnisse.
Für mich zählt im Falle der Grakas als erstes Leistung(ermittelt mit einem Hardwaredurchnitt), dann der Preis, danach erst die Lautstärke und weit abgeschlagen der Stromverbrauch.

Wie gesagt, alles nur Ideen die mir so einfallen, jeder mag anders darüber Denken.

Und Dank an die Redaktion, das ihr Euch auch am WE Zeit nehmt. Das zeigt mir mit welcher passion Ihr am Magazin arbeit. Und genau das will ich als Leser.

 

[Oliver]

Wir führen seit geraumer Zeit alle Tests mit den gleichen Testsystemen durch. Da sich im Einkaufsführer noch alte Grafikkarten befinden und es damals noch keinen Wolfdale gab, sind die Testsysteme der Tests und des Einkaufsführers verschieden.

Keine Bange, da wird es eine Änderung geben.

 

[Nobbis]

Another popular mistake. Ok, nicht hier im Thread, aber bereits bei mehreren Gelegenheiten in den Forumsdiskussionen wurde darauf hingewiesen, dass Computerbase zwar Screenshots davon herzeigt, aber eben NICHT diese Szene verwendet.

Und so ganz allein sind wir mit unserem Benchmark übrigens auch nicht:
iXBT.com - i3D-Quality - - - 2008, - NVIDIA GeForce 9800 GX2

Ist zwar russisch, aber das macht in diesem Falle nichts, da die Zahlen nicht auf kyrillisch sind - oder?

Mag ja sein, aber meine eigenen Messungen liegen weit näher an den Ergebnisse von anderen Websites w.z.B. CB
trotz der "schwierigen" Mission für ATI Karten und ich hab ja noch nichtmal nen Intel. Davon ab, sollte spätestens jetzt jedem ein Licht aufgehen, das der Prozi ab einem bestimmten Niveau beim spielen eine vernachlässigbare Rolle spielt.

Nachdem mir die Leute (meist auf LAN - die frisch umgestiegen waren) mit ihren C2D und Q´s solange auf die Nü*** gingen mit der Aufforderung, ich möge umsteigen, weil alles so viel besser und schneller ist, haben wir vergleichsbenches gemacht und kein C2D hob sich auch nur erwähnenswert vom alten Athlon ab bei gleicher Graka, ausser natürlich in den CPU benches und denen welche die Graka nicht mehr fordern 00er 01er 03er Aqua.

Dann habe ich mein System mal mit 3Ghz und volle Pulle COH gebencht, mit 3,2 und mit 3,4 und es waren immer die selben fps.

Ein Vorschlag zur Güte. Kann man den Einkaufsführer für Grakas und evtl auch älterer anderer noch erhältlicher Hardware nicht einfach in aktuell und alt aufteilen? Die neuen grakas bencht man mit 3 Games und die alten auch, aber man addiert dazu noch die alten Spiele aus deren Zeit. Würde das Sinn machen?

Mischen bringt wie ich finde nicht den erwünschten Effekt

 

[tibu]

Wir führen seit geraumer Zeit alle Tests mit den gleichen Testsystemen durch.

Quote von mir gekürzt.


Nuja, nicht ganz.
Im Heft 8/08, Seite 87, im Kasten Leistungsvergleich, testet ihr mit einem Core 2 Duo E 6850,
Im gleichem Heft, Seite 95, im Kasten Benchmark-Vergleich, testet ihr mit einem C2D E 6600
Auf Seite 132, Leistungsindex, wird mit einem C2 Extreme QX 6700 getestet. (auch wenn gerade hier meine Aufstellung etwas hinkt, wegen CPU Limit. usw.)

Aber wären nicht gerade Tests, mit einem einheitlichem Durchschnittssystem, zwecks Vergleichbarkeit, angebracht?
Ein Durchschnittssystem das natürlich 1-2 mal im Jahr aktualisiert werden muß.

 

[Binn]

Wir führen seit geraumer Zeit alle Tests mit den gleichen Testsystemen durch. Da sich im Einkaufsführer noch alte Grafikkarten befinden und es damals noch keinen Wolfdale gab, sind die Testsysteme der Tests und des Einkaufsführers verschieden.

Keine Bange, da wird es eine Änderung geben.

Finde ich gut das es Änderungen geben wird.
Das Problem ist aber auch, dass sich nicht nur die Testsystem von den Tests und dem Einkaufsführer unterscheiden, sondern auch bei den Tests untereinander unterscheiden. Das fiehl mir auf als ich die Benchmarks von dem "RV770 und GT200" Test und dem Leistungsindex verglichen habe.
Da wird ein C2D E8500 und ein C2E QX6850 verwendet. Diese beiden sind ja in der Spieleleistung vergleichbar. Trotzdem unterscheiden sich die Ergebnisse teilweise stark.

Mfg

 

[PCGH_Carsten]

Mag ja sein, aber meine eigenen Messungen liegen weit näher an den Ergebnisse von anderen Websites w.z.B. CB...

Bitte denke nicht, dass ich dich für bescheuert halte, wenn ich es hier noch einmal schreibe:

Benchmarks zwischen verschiedenen OS auf so verschiedenen Systemen mit verschiedenen Demos/Timedemos/Szenen sind nicht vergleichbar - egal wie nah du (zufällig) an anderen Resultaten liegst.

 

[Nobbis]

Okay, ich habe alles gemacht wie es beschrieben wurde, das ich nun kein Vista habe tut mir ja leid, geht aber bestimmt nicht nur mir so. Ich werde auch so bald keines haben, weil ich dafür keine Verwendung habe.

Wenn ihr alles fortwährend auf Vista bencht, bencht ihr mindestens an mir vorbei. Ich gehöre nicht zu den Leuten, die sich jedem Hype anschliessen, ich denke darüber nach, bevor ich mir etwas zulege.

Dann bin ich jetzt zumindest im Bilde, wie die Umstände beim benchen bei euch sind.

Ich beobachte also weiterhin. Leider kann ich mit den derzeitigen Print Ausgaben nichts anfangen kann, kaufe aber zumindest auch keine anderen Magazine. Denn auch wenn es zeitaufwenig ist, was besseres als selbst zu testen bleibt mir momentan nicht . Oder eben

 

[tibu]

Ich gehöre nicht zu den Leuten, die sich jedem Hype anschliessen, ich denke darüber nach, bevor ich mir etwas zulege.

...irgendwie kommt mir das bekannt vor...grübel,grübel...ach ja, als Windows 98 auf den Markt kam,...als XP auf den Markt kam...

Nichts für ungut.

 

[Matschuk]

Und? Deswegen muss man ja nicht gleich allem hinterherrennen...

Mein Wechsel auf Win95 war damals notgedrungen '96, da es keine Software mehr für 3.1x gab. Der Wechsel auf Win98 vollzog sich bei mir, da war WinME schon lange auf dem Markt (also war mein Win98 schon immer die SE^^ und selbst da hatte ich immer noch DOS auf dem Rechner). Und der letzte aktuellere Wechsel auf WinXP ist auch noch nicht so lange her.. ist erst seit Ende 2002 im Familienrechner und erst Mitte 2004 im eigenen Rechner im Einsatz (also knapp 5,5 Jahre bestenfalls^^). Wenn Vista überhaupt bei mir Einzug erhält, dann mit einem neuen Rechner (der wohl erst nächstes Jahr fällig wird, da meine Pentium 2,13GHz und X700 langsam zu alt für aktuellere Spiele wird). Obwohl Mitte/Ende 2009 man auch auf Win7 warten könnte.

Ich denke vielen Mainstream-Usern geht es ähnlich mit ihrem OS. Daher sind Vista-Tests alle an dieser Zielgruppe vorbei - oder ist PCGH nur etwas für Enthusiasten?

 

[doppelschwoer]

IMO nicht viel. Ich würde mir eher eine Karte kaufen, die stocksteif bei 45 Fps stehenbleibt als eine, die zwischen 15 und 85 Fps schwankt.

Ich denke das ist der Punkt um den es sich wirklich dreht. die Szene zeigt einfach was für ein generelles Issue die AMD Karten haben. Sie bekommen nicht immer die Rohpower auf die Strasse. Das schafft NVIDIA mit ihrer Architektur einfach sehr viel besser.

Aber genau diese Aussage fehlt einfach im Test. Das Fazit ist zu sehr polarisiert. Daher auch die überkochenden Gemüter.
Sobald solche Dinge bei einer Messung auffallen würde ich erwarten dass man sich diesem Aspekt nochmal gesondert annimmt und versucht zu erklären. Das hätte vermieden dass dieses Thema so einen Wirbel verursacht.

Außerdem kann es doch auch sein dass es in anderen Games Szenen gibt die NVIDIA nicht liegen und dafür AMD besser da steht. Wenn schon die Chruchtime im Game dann auch den Worst Case für beide Architekturen. Das ist möglicherweise mit Aufwand verbunden den man nicht immer stemmen kann. Aber im Einzelfall würde sowas schon mal sinn machen. Ist denn der Sumpf auch für NVIDIA der Worst Case im Game?