Diskussion zu PCGH-Benchmarks

[y33H@]

Die zwei Werte oben sind mit einem E8200 @ 3 GHz, 4 GiB und einer 98GTX+ unter WinXP gemacht. 4x MSAA ist im Spiel aktiviert, 16:1 AF im Treiber, also gleiche Settings wie in dem von dir verlinkten Benchmark. Habe eben noch mal exakt gebencht und kam auf 42,9 - 0,6 Fps fallen unter Messungenauigkeit. Vista und die fehlenden 600 MHz reißen wohl einiges (immerhin ist der Wert 20% besser), zudem ist mein RAM lahmer.

MSAA ist die stinknormale Kantenglättung welche das Spiel anbietet, MSAA per Treiber zieht nicht, nur Tranparency kann aktiviert werden. SSAA und Hybrid-Modi via nHancer. Mit 2x2 SSAA komme ich 29,3 Fps - mit 4x4 SSAA auf unspielbare 8,1 (jeweils 1.680 mit 16:1 AF @ max. Details).

cYa

 

[enero]

@y33H@, Nachteule
jetzt würde mich wirklich interesieren wie die 4870 bei deinen Settings abschneidet.

enero

P.S.
Bei all der Kritik die ich vorgebracht habe, bitte denke daran:
Wenn mir PCGH nicht gefallen würde, wär ich einfach ein Kunde weniger.

 

[y33H@]

Schön gesagt Was meinst du mit "deinen Settings"?

cYa

 

[enero]

Na ja, eifach wirklich vergleichbar, also 1.680 mit 4xMSAA und 16:1 AF, max. Details.
Hast du wirklich ne 4870 rumliegen?

Edit: mit der Nachteule ist bei mir einfach, bin zurzeit in Argentinien; + 5 h

 

[y33H@]

Ach so, du meinst, ich soll die Radeon mit den gleichen Settings und der gleichen Szene mal bei mir testen? Heute nicht, habe grade keine HD4870 da. Wird sich aber die Woche sicher mal ergeben. Im Prinzip machen wir ja bei den ganzen Benches nichts anderes Evt. wäre das eine Idee, wieder auf XP umsteigen ...

btw Schlaf wird generell überbewertet

cYa

 

[enero]

Richtig, der Schlaf ist der kleine Bruder des Todes
Aber manchmal sind kleine Brüder auch nützlich.
Wenn du ihn zusehr vernachlässigst, rächt er sich.
Kann ich dir aus eigener Erfahrung belegen.
Irgendwann bist du den halben Tag "tranig" wenn du nicht mind. 5 h schläfst. Dann verlierst du noch mehr vom Leben.

 

[topbert]

Ich bin grade erst über diesen Thread gestolpert und es ist ne Wohltat hier mal konstruktive Sachen zu lesen, ohne sinnloses Fangespamme und darauf überreagierendes Redakteursgeflame.

Dickes FETTES Lob an y33H@ für deine Mühe! Finde ich wirklich richtig klasse, wie du dich hier engagierst und vorbildhaft mit den Forenusern kommunizierst! Das nenn ich mal freundlich und kompetent! Vorbildhaft für andere User UND Redis! Weiter so!

Bin mal gespannt, was nun bei deinen Benches mit der HD4870 rauskommt....

@Einkaufsführer: ich muss hier enero & Co. zustimmen. er ist z. Zt. einfach nur irreführend, aber schön, daß darauf eingegangen wird. Ich habe selber nicht so viel Ahnung vom Benchen und mich deshalb oft an der PCGH-Liste orientiert, aber die letzte war nunmal wirklich unbrauchbar, wenn eine 9600gt so weit vor dem derzeitigen Ati-Topmodell rangiert (auch mit fps-zahlen!).

Mal was allg. zur Objektivität: es ist ja wohl so gut wie jedem klar, daß reine ungetrübte Objektivität nie möglich ist, jeder hat seine Vorlieben und Neigungen. Damit läßt sich fraps vielleicht nicht direkt beeinflussen, wohl aber die Wahl der Testkomponenten (DDR2-1066 ) und die Interpretation der eigenen Ergebnisse und Benches. Und diese Neigungen lassen sich auch in den Artikeln der PCGH nachvollziehen, seien es die Bildunterschriften oder bestimmte tendenziöse Empfehlungen. Daß das so ist, ist völlig NORMAL!!!

Was die Benches und Tests dann überhaupt sinnvoll macht ist, daß diese so aufgebaut und wiedergegeben werden müssen, daß die Ergebnisse für jeden Leser (rot, grün, blau, bunt...) immer nachvollziehbar und vergleichbar bleiben. Sei es durch eigene Benches oder den Vergleich mit anderen Hardwaremagazinen (klar gibts hier auch statist. Ausreißer, deshalb je mehr desto besser). Das (Intersubjektivität) macht eine Annäherung an die hochgelobte "Objektivität" möglich. (Deshalb ja auch die vielen Fußnoten in Fachartikeln und so)

Und genau das (Vergleichbarkeit/ Nachvollziehbarkeit) ist es, was imo bei PCGH grad nicht mehr so richtig möglich ist. Die Ergebnisse eurer Tests entsprechen überhaupt nicht mehr denen anderer vergleichbarer Tests und Benches! Und wenn z.B. CB oder Tomshardware ein völlig anderes Testumfeld wählen würden, hätte auch keiner ein Problem damit, aber es ist nunmal das gleiche Spiel mit gleichen Settings, sogar gleichen Spielszenen(?). Und da auch die Rechnerkonfig nicht dermaßen voneinander abweicht, die Ergebnisse aber grade von PCGH total und gravierend abweichen, ist Verwirrung doch vorprogrammiert!

Deshalb auch der rießige Aufschrei in der Community. Denn niemand hier will, daß "unser" good ol' PCGH zur "statistischen Ausreißer-Seite" wird !!!!

Nun gut...ich kann hier nicht soooo viel sinnvolles beitragen, wollte aber mal meine Freude und meine Anerkennung über diesen Thread äußern.

Grüße
topbert

 

[PCGH_Carsten]

Ohne jetzt wirklich alles hier gelesen zu habe (wie gesagt, Wochenende...) mal eine (nicht so) kurze Zwischenbemerkung zum heißen Thema CoD4.

1.)
Angenommen ihr spielt ein Spiel - wonach richtet sich euer Eindruck der Flüssigkeit? Findet ihr es wichtiger, in Szenen, wo es schon 100+ Fps vorhanden sind (über Gründe können wir gern ein eigenes Thema aufmachen) nochmal 30 oder 40 Fps mehr zu haben? Oder ist es für euch wichtiger, in Szenen wo die Fps knapp sind - meinetwegen um die 60- oder 45- oder 30-Fps-Marke, je nach Geschmack - 10 bis 15 Fps mehr zu haben?

Unsere Benchmarks sind eindeutig an den fordernderen Szenen ausgerichtet, die das Spielgefühl maßgeblich beeinflussen. Das geschieht aus einem einfachen Grund: Wir geben konkrete Empfehlungen und ersetzen es nicht durch ein obskures Rating (das bieten wir als Zusatzinfo an!), bei dem man sich immer mit dem Mittelweg herausreden kann. In (ferner ) Vergangenheit gab es Fälle, wo wir eine weniger fordernde Szene aus einem Spiel ausgewählt hatten und aufgrunddessen (fehl-)urteilten: "Für ein flüssiges Spielen von ABC genügt Karte XYZ". Berechtigte Beschwerden in dem Tenor "Ihr habt XYZ empfohlen aber in Level 123 ruckelt es bei mir arg" folgten. Daher unser Fokus auf eine Szene, die vielleicht nicht den Worstcase abbildet, aber nahe dran ist.

Unter anderem aus meiner eigenen Online-Zeit weiß ich, dass viele Webseiten großen Wert darauf legen, für Grafiktests besonders VGA-lastige Szenen zu finden - sonst sehen die Benchmark-Balken ja auch doof aus und man muss erklären, warum man das so macht ("...aber bei Webseite XYZ haben die ganz andere Ergebnisse..").

1a.)
Wie gut und repräsentativ Benchmarks sind, die einem Xbox-360-Port absolut keine Kernskalierung andichten wollen, sollte eigentlich auf der Hand liegen. Die Xbox-360 hat eine Dreikern-CPU mit SMT - sechs Threads können also parallel ausgeführt werden. Diese Kerne sind allerding aus Gründen der Leistungsaufnahme etc.pp. "in Order" - ein etwas älteres Konzept, welches besonders für einfaches Design und damit moderate Komplexität, niedrige Leistungsaufnahme und günstige Fertigung (alles wichtige Faktoren für eine Konsole) sinnvoll ist. Im Gegensatz zu Out-of-Order-Execution kostet das allerdings viel Leistung bei klassischer, serieller Programmierung.

Ein (kommerzielles) Xbox-360-Spiel ohne eine einigermaßen vernünftige Kernskalierung ist somit also ziemlicher Blödsinn. Sinnvollerweise sollte (aufgrund des Xbox-360-SMT) sogar eine Quadcore-CPU noch etwas mehr Leistung bringen können, als ein Dreikerner.


1b.)
Wie ihr seht, scheuen wir uns absolut nicht, unsere Benchmarkmethoden exakt und öffentlich zu dokumentieren - das tun übrigens bei weitem nicht alle anderen Publikationen. Jeder kann also unsere Werte nachvollziehen, wenn er sie uns nicht glaubt.


1c.)
Unser CoD4-Test stand mit Erscheinen der Demo-Version fest - noch lange bevor sogar die HD3800-Reihe auf dem Markt war. Wir haben die Szene also garantiert nicht bewußt danach ausgewählt, dass sie schlecht auf einer Radeon läuft.

2.)
Dass Call of Duty 4 Nvidia-optimiert ist, halte ich für ein Gerücht. CoD 4 ist im Gegensatz zur 2er-Version ein natives Xbox-360-Spiel und nun ratet mal, was da für ein Grafikchip drin sitzt. Dieser Ati-Xenos weist von der Architektur her eine ziemliche Ähnlichkeit mit den Radoen-DX10-GPUs auf: Vec5-Einheiten, TMU-Array, Unified-Shader.

Das Ziel bei einer Konsolenentwicklung sind allerdings nicht ungeheuer viele Fps und gute Skalierung mit einer großen Bandbreite an Grafikleistung, sondern möglichst gute Optik auf genau einer Hardware, einer Zielauflösung (i.d.R. 720p) und einer Grafikeinstellung. Daher muss eine Skalierung auch auf ähnlicher Architektur darüberhinaus nicht unbedingt gegeben sein.

 

[PCGH_Carsten]

Binn's Kritik am Einkaufsführer ist glaube ich momentan einer der verbleibenden härteren Kritikpunkte, bei denen es nicht um Objektivität oder ähnliches geht, sondern um die Probleme, die dieser aufwirft.

Wurde auch schon von mehreren Leuten erwähnt, zum Teil mit Verbesserungs/Änderungsvorschlägen:
Tentakeltyp, Fransen, b0s, frEnzy, Binn

Ich denke all diese würden sich bestimmt über Statements freuen

MfG

Keine Bange, es wird Statements geben - umsonst treiben wir sicherlich nicht einen solchen Aufwand (5-Seiten-Artikel im Heft, Online-Feedback etc.pp.). Allerdings wollen wir auch nicht nach einer Seite Thread ein Riesenmeeting einberufen, uns dort besprechen und dann eine "Lösung" verkünden, die inzwischen aufgrund neuen Feedbacks schon wieder revidierungsbedürftig wäre.

Also:
Es WIRD definitiv ein offizielles Feedback seitens der Redaktion geben. Allerdings müssen wir uns dazu erstmal zusammensetzen (einer alleine, der alles entscheidet, ist nie gute - wiewohl Thilo natürlich das letzte Wort hat, wenn er will), die Alternativen diskutieren und - ganz wichtig - deren Umsetzbarkeit prüfen.





Wenn wir jetzt bsw. sagen würden, wir nehmen pro Jahr einen festen Benchmarkparcours (was uns nebenbei die Arbeit stark erleichtern würde...) und machen zu jeweiligen Spielen individuelle Skalierungstests, müssten wir uns vorwerfen lassen, Neuerscheinungen nicht zu berücksichtigen und Kaufempfehlungen aufgrund veralteter Spiele zu geben. Ob das ein berechtigter Vorwurf wäre (bsw. ein Stranglehold, obwohl schwerstens gehyped, haben nicht viele Leute längerfristig gespielt), und wie schwer er im Vergleich zu seinen Vorteilen wiegt, müsste dann noch geprüft werden.

Das nur als Beispiel, dass wir es uns nicht allzu leicht machen (können/dürfen) und wir größere Änderungen nicht übers Knie brechen.

Außerdem ist Wochenende...

 

[PCGH_Carsten]

Was die Benches und Tests dann überhaupt sinnvoll macht ist, daß diese so aufgebaut und wiedergegeben werden müssen, daß die Ergebnisse für jeden Leser (rot, grün, blau, bunt...) immer nachvollziehbar und vergleichbar bleiben. Sei es durch eigene Benches oder den Vergleich mit anderen Hardwaremagazinen (klar gibts hier auch statist. Ausreißer, deshalb je mehr desto besser).

Das fett-kursive fördern wir, wo es nur geht. Das fette dagegen wird nie gelingen. Natürlich ist es sinnvoll, sich mehrere Benchmarks anzusehen - auch aus mehreren Quellen - aber ein Vergleich ist außer bei Synthies wie dem 3DMark nur schwer möglich - Gründe: u.a. im Heftartikel "Benchmarks auf dem Prüftstand" und in meinem Posting weiter oben nachzulesen.

Das unterschiedliche Seiten zu unterschiedlichen Ergebnissen kommen, ist normal und wird auch immer so bleiben (Ich erinnere mich gern an das Island-Flyby von Crysis, oder das Antalus-Flyby aus UT2004 - ersteres klar CPU-limitiert ab einer gewissen Grafikleistung, wurde aber als VGA-Benchmark verkauft, zweiteres zeigte mit aktuellen Grafikkarten tw. mehr als 500 Fps, während echte Multiplayer-Action oft Mühe hat, über 20% des Wertes hinauszukommen und zudem stark CPU-limitiert ist).

Nur dass dann dem einen oder anderen Magazin (hier: uns ) wahlweise (nicht von dir) Dummheit/Bestechlichkeit/Bevorzugung vorgeworfen wird, finde ich ziemlich zu kurz gedacht. Aber vielleicht macht das viele Starren auf Benchmark-Balken auch dumm?

 

[Nobbis]

Moin moin!

Ich weiß jetzt zwar leider nicht, wie ich es glaubwürdig beweisen könnte, dass wird sicher auf diesem Wege auch nicht möglich sein.

Leider ist mir die Zeit momentan rar, aber ich hab den Rechner mal grad angeschmissen und die Szene im echten Sumpf, als Akt1 im Wasser mit Holzhütte ohne Tür getestet.

AMD 6400er auf 3400Mhz, 2GB 1066er auf 4-4-4-16 und einer unübertakteten 4870 mit CAT 8.7

Ich habe alles aufs höchstmögliche gestellt dann auf 4xAA und den anisotroph Regler ganz nach rechts. AUflösung 1680x1050 schwierigkeit standard und OS is 32Bit XP.

Ich bin nur geradeaus gelaufen und Zeit bei fraps war auf 15sec gestellt. Man läuft also ein Stück am Haus vorbei.

Min 55fps Max 83 und Avg 66 steht in der .csv Datei im Fraps Ordner.

Als ich Bilder von den Screenshots gemacht hab, stellte ich fest, das der Blickwinkel entscheident ist und da ich die Maus schon bewegt hatte ... naja aber es waren so bei etwa normalem Blickwinkel immer so zwischen 58 und 68fps sag ich jetzt mal

Ich bin dann noch weiter gelaufen und hab immer wieder die Benchmarktaste gedrückt. Es waren 2 AVG im 70ziger Bereich 3 im 90ziger Bereich und 2 im 100er Bereich

sind also stark runtergerechnet 87fps im Durchschnitt während der Anfangsphase der Map

hoffe konnte helfen

 

[PCGH_Carsten]

Leider ist mir die Zeit momentan rar, aber ich hab den Rechner mal grad angeschmissen und die Szene im echten Sumpf, als Akt1 im Wasser mit Holzhütte ohne Tür getestet.

Warum? Für den Vergleich zu unserem Benchmark bringt das nix.
BTW: Die Maus wird bei unserem Benchmark nicht berührt - das garantiert gleiche Blickwinkel.

 

[Binn]

...Aber vielleicht macht das viele Starren auf Benchmark-Balken auch dumm?

Weswegen ich ganz klar zu eine Spielbarkeitskurve tendiere. Das, das jedoch viel Arbeit ist hatte ich mir aber schon gedacht und wurde mir von y33H@ bestätigt.

Jedoch könnte man es doch einmal wenn eine neue Generation erscheint machen, oder?
Ihr macht ja auch die Spielbarkeitsdiagramme, die ich persönlich echt prima finde da die viel mehr aussagen als ein normales min,max und Average Diagramm.

Zudem würde ich an eurer Stelle diese Spielbarkeitsdiagramme in die Print-Ausgabe tun denn, den Leuten die nicht auf pcgh.de oder sonstiges Hardware-websites surfen ist damit viel besser gehohlfen sich die richtige Grafikkarte auszusuchen.

Gruß Robin

 

[Nobbis]

Warum? Für den Vergleich zu unserem Benchmark bringt das nix.
BTW: Die Maus wird bei unserem Benchmark nicht berührt - das garantiert gleiche Blickwinkel.

Aber zu den Tests von diesem Yeeha ....

Ich hab sie auch erst berührt, als der Benchmark vorrüber war!!!!!!!

Danach hab ja die Screenshots gemacht.

Vieleicht schaff ich noch die Sumpf Map, dann will ich mich gern überraschen lassen. Auch negativ.

 

[Wavebreaker]

Eine Kaufempfehlung basiert aber auf Lautstärke, Temperatur, OC, Ausstattung usw., zudem werden einzelne Punkte unterschiedlich stark gewichtet. Eine Karte, die sauschnell ist, aber kein OC-Potential hat, kaum Austattung mitliefert und den User mit einer unmenschlichen Lautstärke sowie Heizungscharakter quält, landet so hinter einer klar langsameren, kühlen Silent-Karte mit fetter Austattung. Hier muss differenziert werden.

Mit Verlaub, aber das ist doch ein bisschen dämlich. Wenn ihr eine Rangliste erstellt, in der nur die Leistung ausschlaggebend ist, und zusätzlich noch eine zweite, welche sich an den anderen Daten wie Stromverbrauch, etc. orientiert, so habt ihr - denke ich - alles was man braucht, um eine vernünftige Kaufempfehlung geben zu können.

Das, was ihr Kaufempfehlung nennt, ist doch eigentlich nur eine Gegenüberstellung von Leistung, Stromverbrauch, Temperatur, Lautstärke und Zubehör, die eigentlich niemandem hilft. Ihr stellt damit die Produkte auf ein gleiches Niveau. Das, was eine HD4870 mit Leistung erreicht, wird bei euch wieder durch die Hitze und den Stromverbrauch wettgemacht. Das, was einer 9600 GT an Leistung fehlt, wird bei euch durch die geringe Wärmeentwicklung und den geringen Stromverbrauch, ebenfalls wieder wettgemacht, sodass sie auf gleicher Stufe wie eine HD4870 steht.
Vielleicht solltet ihr eure Bewertung lieber in 75% Leistung (FPS) und 25% Anderes (Stromverbrauch, Temperatur und Lautstärke) aufteilen. Das Zubehör könnt ihr meinethalben am Rande erwähnen. Es ist für mich aber nicht relevant für die Beurteilung einer Grafikkarte. Dem Preis würde ich auch mehr Beachtung schenken.

So ... das wars.

MfG Wave

 

[PCGH_Carsten]

Aber zu den Tests von diesem Yeeha ....

Na dann... vielen Dank. Mit unserem Benchmark hat das trotzdem nichts zu tun.

Ich hab sie auch erst berührt, als der Benchmark vorrüber war!!!!!!!

Prima! Ich wollte das nur nochmal klarstellen. Durch zu lange nicht klargestellte Kommentare hat sich in letzter Zeit ein ziemliches Eigenleben entwickelt.
BTW:
Klemmt deine Shift-Taste -> !!!!!!!

Vieleicht schaff ich noch die Sumpf Map, dann will ich mich gern überraschen lassen. Auch negativ.

Viel Glück. Die sumpfige Map ist eben war völlig anderes als die Mission "Im Sumpf"

 

[PCGH_Carsten]

Ihr stellt damit die Produkte auf ein gleiches Niveau.

Nein. Selbstverständlich gewichten wir die Einzelpunkte nach einem feststehenden Schema. Zum Beispiel erhalten Grafikkarten einen Abzug, wenn die (starke) Winkelabhängigkeit des anisotropen Filters nicht abstellbar ist. Das traf auf die Radeons vor der X1000-Reihe und die Geforces vor der 8er-Reihe zu.

 

[y33H@]

@ Nobbis

Die Szene die du gespielt hast, ist nicht die Mission "Im Sumpf", die wir testen. Wir testen die dritte Mission des 2ten Aktes. Du hast "Blackout" gespielt. Zwar ist diese Stelle auch anspruchsvoll, zum Benchen aber nicht ideal. Das habe ich jedoch bereits gestern erklärt. Nur weil eine Mission "Im Sumpf" heißt, muss da nicht direkt am Anfang welcher sein

"Im Sumpf" ... "Blackout"

Anhang anzeigen 29092 Anhang anzeigen 29093

cYa

 

[Nobbis]

Ey, ich bin nicht total bescheuert. Man achte auf meinem Wortlaut, du dachtest gestern auch, ich würde dich für befangen halten. Ausserdem hast du diese Szene auch gebencht und du hättest ja mal vergleichen können. Ich habe es jedenfalls verglichen mit deinem Screenshot den du hier veröffentlicht hast.

Das is mir schon klar und weil ich es mir nicht nehmen lassen wollte, hab ich mich jetzt nochmal zur "Im Sumpf" Mission vorgespielt und eben zweimal hintereinander 15sec gebencht ab dem 4ten Armwink des Captains (oder wer auch immer das ist), ich hab es also grad bis zum Auto geschafft.

Einstellungen wie gehabt, Maus nicht berührt.

1.Bench: Min 54 Max 65 Avg 60
2.Bench: Min 55 Max 65 Avg 60

Mein Ergebnis ist also, das ich deutlich vor einer 9800GTX+ (eure 9800GTX+) liege und nahe dran an der GTX260 (an eure GTX260 - die von CB hab ich schon längst überholt) und das, obwohl ATI diese Szene offenbar nicht so gut liegt. Wenn dem so ist, dürfte ich während des gesamten anderen Spielverlaufs min auf GTX260 Niveau wenn nicht sogar darüber liegen.

Auch wenn mein Spydersystem vieleicht nicht der Kracher ist, liege ich ganz genau bei den Werten die CB ermittelt hat. Ihr könnt gern vergleichen, wobei ich die 1600x1200 Auflösung bei CB als Gegenstück genommen hab. Macht ja den Kohl nicht fett (obwohl die von CB mehr Bildpunkte bietet also noch anspruchsvoller ist), da das Verhältnis halbwegs stimmt. Oben was abgeschnitten und an der Seite was drangeklatsch bei der Breitbildauflösung.

 

[y33H@]

Ich fasse mal zusammen. Du kommt mit einem A64 X² @ 3,4 GHz, 2 GiB DDR2-1066, einer HD4870 und dem Catalyst 8.7 WHQL unter WinXP (?) mit im Spielmenü aktiviertem 4x MSSA, bei AI-def und maximierten Spieledetails im PCGH-Bench "Im Sumpf" mit einer Auflösung von 1.680x1.050 auf 60 avg-Fps? Dann entspricht das nicht unseren Settings. Bitte den AF-Regler im Spiel nach links stellen und 16:1 AF im Treiber aktivieren, AI auf standard.

btw halte ich dich nicht für bescheuert, aber ich blicke stellenweise nicht ganz durch, was du jetzt wo wie gebencht hast.

cYa