Benchmarks: Ich habe schon mehr Fehlmessungen gemacht, als Sie (glauben)! - Ein Kommentar von Raffael Vötter

[gaussmath]

Bin ein Fan von dir Raff. Musste jetzt mal gesagt werden...

Ich mache auch Benchmarks seit ein paar Jahren nun. Ich teile deine Erfahrung zu 100%. Wenn @blautemple und ich einen Artikel machen, dann müssen wir bis zu 30-40% aller Messungen wiederholen, weil irgendwo ein Fehler steckt, eine falsche Einstellung verwendet wurde oder die Schwankungen doch letztlich teils unerklärlicherweise zu groß waren.

Auf Youtube gibt's u.a. wirklich viel Mist. Ich mag die Leute natürlich zumeist, ich kenne mittlerweile einige davon mehr oder weniger privat, aber Testen kann nicht jeder. Das muss man erstmal lernen, was ein bisschen länger dauert als ein paar Tage....

 

[PCGH_Dave]

Irgendwie schade, dass dieses durchaus spannende Thema dann (inhaltlich) mittendrin oder eher sogar nach dem Vorwort schon abgebrochen wird. Ich habe vermehrt den Eindruck, dass die Artikel in letzter Zeit vom Gehalt her wenig mehr als das was schon im Titel steht vermitteln können.

Du hast aber verstanden, dass es sich hier um einen Kommentar (=persönliche Meinung des Autors) handelt, und nicht um einen eigenständigen Artikel oder gar ein Special?

Ich kann dich allerdings beruhigen, wenn Raff sowas schreibt, dann liegen mindestens 1.337 Messungen hinter ihm. Die macht er ja nicht umsonst, werden also bald im PCGH-Universum sichtbar werden.

 

[gaussmath]

Wenn nun aber in gleicher Weise auch die Artikel für Hardware (deswegen bin ich hier) immer mehr zusammengeschrumpft werden, dann frage ich mich warum ich denn die "näher an der Wahrheit"-Werte der PCGH anschauen soll, wenn es andere Formate und Seiten gibt, die mir dann aber im Detail erklären was und warum sie es gemessen haben. Und die auch zugehörige Artikel nicht mit "Oh, es ist ja so schwer zu testen heutzutage" ausklingen, sondern das wichtige Folgen lassen: Wie wurde das Problem gelöst. Was wünscht man sich als Änderung in der Community bzw. von den Entwicklern/Herstellern. Was ist das Fazit oder was überhaupt, wollte der Kommentar denn aussagen?
Es liegt nicht nur am unterhaltsamen Video-Format warum Seiten wie GamersNexus so erfolgreich und beliebt sind.

Äh, GamersNexus und Hardware Unboxed sind die am wenigsten transparenten Tester, die ich kenne. Man weiß letztlich gar nicht, was die treiben. Ich habe mich damit bereits beschäftigt, daher die Aussage.

Darüber hinaus ist die Qualität ihrer Tests eher mittelmäßig, dafür werden sie aber unverhältnismäßig stark gefeiert. Ärgert mich persönlich.

Manchmal habe ich echt das Gefühl, dass andere Magazine und "Testseiten" sich keine Gedanken über Hardwarelimits und Engpässe in der Technik stellen und nur mal eben schnell ein paar Standardläufe mit Ingamebenches erstellen.
Selbst bei Seiten wie z.B. Gamestar/Computerbase hat man mitunter keine Probleme damit, Prozessoren im GPU Limit/Flaschenhals zu testen und das mit in die Tests einfließen zu lassen.

ComputerBase arbeiten auch sehr professionell. Die CPU Rankings werden mittlerweile auch wieder in 720p gemacht, die Spieletests hingegen nicht. Hier möchte man realistische Szenarien abbilden, was ja nicht soooo verkehrt ist. Da aber eh für die "CPU"- und GPU-Tests die selbe Szene genommen wird, könnte man auch genau so gut, die 720p mit den GPU-Resultaten kombinieren und hätte am Ende so mehr Informationen generiert.

 

[awacs]

Ich muss für meinen Teil anmerken, dass die Blick bei allen Hardware Benches hier meist nur noch auf Highend liegt.

Man liest eigentlich jeden Bench hier nur mit Max Settings auf Bester Hardware. Das ist zwar gut um irgendwelche Bottlenecks gering zu halten... aber es spiegelt nicht mehr das Leben draußen wieder.

ich habe viele Gamer Freunde und nur 2 oder 3 haben ein Highend System da stehen und geben ihr Gehalt für Hardware aus... der Rest hat irgendwas zwischen Lower Mid und High.

Früher wurden die Benches in verschiedenen Qualitätsstufen durchgeführt, sowohl bei der Hard oder auch Software. Da war alles näher an den Spielern draußen. Auch die ganzen Artikel zum Benchen wurden meist noch ausführlicher erklärt, es gab mehr Anreize mal was zu übertakten. Tipps für günstige Hardware die leicht zu performance Monstern werden. Da ist euer letzter guter Artikel vom Ryzen 3100/3300.

da wünsche ich mir wieder mehr. Mehr Nähe zu den Systemen draußen. Mehr Aufklärungsberichte die einem sagen hey... die Grafikkarte lohnt noch für dein System oder die CPU usw usw

man kann nur hoffen das es wieder in die Richtung geht

 

[IronAngel]

Schönes Kommentar.

Ich sag mal so. Ich finde eure Benchmarks sehr gut. Die Youtube Benchmarks sind schön und gut, aber das überlassen wir doch lieber den Profis.

Optimieren muss ich leider trotzdem in fast jeden Game die FPS. Machmal reicht es schon nur in "hohen" Einstellungen zu zocken. Meine Hardware ist sicher nicht schlecht, aber könnte für Max Einstellungen deutlich besser sein.

 

[gaussmath]

Warum man beim Testen die Worst-Case-Methode anwenden sollte.

CapFrameX - Worst Case method - Blog

What does benchmarking have to do with clothing and freezing to death?

www.capframex.com

 

[Ganjafield]

Ich muss für meinen Teil anmerken, dass die Blick bei allen Hardware Benches hier meist nur noch auf Highend liegt.

Man liest eigentlich jeden Bench hier nur mit Max Settings auf Bester Hardware. Das ist zwar gut um irgendwelche Bottlenecks gering zu halten... aber es spiegelt nicht mehr das Leben draußen wieder.

ich habe viele Gamer Freunde und nur 2 oder 3 haben ein Highend System da stehen und geben ihr Gehalt für Hardware aus... der Rest hat irgendwas zwischen Lower Mid und High.

Früher wurden die Benches in verschiedenen Qualitätsstufen durchgeführt, sowohl bei der Hard oder auch Software. Da war alles näher an den Spielern draußen. Auch die ganzen Artikel zum Benchen wurden meist noch ausführlicher erklärt, es gab mehr Anreize mal was zu übertakten. Tipps für günstige Hardware die leicht zu performance Monstern werden. Da ist euer letzter guter Artikel vom Ryzen 3100/3300.

da wünsche ich mir wieder mehr. Mehr Nähe zu den Systemen draußen. Mehr Aufklärungsberichte die einem sagen hey... die Grafikkarte lohnt noch für dein System oder die CPU usw usw

man kann nur hoffen das es wieder in die Richtung geht

Das liegt unter Anderem daran das sich aktuelle Hardware nur noch minimal übertakten lässt. Außer es wird auf Wasserkühlung umgebaut.
Wie hoch kann man denn eine RTX 3080, RX 6800XT oder einen Ryzen 5800X noch übertakten? Vielleicht max. 5% unter Luftkühlung?
Es gibt kaum noch Übertaktungsgeheimtipps.
Aber Benchmarks auf den Presets Sehr hoch oder hoch würden mich auch eher interessieren als alles auf ultra, da dort oft Lichtverbesserungen zum Einsatz kommen die kaum zu sehen sind aber 30-40% Performance kosten.
Siehe z.B. Cyberpunk, Red Dead Redemption 2
Man wird es aber nie Allen Recht machen können.
Es gab vor nicht allzu langer Zeit eine Aufrüstmatrix von PCGH. (einfach mal googlen) Dort sieht man sehr gut welche CPU welche Grafikkarte bottleneckt oder nicht. Aber das nur als PCGH Plus Artikel. Musst du dir halt ein Abo holen wenn du sowas sehen willst
Allerdings ist die Aufrüstmatrix auch schon wieder veraltet. Da fehlen die 5000 er Ryzen und die neuen Grafikkarten.

 

[PCGH_Torsten]

Ich muss für meinen Teil anmerken, dass die Blick bei allen Hardware Benches hier meist nur noch auf Highend liegt.

Man liest eigentlich jeden Bench hier nur mit Max Settings auf Bester Hardware. Das ist zwar gut um irgendwelche Bottlenecks gering zu halten... aber es spiegelt nicht mehr das Leben draußen wieder.

ich habe viele Gamer Freunde und nur 2 oder 3 haben ein Highend System da stehen und geben ihr Gehalt für Hardware aus... der Rest hat irgendwas zwischen Lower Mid und High.

Früher wurden die Benches in verschiedenen Qualitätsstufen durchgeführt, sowohl bei der Hard oder auch Software. Da war alles näher an den Spielern draußen. Auch die ganzen Artikel zum Benchen wurden meist noch ausführlicher erklärt, es gab mehr Anreize mal was zu übertakten. Tipps für günstige Hardware die leicht zu performance Monstern werden. Da ist euer letzter guter Artikel vom Ryzen 3100/3300.

da wünsche ich mir wieder mehr. Mehr Nähe zu den Systemen draußen. Mehr Aufklärungsberichte die einem sagen hey... die Grafikkarte lohnt noch für dein System oder die CPU usw usw

man kann nur hoffen das es wieder in die Richtung geht

Beim Übertakten sind wir letztlich auf die Möglichkeiten der Hardware beschränkt – es lohnt sich zunehmend weniger, erst recht wenn Kühlbedarf und Stromverbrauch im Rahmen bleiben sollen. In der Testgestaltung sind wir flexibler, allerdings bedeutet eine zweite Einstellung je Spiel eben auch den doppelten Zeitaufwand und somit entweder halb so viel Hardware oder halb so viele Spiele. Genauso können wir Einsteigerprodukte testen oder weitere Artikel zur Oberklasse machen – aber nicht beides gleichzeitig. Das Feedback von den Lesern geht dabei ganz klar in Richtung High-End. Man schaue sich nur mal die Hardware-Umfragen an:

Welche Grafikkarte nutzt du derzeit zum Spielen? (Q4 2020/Q1 2021)

Moin! Es wurde Zeit. Alle Grafikkarten des Jahres 2020 sind erschienen ... nur an der Lieferbarkeit hapert's. Eine Momentaufnahme. Welche Grafikkarten nutzt ihr derzeit zum Spielen? Wenn ihr mehrere Systeme habt, zählt die (aktuell) meistgenutzte Grafikkarte. Wenn ihr gerade aufgerüstet habt...

extreme.pcgameshardware.de

3090 und 3080 sind die beiden beliebtesten GPUs hier, vor einiger Zeit war es die 2080 Ti.

Wir sind uns durchaus bewusst, dass das ein selektiver Blick ist und die Mehrheit in Deutschland auf weitaus schwächerer Hardware spielt. Aber wir beobachten auch, dass der Anteil der Hardware-Enthusiasten unter den Einsteiger- und Mittelklasse-Interessenten sehr klein ist. Die Zielgruppe, für die entsprechende Tests relevant wären, scheint nicht an diesen interessiert zu sein. Klingt komisch – ist aber so. Und wir machen unsere Arbeit natürlich mit dem Ziel, dass jemand das Ergebnis lesen möchte (und idealerweise sogar ein Heft dafür kauft).