Grafikkarten-Benchmarks 2020/2021: 20 Benchmarks, 11 Grafikkarten, 4 Auflösungen - Fazit nach gut 3.000 Messungen

Ich verstehe nicht warum es hier überhaupt eine Diskussion gibt.
Entweder macht mans richtig, oder wie hier falsch.

Ein dazwischen gibt es einfach nicht.
Diese Metriken sind klar definiert.

Oder fühlt sich hier jemand berufen die Definition von Perzentilen anzuzweifeln und neue Regeln aufzustellen?
Dann hätte ich aber auch bitte die Beweisführung dazu.

Also bitte.
Verwendet die korrekte Bezeichnung zu verwendeten Metriken.
 
Dann möchte ich einmal hinzufügen, dass die PCGH als einzige Redaktion (!) da draußen die richtigen Definitionen für Datenmengen in der Informationstechnik nutzt. Diese Definition verwendet Windows auch. Wird jetzt jeder von der PCGH angemacht, der Gigabyte statt Gibibyte sagt/meint? Nein.

Das ist ja auch korrekt. Wieso sollte die Redaktion deswegen angemacht werden?

Computerbase nutzt übrigens das "99,8th Percentile", was in CX dann ja praktisch das P0.2 ist. Die machen es also auch "falsch", sind aber klug und schreiben bei den Benchmarks einfach "Frametimes" hin statt "P99,8" - vielleicht sollte PCGH das auch machen. :schief:

Ich habe mit Wolfgang bereits geschrieben deswegen. Sie schauen sich das an, ob sie es anpassen (die Schreibweise P1 verwenden). Da ComputerBase ein Schwergewicht ist, dürfte das Signalwirkung haben.

Ich wollte dich nicht persönlich angreifen, natürlich kannst du mit deiner Zeit machen was du möchtest. :)
Mir ist nur die häufige Anwesenheit in den Foren aufgefallen. Sehr wahrscheinlich schätze ich den Aufwand für so ein Tool komplett falsch ein. Entschuldige bitte.

Passt schon Ion, mir ist lieber, die Leute äußern offen, was sie denken, auch wenn es dann mal etwas ruppiger zugeht.


-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Jetzt kommt ein bisschen die fachliche Keule, Chris. Hol' dir besser einen Kaffee, bevor du weiterliest. :D

Ich denk mir einfach P99 heißt, dass zu 99% der Zeit mit der jeweiligen GPU die fps >= diesen Wert laufen und gut is.
biggrin1.gif
Es gilt halt, je höher desto besser.
Und einzelne Ausreißer sind ja raus, also die klassischen Min. fps.
Genau das ist die Definition von P1. 1% der Werte sind kleiner, also sind 99% größer als dieser Wert. Die Werte werden zuvor aufsteigend sortiert, bevor das Perzentil gebildet wird. Man hört übrigens auch häufig die Kritik, dass das Perzentil nur ein einzelner Wert ist und daher Glattheit gar nicht richtig abbilden kann. Das stimmt aber so nicht. Ein Perzentil ist ein Strukturparameter. Sortierung = Struktur.

Worin jetzt der Unterschied zwischen 1% low und P1/P99(also den PCGH P99
zwinker4.gif
) besteht, is mir zwar immer noch nicht ganz klar(der is glaub ich auch nicht so groß und eher im 2 fps Bereich ?), aber nur weil ich mein Köpfchen nicht damit belasten wollte. Krieg davon nur Kopfschmerzen, da aktuell der Schlafmangel durch Schichtdienst, harten Wechseln und nicht pennen können bei den Temps(meine Luftkühlung im Schlafzimmer is nicht so dolle, brauch glaub ich n neues Custom-SchlafZi) schon übel ist.

Ich mochte das ganz gern, wie der Steve von GN das dargestellt hat, mit average, 1% low und 0.1% low.
Die 0.1% low federn auch noch extreme Ausreißer ab, aber stellen schon dar, dass es auch mal richtig niedriger gehen kann.

Es besteht ein gewaltiger Unterschied zwischen einem x% Perzentil und einem x% Low Parameter. Die Definition von Perzentilen kann auf Wikipedia nachgelesen werden, ich werde allerdings alsbald einen Artikel darüber schreiben. Ich werde versuchen, es möglichst anschaulich darzulegen. x% Low ist hingegen der Mittelwert der x% kleinsten Werte. Da es keine weitere Bedingung gibt, wenngleich man so etwas definieren könnte, enthält diese Metrik grundsätzlich Ausreißer. Unter der Bedingung, dass eine Ausreißer in der Frametime-Sequenz enhalten ist, ist dieser Aufgrund der Definition von x% Low immer darin enthalten. Diese Metriken sind also nicht robust gegen Ausreißer, was aber sogar gewollt sein kann. Problematisch wird's dann erst, wenn sog. nicht reproduzierbare stochastische Ausreißer vorliegen. Und jetzt kommt die schlechte Nachricht: das ist in der Praxis leider verdammt oft der Fall. Ich glaube nicht, dass sich Steve von GN dessen bewusst ist. Ich würde ihn das zumindest gerne mal fragen.

Ich bin daher aus fachlicher Sicht strikt dagegen, x% Low Metriken für die Bildung von Hardware-Rankings zu verwenden, weil sie nicht robst gegen Ausreißer sind.
 
Zuletzt bearbeitet von einem Moderator:
Natürlich kann ich das warum sollte ich das 4 Fache bezahlen für 50%(wenn überhaupt) der Leistung.? Warum sollte man überhaupt soviel bezahlen es sind nur Videospiele ich verstehe das nicht. :) eine Konsole um 1000€ würde kein Mensch kaufen(hier geht es rein um Gaming)obwohl es das gesamte Paket ist. wäre es 4 mal so schnell wäre es verständlich irgendwo, dem ist aber nicht so hat ja nicht mal mehr speicher soweit ich das mitbekommen habe.
Es gibt eben immer Menschen, die einfach das schnellste/schönste/dollste (das man für Geld kaufen kann) wollen. Und dann gibt es eben Hersteller, die jene Bedürfnisse nur allzu gern befriedigen.

Was für dich und mich zu teuer ist, darüber können andere nur lachen...:P:D

Gruß
 
Jetzt kommt ein bisschen die fachliche Keule, Chris. Hol' dir besser einen Kaffee, bevor du weiterliest. :D

Gesagt getan. :) Du kennst mich. Woher wusstest du, dass ich mir grad n lecker Kuffi gemacht hab. :D
Passt ja wie Ar... auf Eimer.

Genau das ist die Definition von P1. 1% der Werte sind kleiner, also sind 99% größer als dieser Wert. Die Werte werden zuvor aufsteigend sortiert, bevor das Perzentil gebildet wird. Man hört übrigens auch häufig die Kritik, dass das Perzentil nur ein einzelner Wert ist und daher Glattheit gar nicht richtig abbilden kann. Das stimmt aber so nicht. Ein Perzentil ist ein Strukturparameter. Sortierung = Struktur.

Ui ... da hab ich ja Glück gehabt, dass es passt, mit den 99%, bzw. 1%.

Und ansonsten liest man sofort, dass du dich lange mit dem Thema befasst hast und wenn du da was sagst, diesem ruhig Glauben zu schenken ist.
Ich sag das nur noch mal(vielleicht auch eher für die, die dich noch nicht kennen ;) ), obwohl ich natürlich über deine Arbeit bescheid weiß, wie viel Zeit du da investiert hast und ich mochte dein Tool ja von Anfang an, da ich es einfach liebe solche Daten zu checken(von daher sollte ich mich vielleicht auch mal mehr mit den Begriffen beschäftigen, damit ich auch weiß, was sie heißen und nicht nur die schönen Frametime Analysen bewundern in den Benches. :D ;) ).
Ich weiß noch, wie wir diskutiert hatten, wie ungenau der Afterburner teilweise angezeigt hat usw. .

Wie du das grafisch aufbereitet hast und auch wie du auf Wünsche gehört hast, alles einzubauen in das Tool und das dann auch zu checken und in Details zu verbessern, z.B. die run history usw. ... einfach klasse Arbeit ! :daumen:
Natürlich auch an die, die noch mitgewirkt haben, mit konstruktiver Kritik und tatkräftiger Unterstützung. Taxxor z.B. usw. .
(yes, i know ;) CB lässt grüßen.).

Es besteht ein gewaltiger Unterschied zwischen einem x% Perzentil und einem x% Low Parameter.

Ich hab's geahnt ! :D

Die Definition von Perzentilen kann auf Wikipedia nachgelesen werden

Da hätt' ich auch eher drauf kommen können. Is ja ganz einfach. :)

1.jpg
Jetzt weiß ich bescheid. ;)

Aber jetzt kommt's !

x% Low ist hingegen der Mittelwert der x% kleinsten Werte. Da es keine weitere Bedingung gibt, wenngleich man so etwas definieren könnte, enthält diese Metrik grundsätzlich Ausreißer. Unter der Bedingung, dass eine Ausreißer in der Frametime-Sequenz enhalten ist, ist dieser Aufgrund der Definition von x% Low immer darin enthalten. Diese Metriken sind also nicht robust gegen Ausreißer, was aber sogar gewollt sein kann.

Das wusste ich nicht, oder ich hab's mittlerweile wieder vergessen, nachdem ich früher schon mal kurz in das Thema reingeschaut habe.
Also ... wieder was gelernt !
Danke, Gauss !

Dann muss ich meine Meinung ändern, dass ich die 1% low, bzw. 0,1% low mag, da ich davon ausgegangen war, dass da nur etwas oberhalb der Ausreißer berechnet wird.
Und da ich dir das natürlich sofort glaube, wenn du das so sagst, denn wenn ich mal jemand nach so etwas fragen müsste, würde ich wohl dich fragen, aufgrund der Arbeit mit deinem tool :D , muss ich da auch einfach direkt sagen: Nee ... 1% low sind doof ! ;)
Jetzt is mir auch klar, warum die 1% low niedriger waren, als P1. Is ja logisch.

Aber warum machen GN und HU das dann so ?
Da is doch nichts verlässlich reproduzierbar, wenn die Ausreißer mal so, mal so, oder auch mal gar nicht auftreten !?
(Wenn man noch versteht, was ich meine)

Ok .. .konzentrier' ich mich zukünftig auch hauptsächlich auf die P1. :)




Aber irgendwie is doch gerade für sowas ein Forum gut, Sachen zu klären und Leute zu fragen, die sich mit sowas auskennen.
Und da ich ja öfter mal eine recht forsche, lockere Klappe habe, aber mir ebenfalls kein Zacken aus der Krone bricht, wenn ich mal was einsehen muss, dass ich falsch lag, isses doch schon ganz aufschlussreich, wenn ich auch zu dem Fazit komme: nennt das Teil P1 und feddich ! :D :daumen:
(P99 is ja nun mal wirklich einfach falsch)

Where is the problem ?
Gauss kennt sich doch damit aus und das wird wohl stimmen.
Also liebes PCGH-Team(Raff und co. in dem Fall) ... könnt ihr nicht auch einfach eindrehen und sagen: "Gut ... im Forum kamen sie zu dem Schluss, dass es besser ist, also machen wir das auch !?" ?




btw: :pcghrockt: doch immer wieder.
Ich sehe mal wieder Grund für Erneuerung meines Supports ;)

Ähm ... wieso kann ich denn nicht nochmal supporten ? :huh:
1.jpg
Geht das nur einmalig ?



Gauss ... du hast Recht !
Und danke noch mal für die ganzen ausführlichen Erklärungen.
Selbst ein Dickkopf wie ich hat das dank ner guten Tasse Kaffee kapiert. :daumen: smilie_trink_101.gif


Ganz toller Beitrag.

Und schönen Sonntag @ all ! :)
 
Zuletzt bearbeitet:
Der Parkour ist gelungen, vielen Dank an Raff für seine Mühe (3000 Messungen ohje..:D), mir fehlt die 2080(s) als vergleichbare Größe auch wenn eine 2070s dabei ist.

Ob man mit dem 3900x etwas verschenkt, ist dann nicht wichtig, wenn der Großteil so eine CPU im Rechner hat (oder sich vielleicht anschaffen will), also eine Art Referenzgröße ist, um damit die Ergebnisse abzubilden und was man vllt. als Expertise sucht. Das wird den meisten Enthusiasten und Extremeanhängern hier nicht schmecken, aber irgendwo muss es auch den "Außenstehenden" ansprechen.

Zuletzt werden die fehlenden FPS im CPU Benchmark Bereich zurechtgerückt und man kann an dieser Expertise dann seine Wunsch-CPU auswählen, was auch den Anhängern schnellerer Hardware gerecht wird.
 
Zuletzt bearbeitet von einem Moderator:
Sinnvoll könnte auch sein FHD nicht mehr so hoch zu gewichten, vorher war die Auflösung ja höher gewichtet als die beiden anderen.
Ein Übergewicht für QHD scheint mir sinnvoll.
 
Aber warum machen GN und HU das dann so ?
Da is doch nichts verlässlich reproduzierbar, wenn die Ausreißer mal so, mal so, oder auch mal gar nicht auftreten !?
(Wenn man noch versteht, was ich meine)

Ich habe mal gehört, dass sie sehr viele Messungen machen, um dann störende Ausreißer im Nachhinein rausschmeißen zu können. Ob das so praktikabel ist und bei Zeitdruck auch tatsächlich immer sauber so gemacht wird, ist ziemlich zweifelhaft meiner Meinung nach.
 
Eine perfekte Messung gibt es doch sowieso nicht.
Man sollte halt beim Messen sicherstellen, dass z. B. eine RTX 2060 nicht plötzlich besser abschneidet als eine RTX 2070.
Und Raff macht das super, soweit ich das beurteilen kann.
 
Ich sehe einen Vergleich von Stichproben unterschiedlicher Stichprobenumfänge auf diese Art und Weise sowieso kritisch: schnellere Grafikkarten produzieren mehr Frames in der gleichen Zeit und somit potentiell auch mehr Ausreißer, von denen je nach Ausschlussverfahren alle oder eben nur einige unberücksichtigt bleiben, in beiden Fällen benachteiligt man Durchläufe mit vielen oder eben wenigen Ausreißern. Diese könnte man durch Unterstellung einer Normalverteilung und Berechnung von µ und Sigma kenntlich machen, wo µ für den normalen User der entscheidende Wert zur Performancebeurteilung ist und darüberhinaus das Sigma die Streubreite, also Schwankung gut abbildet. Aber auch das hätte an anderer Stelle wieder mehr Nachteile als Vorteile, weswegen ich am Ende eigentlich den Ansatz aus Benchmarktools aka 3dmark und co nicht schlecht finde: nur die Frames in einer vorgegebenen Szene / Zeitspanne zählen und fertig. Diesen Wert direkt angeben. Enthält dann zwar keinerlei Aussage über die Spielbarkeit, aber eindeutiger kann man nicht vergleichen und ist unstrittig in der Interpretation.
 
Enthält dann zwar keinerlei Aussage über die Spielbarkeit, aber eindeutiger kann man nicht vergleichen und ist unstrittig in der Interpretation.

Und damit ist dieser Ansatz bereits absurd. Der Kern von Technikanalysen von Spielen ist doch die Ablesbarkeit der Spielbarkeit und der "Geschmeidigkeit"..
 
ComputerBase geht zukünftig auf

"FPS, Durchschnitt" und "FPS, 1% Perzentil" sowie "FPS, 0,2% Perzentil"

Bähm! ;)

In Zeiten zunehmender Leistung ist das das Thema Perzentile sicher oft relevanter als die Avg´s.
Mit ist ein durchgehend smoothes Spielgefühl beispielsweise wichtiger als high Fps, ab 80+ sehe ich den Mehrwert eh meist als gering an abseits von schnellen Rennspielen oder Shootern.
 
Zurück