Assassin's Creed Odyssey PCGH Custom Benchmarkszene (Athen)

[PCGH_Dave]

Ja der BCLK schwankt von Board zu Board. Das sollte wenn überhaupt weniger als einen Frame ausmachen.
Heizt du die CPU auch vor? Also vor dem Benchmark-Durchlauf?

 

[Esenel]

Das würde nur funktionieren wenn ich nen Fön davor halte

Hab ein bisschen zuviel Kühlfläche, dass sich da was auswirken würde.

Oder wie heizt du vor?

 

[PCGH_Dave]

Wir heizen jede CPU vor jedem Benchmark auf. Dafür reicht es, sich am Start der Szene einfach fünf Minuten hinzustellen und zu warten.

 

[Esenel]

So.
Habe alle Anpassungen eingefügt.

Mit Aufheizen und Einstellungsanpassungen.
avg 3 FPS mehr...
Das Game hat schon seine Eigenheiten.

 

[HisN]

Hier mein 3960X .. PBO ist aktiv, ansonsten läuft der ohne OC.
4x16GB RAM 3.2Ghz CL16 (Graka Titan X .. aber interessiert ja im CPU-Limit nicht). SMT: OFF

Settings laut Startpost. 50% Renderscale nicht vergessen, sonst wirds nen Graka-Test solange AO angeschaltet ist.

 

[PCGH_Dave]

50% Renderscale nicht vergessen, sonst wirds nen Graka-Test solange AO angeschaltet ist.

Dann ist der Wert aber nicht mit den PCGH-Benches vergleichbar

 

[Esenel]

Hier mein 3960X .. PBO ist aktiv, ansonsten läuft der ohne OC.
4x16GB RAM 3.2Ghz CL16 (Graka Titan X .. aber interessiert ja im CPU-Limit nicht).

Settings laut Startpost. 50% Renderscale nicht vergessen, sonst wirds nen Graka-Test solange AO angeschaltet ist.

Krass was dieses Kernmonster schaufelt^^
Ich schaff mit meinem 24/7 OC avg 100 FPS / P99 78 FPS.

Spricht mMn. aber nicht für das Game, wenn selbst 48 Threads "nur" 105 FPS schaffen...
Gut ist ja immer noch ein DX11 Game.

Aber Renderscale muss ich nicht runtersetzen.
Hat bei mir keine Auswirkung.
GPU ist doch nur zu 80% ausgelastet.

 

[HisN]

Ich hab beim ersten Start Werte nähe der 90% gehabt, deshalb Renderscale runtergesetzt. Wollte ein CPU-Ergebnis haben.

 

[gaussmath]

Leute, schaltet doch bitte AO ab bei CPU Tests, sind bloß eine handvoll Drawcalls. Das ist nichts im Vergleich zur GPU-Zeit. Das betrifft übrigens alle Post Processing Optionen. Weg damit....

 

[PCGH_Dave]

Leute, schaltet doch bitte AO ab bei CPU Tests, sind bloß eine handvoll Drawcalls. Das ist nichts im Vergleich zur GPU-Zeit. Das betrifft übrigens alle Post Processing Optionen. Weg damit....

Kommst du dann bitte in die Redaktion, und machst die 105 Benchmark-Durchläufe neu? (Aktuell habe ich 35 CPUs im Index, jede davon muss mindestens drei mal im Spiel getestet werden)
Da man pro CPU gute 30 Minuten (inkl. Umbau, Windows-Start, Spiel neu laden (und zwischendurch patchen) und die Daten auswerten) braucht, kommen wir so auf rund 17,5h Arbeitszeit, zumal manche CPUs gar nicht mehr in der Redaktion sind. Sämtliche Spezialmessungen, also beispielsweise ohne TDP-Limit oder im Eco-Mode, müssten dann auch noch mal neu gemacht werden, kommen also noch mal etwa 4h oben drauf. Das wären dann gute drei Arbeitstage, wo ich nichts anderes machen würde, als AC:O zu benchen. Wer zahlt mir die Überstunden freiwillig?

 

[gaussmath]

Kommst du dann bitte in die Redaktion, und machst die 105 Benchmark-Durchläufe neu?

Wenn ihr mich auf einen Kaffee einladen würdet, käme ich vorbei.

(Aktuell habe ich 35 CPUs im Index, jede davon muss mindestens drei mal im Spiel getestet werden)
Da man pro CPU gute 30 Minuten (inkl. Umbau, Windows-Start, Spiel neu laden (und zwischendurch patchen) und die Daten auswerten) braucht, kommen wir so auf rund 17,5h Arbeitszeit, zumal manche CPUs gar nicht mehr in der Redaktion sind. Sämtliche Spezialmessungen, also beispielsweise ohne TDP-Limit oder im Eco-Mode, müssten dann auch noch mal neu gemacht werden, kommen also noch mal etwa 4h oben drauf. Das wären dann gute drei Arbeitstage, wo ich nichts anderes machen würde, als AC:O zu benchen. Wer zahlt mir die Überstunden freiwillig?

Wenn du den Index neu aufziehst, kannst du das ja bedenken. War eher ein Hinweis für die Zukunft. Außerdem würdest du Zeit sparen, wenn du endlich mal CapFrameX verwenden würdest. Das neue overlay-basierte Auswerten von n Runs kannst du sofort ablesen und in eine Tabelle schreiben! Teste das mal: Release CapFrameX v1.4.0beta . DevTechProfile/CapFrameX . GitHub

 

[Esenel]

Ich hab beim ersten Start Werte nähe der 90% gehabt, deshalb Renderscale runtergesetzt. Wollte ein CPU-Ergebnis haben.

Du hast Recht, ich muss mein altes Ergebnis revidieren.
Als 100% und 50% Renderscale gleiche Ergebnisse lieferten.

Das ist nun einmal mit OC und 100% RS und dann mit OC und 50% RS.

 

[PCGH_Dave]

Wenn du den Index neu aufziehst, kannst du das ja bedenken. War eher ein Hinweis für die Zukunft. Außerdem würdest du Zeit sparen, wenn du endlich mal CapFrameX vewenden würdest. Das neue overlay-basierte Auswerten von n Runs kannst du sofort ablesen und in eine Tabelle schreiben! Teste das mal: Release CapFrameX v1.4.0beta . DevTechProfile/CapFrameX . GitHub

Anhang anzeigen 1075433

Das sieht in der Tat interessant aus!

 

[HisN]

Du hast Recht, ich muss mein altes Ergebnis revidieren.
Als 100% und 50% Renderscale gleiche Ergebnisse lieferten.

Nicht dass PCGH überall ein Graka-Limit gemessen hat, wenn Dave sagt das er Renderscale auf 100% und AO an gelassen hat.
Ne schnellere Graka als Deine ist ja selbst über die Foren verteilt nur schwer zu finden.

 

[gaussmath]

Das sieht in der Tat interessant aus!

Danke. Eine voll konfigurierbare Ausreißerekennung kommt auch bald.

 

[LastManStanding]

So Herr... CapFrameX

Habe heute zum ersten mal dein Tool genutzt. Meine Ergebnisse mit dem 3900X sind etwas wirr. zumal ich jetzt noch nicht gefunden hatte wo man eine FReste Zeit einstellt für den Run. so habe ich bei dem einen die falsche Taste gedrückt und.... 3-4 Sekunden drüber^^!
ZusätzlichIch habe nicht gemerkt das ich die NPC Details auf der Zweithöchsten Stufe statt höchster hatte...
Jetzt ist mir aber aufgefallen (siehe Bild) mit Maximiertem NPC-Detailgrad habe ich in 5 Durchläufen ca 92-93fps und in einem 85fps- (vielleicht die 2 FF Tabs im Hintergrund) 3 dieser Durchläufe hab ich nur rein gemacht. Das ist aber unlogisch die NPC Detailstufe erhöhen Müsste doch die CPU weiter belasten statt endlasten auch bei geringer auflösung oder nicht?
Naja wie gesagt es war ein 1 Test aber vielleicht interessieren die Ergebnisse dennoch.
Anbei: Die GPU Lief trotz 720p und Auflösungsscaler@50% bei 85-93% also schon Qausi Richtung CPU Limit.

CPU 3900X@ Stock
RAM 3000 CL15-16-16-16@ 3600 CL18-19-18-19-58
1080TI @ 1972Mhz ohne Temperatur Drosslung

 

[Taxxor]

zumal ich jetzt noch nicht gefunden hatte wo man eine FReste Zeit einstellt für den Run.

Sehr schön, dass du bei der comparison direkt die Kontextauswahl gefunden hast, sowie den Screenshot button, daran scheitern doch einige bisher.


Dagegen ist die Einstellung der Aufnahmezeit eigentlich einfacher zu finden, weil es ja insgesamt nur drei Optionen auf der Capture Seite gibt^^

 

[LastManStanding]

ups gesehen schon aber gedanklich nicht umgesetz würde ich sagen Denn den Hotkey daneben hatte ich nämlich geändert
Im Grunde sehr intutiv und einfach dein tool!
2 Versuch würde ich sagen

 

[Taxxor]

Das sieht in der Tat interessant aus!

Um dir mal einen Einblick zu geben, wie die Funktion in der Praxis bei euch aussehen würde:

Dein Wunsch ist, für jede GPU/CPU/wasauchimmer drei Durchläufe zu machen und diese dann zu Mitteln. Dann schaust du dir die drei Durchläufe danach erst mal an, ob da ein zu guter oder zu schlechter Durchlauf dazwischen ist. Dann bliebe dir entweder, es aus Zeitgründen so hinzunehmen, das ganze nochmal zu machen, oder für das Game nur 2 Werte zu nehmen.
Und dann nimmst du dir die ganzen Einzelwerte und erstellst daraus Mittelwerte.

Bei CX stellst du dir die Run History auf die 3 Runs ein(3 ist sowieso default), eventuell noch die Metriken, die du im Overlay sehen willst(aufgezeichnet wird ja sowieso alles) und aktivierst die Aggregation.

Hier hast du dann zwei Optionen:
Ignore= Du machst deine 3 Durchläufe und sobald die durch sind, wird die Datei erzeugt, die die Frametimes dieser 3 Durchläufe am Stück enthält und basierend darauf kannst du dir in CX dann alle Parameter anzeigen lassen, die du möchtest, oder sie auch schon direkt aus dem Overlay abschreiben, wenn dich z.B. sowieso nur den average und den P1 interessiert.

Replace(in der aktuellen Beta noch nicht aktiv) = Du kannst zusätzlich eine der Metriken wählen, die du auf Ausreißer überprüfen möchtest, und einen Prozentwert festlegen, um wie viel diese Metrik vom Median deiner drei Durchläufe abweichen darf, bevor sie als Ausreißer gewertet wird.
Jetzt machst du wieder deine 3 Durchläufe. Sollte dabei ein Ausreißer erkannt werden, wird er im Overlay rot markiert und du kannst einen weiteren Durchlauf machen, der diesen dann ersetzt.
Sobald alles passt, wenn also aufgrund deiner Auswahl keine Ausreißer mehr erkannt werden, wird die Datei erstellt.


Damit du dir die Platte dann nicht mit hunderten Einzelbenchmarks plus den zusammengefassten Dateien zumüllst, hast du auch über eine Checkbox bei den Aggregationseinstellungen die Möglichkeit, die einzelnen Durchläufe generell nicht als Datei abzuspeichern, sondern nur ihre Daten zwischen zu speichern und am Ende nur die zusammengefasste Datei zu bekommen.






Und noch eine Anmerkung zum generellen Unterschied unserer Methode im Vergleich zum Mitteln von drei Durchläufen, deine Meinung dazu würde mich natürlich auch interessieren:
Speziell bei den Perzentilwerten ist das Mitteln aus drei in sich abgeschlossenen Durchläufen eigentlich keine gute Methode um am Ende einen aussagekräftigen Perzentilwert zu erhalten.

Denn ein Perzentilwert ist ja für sich alleine schon kein Mittelwert aus den Daten eines Durchlaufs, wie es der average fps Wert ist, sondern ein fester Punkt innerhalb dieser Daten. Wenn man diese Werte danach einfach mittelt, bekommt man zwar einen Wert, dieser ist aber eigentlich nicht unbedingt repräsentativ für die Gesamtheit der drei Durchläufe.
Angenommen du machst drei Durchläufe und bekommst z.B. einmal 80 und einmal 81 als Perzentil raus, beim dritten Durchlauf hast du aber 1-2 Frames mehr, die ausgerissen sind und dir das Perzentil für diesen Run auf 50 drücken.
Mittelst du die Werte dieser drei runs jetzt, kommst du auf ein Perzentil von 70.

Da wir erst mal alle Frametimes der drei Durchläufe zusammenfassen und dann anhand dieser Daten das Perzentil bestimmen, simulieren wir damit, dass du die Szene wirklich in einem einzigen Durchlauf dreimal abgegangen bist, also als wäre der Weg den du abgehst, dreimal hintereinander vorhanden und deine Aufnahme würde dreimal so lange dauern.
Dabei würden diese 1-2 Frames vom dritten Durchlauf in der Masse der Frames eventuell gar nicht im Bereich des Perzentils liegen und wir hätten dann z.B. einen Wert von 78. Oder aber sie würden einige der unteren Frames der anderen beiden Durchläufe verdrängen und das Gesamt-Perzentil läge bei 65.

Und diese 78 oder 65 wäre eigentlich der "richtigere" Wert, denn das ist genau das Perzentil von drei hintereinander gemachten Durchläufen.

Mit unserem Ansatz, Ausreißer zu erkennen, würde ich mir sowieso das Perzentil nehmen und auf maximal 5% Abweichung abfragen, dann wäre 80 der Median und 50 würde als Ausreißer erkannt werden, den ich wiederholen muss.
Kommen dort dann z.B. 77 raus, dann wäre das Ergebnis nach unserer Aggregation(vmtl. irgendwo zwischen 78 und 80) auch nicht so verschieden vom einfachen Mitteln der drei Einzelwerte, wenn man dort auch vorher solange gemessen hat, bis man drei ähnliche Werte bekommen hat, aber vom Prinzip finde ich unseren Ansatz da doch noch genauer.

 

[LastManStanding]

Ein Richtig geiles tool habt ihr da:
Habs noch mal ausprobiert dieses mal mit der Formatierung aus Post 1:
Was mich wundert bei meinem Ersten Testfeld war ich im Schnitt im 92-93 Bereich jetzt im Ende 80´er fps Bereich.
Alles ist genau gleich. Keine zusätzlichen Hintergrund Programme, Tasks , Settings, Updates (Kaspersky o. Windows, Uplay. alle anderen sind per Nachfrage im Netzwerk Blockiert)! oder es liegt einfach daran das Windows jetzt schon einige Stunden Läuft^^

CPU: AMD Ryzen 3900X@stock
RAM: 2x16Gib 3600MT/s CL 18-19-18-58
Mainboard: Asus Croshair Hero 6 X370 AGESA 1.0.0.3 abba
Grafikkarte: Gigabyte Aorus 1080TI @1972Mhz/5005Mhz
Windows: Win 10 1903
Grafiktreiber: Game Ready 441.08
Chipsatztreiber: AMD Ryzen 1.11.22.454
Bench Tool: CapFrameX 1.4.0 Beta

Game Settings:
Auflösung: 720p
Render Scale: 50%
Settings: maxed out, AA off, FoV 100%

Results: