CapFrameX (CX) - Frametime Capture und Analyse Tool

[PCGH_Raff]

Moin!

Nach vielen Stunden mit diversen 1.5.8er-Builds kann und möchte ich Feedback geben. Grundsätzlich: Geile Arbeit, ganz ohne Zweifel! Was mir aufgefallen ist:

- In Borderlands 3 (DX12) hatte ich mit dem 1.5.8.3 "RC" einen feherlhaften Fps-Counter - der war eingefroren, Messungen waren jedoch möglich. Das ist seit v1.5.8.5 gefixt.
- Verbesserungsvorschlag: Statt "GPU Power (W)" sollte der Eintrag bei Nvidia-Karten "Total Board Power" oder sinngemäß ähnlich heißen, denn das ist nicht der GPU-Power-Wert allein. Bei Radeons habe ich das noch gar nicht gecheckt - da müsste das tatsächlich die GPU-Power sein, denn was anderes lässt sich via API nicht auslesen.
- Wo wir schon bei den Overlay-Einträgen und Sensoren sind: Änderungen bei den anzuzeigenden Dingen gehen verloren, wenn man das Tool beendet. Riecht nach Bug.
- Verbesserungsvorschlag #2: Bei Tool-Neuinstallation sollte die Messdauer direkt auf 20 Sekunden stehen, also PCGH-Standard. Ich verstehe aber, wenn das anderen Testern widerstreben würde.
- Das größte Problem dürfte auch das komplexeste sein: Ich habe in einigen Spielen sehr erratische P1-Werte, etwa in Battlefield 5 und Metro Exodus. Egal, wie lange ich die Spiele "einruckeln" lasse, gerade auf Geforce-GPUs kommen bei quasi-gleichen Average-Werten sehr große Schwankungen beim Perzentil heraus - im harten Grafiklimit, wohlgemerkt. Das ergibt keinen Sinn. Ihr hattet ja erläutert, dass das daran liegt, wie CX die Frames abgreift. Aber müssten diese Bildberechnungszeiten nicht durch die GPU-Wartezeiten "plausibilisiert" werden?

So viel fürs Erste. Der GPU-Marathon geht weiter. @PCGH_Dave, hast du zufällig auch Perzentilschwankungen, die stärker auseinandergehen als üblich? Im CPU-Limit ergibt das zumindest Sinn ...

MfG
Raff

 

[PCGH_Dave]

Perzentil-technisch ist mir bei alles erste Sahne, ich nutze aber noch die 1.58 Rev. 3, die aktuelle Version haue ich mir erst heute auf das System. Ich konnte das gleiche bei Borderlands 3 feststellen.

Ich hätte noch Feedback für zwei Quality of Life Verbesserungen:
Wenn ich im Tool einen neuen Ordner erstelle, muss ich mit der Maus auf "Create" klicken, damit der Ordner erstellt wird. Schöner wäre es an dieser Stelle, wenn CX die Enter-Taste auf der Tastatur annehmen würde. Das zweite wäre: Wenn ich einen Kommentar eintippe, muss ich dazu in das untere Eingabefeld gehen. Wäre es nicht cool, wenn man (nur den Kommentar) in der Zeile oberhalb (also da, wo sich die einzelnen Messungen befinden) direkt eintippen könnte? Also eine Art Textfeld zum beschreiben, was sich innerhalb der Kommentar-Sektion der Messungen befindet, was sich erst nach einem Mausklick öffnet/sich beschreiben lässt.

Man, lässt sich blöder erklären, als es eigentlich gemeint ist ^^ Aber ich denke, es sollte klar sein, was ich meine.

 

[blautemple]

- Das größte Problem dürfte auch das komplexeste sein: Ich habe in einigen Spielen sehr erratische P1-Werte, etwa in Battlefield 5 und Metro Exodus. Egal, wie lange ich die Spiele "einruckeln" lasse, gerade auf Geforce-GPUs kommen bei quasi-gleichen Average-Werten sehr große Schwankungen beim Perzentil heraus - im harten Grafiklimit, wohlgemerkt. Das ergibt keinen Sinn. Ihr hattet ja erläutert, dass das daran liegt, wie CX die Frames abgreift. Aber müssten diese Bildberechnungszeiten nicht durch die GPU-Wartezeiten "plausibilisiert" werden?

So viel fürs Erste. Der GPU-Marathon geht weiter. @PCGH_Dave, hast du zufällig auch Perzentilschwankungen, die stärker auseinandergehen als üblich? Im CPU-Limit ergibt das zumindest Sinn ...

MfG
Raff

Mit Battlefield V tue ich mich in der GPU Szene auch extrem schwer konsistente P1 zu erzeugen. Bei der CPU Szene klappt es deutlich besser, aber auch nicht ideal. Da brauche ich hin und wieder auch ein paar Versuche. Deswegen bin ich mittlerweile auch etwas davon abgerückt das zum benchen zu nehmen.

Metro Exodus kann ich heute Abend nach der Arbeit mal gegenprüfen. Nutzt du noch die Taiga Szene?

 

[PCGH_Raff]

Jau! Zwei Jahre benchen wir Metro schon, daher folgt jetzt die Abschiedsvorstellung - erstmals mit "Extreme" Shader-Details anstelle von Ultra, um den Grafikkarten richtig einzuheizen. Wäre super, wenn du mal schauen könntest.

MfG
Raff

 

[blautemple]

Jau! Zwei Jahre benchen wir Metro schon, daher folgt jetzt die Abschiedsvorstellung - erstmals mit "Extreme" Shader-Details anstelle von Ultra, um den Grafikkarten richtig einzuheizen. Wäre super, wenn du mal schauen könntest.

MfG
Raff

Ich habe witzigerweise gestern Metro Exodus in Extreme Details + RT Ultra in WQHD getestet und zu meinem erstaunen lief das sogar konstant mit über 60fps als ich etwas durch die Taiga gelaufen bin. Mit der 2080 Ti war da nicht mal im Ansatz dran zu denken.

 

[PCGH_Raff]

Hehe, ja, Ampere hat da ordentlich zugelegt - das Spiel nimmt die Verbesserungen dankbar entgegen. Wobei RDNA 2 auch ziemlich flott läuft. In Ultra HD stirbt mit "Extreme" aber immer noch alles ... sogar ohne Raytracing (~50 Fps mit einer 3090, ~43 Fps mit einer 6900 XT).

MfG
Raff

 

[gaussmath]

- In Borderlands 3 (DX12) hatte ich mit dem 1.5.8.3 "RC" einen feherlhaften Fps-Counter - der war eingefroren, Messungen waren jedoch möglich. Das ist seit v1.5.8.5 gefixt.

Sonst halt zur Not den Redetect-Button auf der Capture Seite verwenden. Bei Bedarf können wir einen Hotkey dafür rein operieren.

- Verbesserungsvorschlag: Statt "GPU Power (W)" sollte der Eintrag bei Nvidia-Karten "Total Board Power" oder sinngemäß ähnlich heißen, denn das ist nicht der GPU-Power-Wert allein. Bei Radeons habe ich das noch gar nicht gecheckt - da müsste das tatsächlich die GPU-Power sein, denn was anderes lässt sich via API nicht auslesen.

Ja, der Vorschlag ist gut. Was AMD mit der GPU Power meint, ist immer noch ein Rätsel. Es gibt noch die Core Power, die den reinen Chip abdeckt, könnte sogar ohne Uncore Gedöns sein. Es ist alles nicht gerade schön, weil viel zu intransparent. Fragt doch mal bei AMD nach und nehmt uns mit ins CC.

- Wo wir schon bei den Overlay-Einträgen und Sensoren sind: Änderungen bei den anzuzeigenden Dingen gehen verloren, wenn man das Tool beendet. Riecht nach Bug.

Du musst schon den Speicher-Button drücken Raff. Wir haben das ausgiebig getestet. Nicht, dass irgendein Virenscanner dazwischen funkt bei euch.

- Verbesserungsvorschlag #2: Bei Tool-Neuinstallation sollte die Messdauer direkt auf 20 Sekunden stehen, also PCGH-Standard. Ich verstehe aber, wenn das anderen Testern widerstreben würde.

Ist halt ein kritischer Punkt. Bei ComputerBase sind's 25 Sekunden. Irgendwelche Fortnite Spieler wollen auch mal 20 Minuten aufzeichnen. Aber, was ihr jetzt machen könnt mit der neuen Konfig: kopiert euch die Konfigdatei unter MyDocuments\CapFrameX\Configuration auf das neue System.

- Das größte Problem dürfte auch das komplexeste sein: Ich habe in einigen Spielen sehr erratische P1-Werte, etwa in Battlefield 5 und Metro Exodus. Egal, wie lange ich die Spiele "einruckeln" lasse, gerade auf Geforce-GPUs kommen bei quasi-gleichen Average-Werten sehr große Schwankungen beim Perzentil heraus - im harten Grafiklimit, wohlgemerkt. Das ergibt keinen Sinn. Ihr hattet ja erläutert, dass das daran liegt, wie CX die Frames abgreift. Aber müssten diese Bildberechnungszeiten nicht durch die GPU-Wartezeiten "plausibilisiert" werden?

Alle bekannten Frametime Tools setzen auf PresentMon auf. Das hat seine Gründe. Es nützt nichts, wenn die Frametimes durch diverse Buffer geglättet werden. Hier ein Extrembeispiel, das aktuelle The Medium:

[Aufnahme und Grafik von @Darkearth27]
@PCGH_Phil

Durch die Wartezyklen erhält man die tatsächliche GPU-Leistung im GPU-Limit. Battlefield und Metro sind auch spezielle Kandidaten. Eure GPU-Szene für Battlefield ist eigentlich ungeeignet. Ich bekomme da auch keine Session zusammen innerhalb der Fehlertoleranz. Ich würde die Szene ändern und zwar eine Station weiter, wenn man den Hügel wieder runtergeht.

Bei Metro meinst du die Taiga Szene? Ist auch semioptimal. Auf jeden Fall immer neu laden ab einem festen Ladestand und die Aufwärmphase kurz halten. Die Szene ist sehr dynamisch wegen der Tageszeit...

Wenn ich im Tool einen neuen Ordner erstelle, muss ich mit der Maus auf "Create" klicken, damit der Ordner erstellt wird. Schöner wäre es an dieser Stelle, wenn CX die Enter-Taste auf der Tastatur annehmen würde.

Kein Thema, bauen wir ein.

Das zweite wäre: Wenn ich einen Kommentar eintippe, muss ich dazu in das untere Eingabefeld gehen. Wäre es nicht cool, wenn man (nur den Kommentar) in der Zeile oberhalb (also da, wo sich die einzelnen Messungen befinden) direkt eintippen könnte? Also eine Art Textfeld zum beschreiben, was sich innerhalb der Kommentar-Sektion der Messungen befindet, was sich erst nach einem Mausklick öffnet/sich beschreiben lässt.

Könnte man machen. Dann müssten wir mal schauen, wie man das mit dem Speichern macht. Enter-Taste oder erwartet man, dass das automatisch passiert?!

 

[PCGH_Dave]

Sollte dann schon automatisch speichern, würde ich vorschlagen. So ein wenig, wie ein Feld in Excel. Doppelklick drauf zum beschreiben und wenn man wo anders hinklickt, bleibt das Geschriebene einfach drin. Enter-Taste sollte aber auch gehen, instinktiv drückt man nach der fertigen Eingabe ja auf Enter.

 

[PCGH_Phil]

Danke für die Infos.

In Battlefield V hab ich mich beim letzten Benchen auch ganz schön schwer getan (leerer MP-Server Rotterdam, Conquest Large", brauchte da auch eine ganze Reihe Anläufe und hab obendrein aus 5 Messungen selektiert. Gefühlt läuft das unrunder als früher, wobei ich das in letzter Zeit sehr wenig gebencht habe. Das letzte Mal ist schon ein Weilchen hin und das davor noch viel, viel länger... vielleicht spinn ich mir das also auch nur zurecht. Es läuft jedenfalls zumindest auf der MP-Map nicht wirklich super-smooth (auch nicht ohne RT).

The Medium ist echt eine Pest, was die Ruckelei angeht^^. Der erste Lauf ist immer komplette Hölle, aber danach geht's erst richtig los. Das lässt beim Auflösungswechsel auch gern mal den Speicher absaufen (zum Glück geht der Neustart schnell).

Ich find's aber generell gut, dass das Tool so genau aufzeichnet, auch wenn man dann vielleicht ein paar Messungen zusätzlich machen muss, bis die sich in vielleicht etwas erratisch laufenden Spielen weitestgehend decken. Das belegt ja gerade auch die unruhige Performance eines Spiels und obendrein kann man in CapframeX ja praktischerweise direkt die Frametimes vergleichen, um zu sehen, ob die Messungen passen... Wenn ich mich zurück erinnere, wie ich das immer mit Excel gemacht habe... da hat's Minuten Tabellen-Gehampel mit tausenden Werten gebraucht, bis man erstmal sehen konnte, ob man die Werte überhaupt gebrauchen kann^^

Der Kommentar-Vorschlag von Dave ist gut, btw. Ich nutze die Kommentare auch ständig, das Eintragen ist allerdings minimal umständlich (mit C&P geht's auch ziemlich flott, aber es ist ein bisschen Verrenkung).

Gruß,
Phil

 

[gaussmath]

@PCGH_Raff @PCGH_Dave @PCGH_Phil

Mal ne grundsätzliche Frage. Verwendet ihr denn jetzt alle die overlay-basierte Runhistorie mit Ausreißererkennung, um die Runs auf Eignung zu überprüfen? Alternativ gibt's ja noch die Aggregation Seite, wo ihr das manuell machen könnt. Und dann gibt's noch die Möglichkeit, die Anzahl der Runs und die Fehlertoleranz zu erhöhen. Statistisch betrachtet, muss eine höhere Fehlertoleranz mit mehr Runs kompensiert werden.

Ich habe auch noch ein anderes Anliegen. CapFrameX hat eine Approximation der Input Latenz. Wir wissen nicht wirklich, wie gut das ist. Könnt ihr da nicht mal mit dem Nvidia Tool gegenprüfen? Man könnte ja sogar einen Artikel damit gestalten. Ich fänd's interessant! Falls ihr das macht, bitte vorher bei mir melden, damit wir eine Methodik festlegen können.

 

[PCGH_Dave]

Was die erste Sache angeht:
Ich messe nach wie vor mit drei Runs mit max. fünf Prozent Toleranz bei P1. Damit fahre ich sehr gut, da jeder Run, den ich auch selbst aussortieren würde, vom Tool korrekt als Fehler erkannt wird. Bei manchen Spielen sind wirklich mehrere Runs nötig, vor allem bei jenen, welche die Shader während des Spielens kompilieren. Ist aber halb so schlimm, inzwischen kenne ich meine Pappenheimer

 

[Taxxor]

- Verbesserungsvorschlag: Statt "GPU Power (W)" sollte der Eintrag bei Nvidia-Karten "Total Board Power" oder sinngemäß ähnlich heißen, denn das ist nicht der GPU-Power-Wert allein. Bei Radeons habe ich das noch gar nicht gecheckt - da müsste das tatsächlich die GPU-Power sein, denn was anderes lässt sich via API nicht auslesen.

Das hatte ich in der News auf unserer Webseite ja auch schon erläutert, seit kurzen gibt HWInfo für die Vega und Navi Karten auch das hier aus:

Die TGP wäre bei der Karte ca 200W und das würde auf Memory Power + Core Power passen, die Total Board Power ist 250W und genau das gibt HWInfo auch für Socket Power bzw PPT aus.
Ohne dass wir was verändert haben an den Sensoren, werden für eine 6800XT jetzt auch mit unserem Sensor 280W und mehr ausgelesen, die TGP dieser Karte liegt aber nur bei 235W, das wäre das was vorher als "ASIC Power" ausgegeben worden wäre.
Hätte ich meine 5700XT noch, könnte ich das auch selbst mal gegenchecken, denn hier wurden immer 185W ausgegeben, was der TGP entspricht. Theoretisch müsste der Sensor nun 215-225W ausgeben.

Also es scheint jetzt schon etwas anderes zu sein, so ganz zu passen scheint es aber nicht, denn wenn man FurMark laufen lässt, erwartet man hier 300W und nicht ~280W, daher gilt erstmal weiterhin am besten nur Nvidia mit Nvidia und AMd mit AMD zu vergleichen.

Was die Bezeichnung angeht, wir schreiben auf der Analysis ja auch CPU Power hin und meinen damit die gesamte Package Power, auf der Sensor Seite sind die Sachen dann auch genauer benannt. Der Sensor für Nvidia wird hier aber übrigens auch genau mit "GPU Power" ausgegeben. Mit GPU meinen wir dann auch die Karte als solches. Ich würde dann eher etwas differenziertes bei AMD angeben, GPUZ schreibt ja z.b. auch "(Chip only)" dran.
Wobei es wie oben zu sehen, da ja gerade nicht so eindeutig ist, was man nun genau für einen Wert bekommt.

Der Kommentar-Vorschlag von Dave ist gut, btw. Ich nutze die Kommentare auch ständig, das Eintragen ist allerdings minimal umständlich (mit C&P geht's auch ziemlich flott, aber es ist ein bisschen Verrenkung).

Ich ertappe mich selbst auch öfter mal dabei, wie ich in der Liste in die Kommentarspalte klicke und versuche was zu tippen, also ja das sollten wir echt mal angehen^^

Wenn du allerdings sowieso immer den gleichen Comment mit C&P einträgst, kannst du bis dahin auch einfach mit Shift-Klick meherere Einträge aus der Liste markieren, dann gelten die Dinge die du unten eintippst für alle.

 

[gaussmath]

Die anderen können machen, was sie wollen, ich kümmere mich erstmal um den Dark Mode...

 

[Taxxor]

Die anderen können machen, was sie wollen, ich kümmere mich erstmal um den Dark Mode...

@PCGH_Dave
Das Editieren der Comments aus der Record Liste raus(Übernehmen bei Enter sowie beim Verlassen der Zelle) und das Erstellen eines Subfolders mit Enter zusätzlich zum Button ist gerade in die künftige 1.5.9 rein gekommen

 

[gaussmath]

Nur, dass ich ne 1.6.0 erstellt habe...

 

[Taxxor]

Gut, dann ists jetzt eben in der 1.6.0^^

 

[blautemple]

@PCGH_Raff
Ich habe die GPU Szene gerade mal mit der 3090 getestet:

Die P1 und P0.2 sind bei mir auch völlig inkonsistent.

 

[gaussmath]

Die P1 und P0.2 sind bei mir auch völlig inkonsistent.

Wie hast du die Szene getestet? Nach jedem Run neugeladen oder zurücklaufen und dann wiederholen?

 

[blautemple]

Wie hast du die Szene getestet? Nach jedem Run neugeladen oder zurücklaufen und dann wiederholen?

Immer neu geladen.

 

[gaussmath]

Ok, das ist ja eine ganz andere Szene als ich dachte. Leider muss man auch erstmal die Viecher beseitigen, um die Runs ungestört machen zu können. Hier meine Werte ohne Neuladen.