Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Und was bringen dir "gleichmäßge" FPS, wenn der Zeitversatz zwischen Ingame-Zeit und Realer-Zeit dadurch noch weiter auseinander läuft?
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Also Hardwareluxx hat angekündigt, die neue Methode nicht zu nutzen. Denn zum einen werden die Testsysteme die für das Videocapture benötigt werden deutlich teurer und zum anderen wird der Arbeitsaufwand für das Erstellen von Benchmarks deutlich größer. Da kann ich ihnen nicht verübeln, dass sie auf die "traditionelle" Art weiter benchen.
Und ganz ehrlich, als grobe Richtlinie reichen mir persönlich die FRAPS Werte vollkommen aus, auch wenn FCAT genauer sein mag.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Womöglich genauer....

Nochmal. Wir wissen rein gar nichts darüber, was das Tool eigentlich macht, und bei dem Detailgrad, den man hier betrachten will, kann man einfach nicht mehr Pi-mal-Daumen arbeiten...
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Wobei ich die Argumentation(!=die Entscheidung) vom Luxx über den Preis nicht so ganz nachvollziehen kann.
Für das Datenaufkommen sollte ein RAID 0 von normalen Festplatten reichen. Die spontane Suche nach einer Capturekarte brachte einen Preis von 160€:
StarTech PEXHDCAP
Hardwareencoding auf ein komprimiertes Format ist nach meinem Verständnis der hier durch zu führenden Analyse der aufgenommenen Bilder auch kein Problem(den harten Farbübergang komprimiert auch der schärfste Codec nicht weg) .

Und ein System mit i5 "Aussenrum" sollte eine gut sortierte Hardwareredaktion auch noch zusammen bekommen.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Womöglich genauer....

Sag ich ja.;)

Nochmal. Wir wissen rein gar nichts darüber, was das Tool eigentlich macht, und bei dem Detailgrad, den man hier betrachten will, kann man einfach nicht mehr Pi-mal-Daumen arbeiten...

Ich rede ja auch nur davon, dass das Benchen mit FCAT aufwendiger ist, und die Testsysteme teurer sind.

Wobei ich die Argumentation(!=die Entscheidung) vom Luxx über den Preis nicht so ganz nachvollziehen kann.

Doch, das kann ich schon nachvollziehen.

Für das Datenaufkommen sollte ein RAID 0 von normalen Festplatten reichen. Die spontane Suche nach einer Capturekarte brachte einen Preis von 160€:

Ich habe RAID mit "normalen" Festplatten immer mal wieder ausprobiert. Ganz großer Mist, kann ich da nur sagen. Alles andere als zuverlässig und meilenweit davon entfernt, die Geschwindigkeit von SSDs zu erreichen.
 
Zuletzt bearbeitet:
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Wer mal den Unterschied zwischen den einzelnen Methoden sehen will:
Challenging FPS: Testing SLI And CrossFire Using Video Capture : Frames Per Second: Why The World Was Wrong

Der Launch der Geschichte war schon am 27.03.2013. Am Ende ist das alles zwar ein interessanter Ansatz, aber eigentlich auch nicht allein selig machend und schon gar nicht absolut neu. Zumal die benötigte Hardware recht gut ins Kontor haut.

Ich würde diesen Artikel gern auf eurer deutschen Seite lesen.;)

@ Topic: Das Fraps an der falschen Stelle misst, ist natürlich blöd. Da FCAT aber nicht von einer neutralen Quelle stammt stehe ich dessen Verwendung eher skeptisch gegenüber. Bin mal gespannt wie AMD auf die Geschichte reagiert.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Und ganz ehrlich, als grobe Richtlinie reichen mir persönlich die FRAPS Werte vollkommen aus, auch wenn FCAT genauer sein mag.

Ich kapier immer noch nicht, warum FCAT für eine Bewertung sinnvoller ist.:ugly:, dass es genauer auf Treiberoverheads eingeht ist klar.
Was ich in FCAT sehe oder was ich in Fraps sehe oder umgekehrt ist doch im Prinzip dasselbe.
Man misst vor dem Present und bekommt den Zeitabstand zwischen Bild A und B was nacheinander in die Pipeline geschickt wurde.
Wenn Bilder ausgelassen werden ( weil sie zu schnell fertig sind) oder Bilder zu lange brauchen, löst das einen Fetten Ausreißer aus und auch zurecht, denn wenn irgendeine unregelmäßigkeit auftritt, kann das auch subjektiv bemerkbar sein, je nach dem wie hoch die FPS sind.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

FCAT (o.ä.) sollte imho FPS-Messungen vollkommen ablösen. Was bringen mir hohe FPS wenn diese total unregelmäßig beim Monitor ankommen. Besonders groß ist der Unterschied natürlich bei SLI-/Crossfire-Lösungen aber auch mit einzelnen Grakas kann's schon deutliche Abweichungen von Frame zu Frame geben.

Zur Darstellung:
Um verschiedene GPUs schnell miteinander vergleichen zu können könntet ihr 3 Werte angeben:
-Durchschnitt oder Median
-"90% Perzentil"
-"99% Perzentil"
Umgerechnete FPS-Zahlen könnte man in Klammern dahinter angeben um die Umstellung auf das neue System zu erleichtern.

So sehe ich das auch.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Wie wäre es erstmal 100% zu klären, wie die Daten generiert werden, und wie die Zahlen zu interpretieren sind?
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Aha, Nvidia stellt PCGH Equipment für eine neue Testmethode zur Verfügung und wer das zumindestens für fragwürdig hält, ist gleich ein Fanboy!?

Tolle Argumentationskette und toller Journalismus! Ich gratuliere!

Ja, da stolpert man gleich über den ersten Satz. Bin mal gespannt ob das eingesetzt wird und ob die grünen Balken länger werden.

Es grünt so grün......:ugly: ....wenn dieser sche*** Winter endlich mal vorbei ist :D .
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Gut das Nvidia weiterhin an der Wiedergabequalität arbeitet.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Ganz ehrlich? Ich hab lieber etwas in meinem Hardware-Mag, was ich selber auch nachvollziehen und ggf. zu Hause benutzen kann um zu vergleichen.
Wenn ihr Euch son Testsystem ZUSÄTZLICH aufbaut, ist das Eure Sache und sicher toll. Aber ich denke, ich rede nicht nur für mich, wenn ich sage, dass Eure Leser auch ihre Werte mit den Euren vergleichen und als Orientierung nehmen. Ganz ehrlich, ich hab in der Arbeit genug mit Statistik zu tun -ich muss keine "Überschreitungswarscheilichkeit" in meinem Hobby haben.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Oh man, diese verschwörungstheoretiker hier wieder.

AMD und auch nVidia haben beide bestätigt, dass die mit Fraps gemessenen Frame Times nicht das wiedergeben, was der User am Monitor zu sehen bekommt, da Fraps vor D3D und dem Treiber ansetzt.
Was bedeutet, dass sämtliche Optimierungen, die die Hersteller in den Treiber vornehmen weniger gut ersichtlich sind bzw. Fraps einbrüche sieht, wo eigentlich keine sein dürften oder sich auf die Bildausgabe gar nicht auswirken würden. Fraps ist ein indikator, aber er verfälscht nunmal das Ergebnis und zeigt nicht das an, was wirklich am Ende rauskommt.

Das nVidia Tool macht nun nichts anderes, als am anfang der Rendering Piepeline die Frames mit Farbbalken zu codieren. Jedes Frame bekommt immer ne andere Frabe. Das ist genauso ein Overlay wie Fraps oder MSI Afterburner oder sonst was. Nun wird mit ne stink normalen Capture Karte die Bildausgabe am Ausgang der Graikkarte aufgezeichnet. Und zwar genau in dem 60 Hz raster, in dem ein Monitor Bilder annimmt und darstellt.

Die zweite Komponente des nVidia Tools ist nun nur dazu da, das mit der Capture Karte aufgenommene Video in nen anschaulichen Graph zu convertieren. Es werden einfach nur die Farbbalken in den Bildern analysiert und daraus die Frametimes berechnet. Das ganze könnte man auch manuell mit Stift, papier und Taschenrechner machen. Das nVidia tool ist dafür nicht notwendig.

Einmal halbwegs verstanden ist das eine absolut sinnvolle und vollständig nachvollziehbare Methode zur Frametime Messung, da sie exakt das anzeigt, was der User am Bildschirm zu sehen bekommt. Das kann praktisch auch gar nicht manipuliert werden, die einzige Methode zu "manipulieren" ist, die Frametimes zu verbessern. Und genau das ist ja auch das ziel, dass die GPU Hersteller und vor allem wir Spieler haben wollen. Bessere Frametimes = flüssigeres Bild bei gleicher FPS zahl.


Für uns user wird dabei nichts komplizierter. Wir haben vorher Frametimes in benchmarks gesehen und wir werden sie auch un zukunft sehen. Mit dem Unterschied, dass die Werte nun korrekt sind.
Und jeder wird es wohl schaffen, so nen Graphen "auszuwerten". Gibt ja nicht viel zu sehen, außer dass er geradelinig und regelmäßig ist oder aber Spitzen aufweist.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Du hast das "Problem" nicht verstanden. Es geht darum, das man nur die farbliche Markierung durchiteriert, also ohne echten Timestomp arbeitet. Das eröffnet die Möglichkeit, "bessere" Frametimes und "observed FPS" zu bekommen, indem ich schilcht nen Frame zurückhalte, bevor ich es ausgebe... Das heißt, ich erhalte einen Outputlag. Sprich ich seh das neuste Bild in so einer Situation bis zu wahrscheinlich einem Bild später erst.

Du wirst genug Leute finden, die das als inakzeptabel erarchten werden. Stichwort Starcraft, CS, BFx usw usw Ligaspieler. Du hast damit nämlich einen Reaktionsnachteil im Vergleich zu jemandem, der den Frame eben ohne Verzögerung angezeigt bekommt.

Das wird aber nicht thematisiert, und unter den Teppich gekehrt. Es ist wohl davon aus zu gehen, dass sich nVidia ihren "geilen" Frametimes genau durch so ein Vorgehen erkauft. Wie das zu bewerten ist, sollte jeder selbst entscheiden. Da es aber eben, welch ein Zufall, nicht in den Messungen berücksichtigt wird, ist die ganze Sache eben voll fürn Arsch....

Dabei wäre es ein leichtes eben diese Zeitabhängigkeit mit rein zu bringen, wenn man denn wollte. Will man aber sicherlich nicht.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Das ist aber wieder ein anderes Problem, das beide Hersteller betreffen wird. AMD will sogar ne Art Regler in den Treiber einbauen, womit man auswählen kann, ob man lieber geringe Eingabe Latenz oder gleichmäßigere Frametimes haben möchte. Das verzögern der Frames ist aber nur bei Multi GPU Systemen entscheided, da laut Anandtech AMD z.B. gesagt hat, dass das optimieren der Frametimes auf Single GPU Karten teils sogar die FPS verbessert hat, da quasi der gesamte rendering vorgang durch das aufspüren und beseitigen von Flaschenhälsen, verzögerungen und unnötigen "pausen" optimiert werden konnte, was auch die allgemeine Performance in dem entsprechenden Spiel verbesserte. Hier gabs also teils mehr FPS und bessere Frametimes mit dadurch sogar verbesserter Eingabelatenz. Also ganz ohne verzögerung von Frames.

Und damit sind zwei Fliegen mit einer Klappe geschlagen. Mehr Leistung dürfte das wichtigste sein, was AMD und nVidia erreichen wollen. Wenn das durch optimieren der Frametimes passiert, könnte es doch nicht besser laufen.

Deshalb kann man das Problem nicht verallgemeinern. Bessere Frametimes können also durch verzögern von Frames oder durch optimieren des renderings auftreten.

Nichts desto trotz hast du natürlich recht, dass erhöhte Latenzen sehr unschön sind. Trotzdem sind mir die Frametimes die sichtbares ruckeln erzeugen können wichtiger, als ne minimal verzögerte Eingabe. (Den Input lag durch vsync spüre ich z.B. fast gar nicht.)

Fakt ist aber nach wie vor: Frametimes sind wichtig und FCAT ist die aktuell beste Methode sie zu messen.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Ja, sie ist aktuell die beste Methode, aber noch immer mit ziemlich großen Fragezeichen und unzulänglichkeiten versehn. So wie aktuell der Stand ist, kann man es einfach schon wegen den mangelnden Informationen, was denn da genau passiert schlicht in die Tonne treten meiner Meinung nach. Das hat den gleichen Wahrheitsgehalt wie die Verbrauchsangaben nach XY-Norm bei Autos....

Das man echte Flaschenhälse gefunden hat bei der Analyse der Daten ist natürlich schön, es kommt aber wieder darauf an, wie diese denn nun gelöst wurden:

  • Problem/Fehler im Treiber gefixed -> gut
  • Aufbau des Treibers verbessert, womit man weniger Ressourcen braucht -> gut
  • Neuer Algorithmus etc -> gut
  • Code von Games "gefixed" bzw gehacked -> SUPER SCHLECHT
Warum das letzte schlecht ist? Ganz einfach, weil es nur die Sympthome kurriert, und nicht die Ursache, also hier z.B. ein Fehler des Gamedevelopers. Damit verbessert sich für die Zukunft halt genau 0. Eher das Gegenteil! Die Developer wissen: "Ach nVidia und AMD werden sich schon darum kümmern, wenn es Probleme gibt, also gogo Jungs, macht mal was anderes, Zeit ist Geld!!!"


Entwickler müssen da einfach in die Verantwortung genommen werden, ansonsten ist das wie ne Seuche, die sich ausbreitet... Es wird so viel geschlampt, das ist echt nicht mehr schön. Da brauch ich ganz sicher nicht noch so was dazu...
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Jedenfalls freut es uns, dass Nvidia sich die Mühe gemacht hat, die Performance von Grafikkarten mit Hilfe von wissenschaftlich untermauerten Methoden zu messen.
Wenn ich das schon lese, dann bekomme ich das :kotz::daumen2:

Da ist absolut NICHTS wissenschaftlich dran. Das ist ne beleidigung für jeden der wirklich wissenschaftlich arbeitet. Das Ding ist so weit weg von wissenschaftlich, wie es nur geht. Wer seine wissenschaftlich arbeitet, erklärt was er macht, und wie er es macht, und verheimlicht nicht so viel wie irgend möglich... :daumen2:
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Solang der Treiber "irgendwas" einfärbt weiß man nie ob jetzt wirklich aufeinander folgende Frames eingefärbt wurden oder z.B. jedes Frame zwei Farben bekommt("juhu, doppelte FPS !!!11elf").

Imho ließen sich zwei Fliegen mit einer Klappe schlagen, in dem man das ganze nicht über ein GPU-orientiertes Tool, sondern in Zusammenarbeit mit den Entwicklern über die Engine löst. Es sollte nun wirklich kein großer Aufwand sein, ein Spiel im Benchmarkmodus für jeden zweiten Frame den Zeilenanfang anders einzufärben. Und dieses Verfahren wäre dann auch unabhängig von sämtlichen Grafikakrten und vor allem kann es den Renderprozess nicht nachträglich stören.


Viel interessanter als eine ggf. etwas genauere Erfassung der Frametimes (wie groß sollen die Variationen in der Zeitspanne zwischen der Vollendung eines Bildes -erfasst via fcat- und der Anforderung des nächsten Bildes -erfasst via fraps, etc.- denn bitte schön sein? Schon der Abstand sollte minimal sein, weil er 100% verschenkte GPU-Leistung repräsentiert, also gibts da auch nicht viel, was variieren könnte) finde ich aber, dass endlich mal wieder jemand Percentile ins Gespräch bringt. Davon hat man seit PCGH-Spielbarkeitsanalyse, die am mangelnden Leserverständnis scheiterte, nichts mehr gehört (ausgenommen die sich ewig wiederholenen Anregungen eines gewissen Moderators :ugly: ) und stattdessen weiterhin die wenig informativen avg. fps und die riskanten min. fps vorgesetzt bekommen. Von Multi-GPU-Vergleichen mal ganz zu schweigen.
 
AW: Nvidia FCAT: Neue Messmethode für Spieleleistung - die Hintergründe

Jup, das wäre die Optimallösung.

Das wirst du aber kaum realisiert bekommen, weil die Hersteller dafür x-Zeilen Code einfügen müssen, und da muss ein Programmierer dann eben y Stunden dran sitzen, um das so zu machen, das nichts kaputt geht usw usw.

Ganz abgesehen davon haben die Entwickler auch gar nicht den Anreiz so etwas JETZT zu machen. Wenn du glück hast, vielleicht in 2-3 Jahren, mit einer neuen Engine. Man könnte ja ansonstne vielleicht sehen wie schlecht die Engine ist :-_-:
 
Zurück