FAHBench - sinnvoll oder nicht

PCGH_Carsten

Ex-Redakteur
Moin!

Nachdem das verlässliche und vergleichbare Benchmarking bei Folding@Home immer einen ziemlichen Aufwand darstellte, gibt es ja nun seit einiger Zeit sowohl einen halbwegs vernünftigen OpenCL-Pfad als auch das auf den ersten Blick praktische Programm FAHBench.

Meine Frage nun: Hieltet ihr Vergleichsbenchmarks mit diesem Tool für sinnvoll oder sind die Ergebnisse in euren Augen nutzlos?

Für mich am einfachsten zu überschauen wäre es, wenn alle, die dafür sind, auf „gefällt mir“ klicken und alle die das nicht so prall finden, einen Kommentar hinterlassen mit einer kurzen Begründung - THX!
 
Meine Frage nun: Hieltet ihr Vergleichsbenchmarks mit diesem Tool für sinnvoll oder sind die Ergebnisse in euren Augen nutzlos?

Für aktuelle Grafikkarten der AMD GCN Serie ist der Bench noch nicht zu gebrauchen, da es noch nicht möglich ist den zu berechnenden Aufgabenbereich ( z.b. Core 17 statt Core 16 ) für die Graka auszuwählen, geschweige denn ist Core 17 noch nichtmal im Bench 1.12 vorhanden.
Hinzu kommt das die Karten mit aktuellem Treiber ( 13,5 beta2 oder 13,4 Whql) bei Core 16 (mittlerweile völlig veraltet für aktuelle AMD Karten) nicht voll ausgelastet werden, dies ist erst mit Core 17 oder ein Downgrade auf 12.4 Treiber+ SDK 2.7 der Fall.
Derzeit liegt die Kartenauslastung mit aktuellen Treiber + AMD SDK 2.8 beim Bench und Core 16 bei max 92%, ganz zu schweigen von der kaum vorhandenen Core Unit Auslastung.

Core 17 (OpenMM 5.0) macht da 100% , wurde aber weil es sich noch im Beta Status befindet auf unbestimmte Zeit erstmal eingestellt, und ist im Bench noch nicht vertreten. Zudem steht ein Wechsel auf OpenMM 5.1 an was eine 2fache Faltgeschwindigkeit zufolge hat.
Daher legen wir auch nicht allzuviel Wert auf den Bench, weil er einfach das Falterverhalten der kommenden und derzeitigen Wu,s nicht wiederspiegelt.
Derzeit ist meine 5770 deutlich sparsamer und flotter mit Core16 unterwegs als die HD7970. Solange dies nicht geändert wird ist der Bench völlig unbrauchbar, und eignet sich nicht als Benchmarkvergleich.
HD5770 Core 16
Folding@Home HD5770 Core16 .JPG

HD7970 Core 16 aktueller Treiber
Folding@Home HD7970 Core16 .JPG

HD7970 Core 17 aktueller Treiber
Folding@Home  HD7970 1100mhz.JPG
 
Zuletzt bearbeitet:
Habe Fahbench heute zum ersten mal ausprobiert, naja: Ich würde keine Vergleiche mit diesem Tool ziehen wollen, warum auch immer....:daumen2:
Und meine Server kann ich damit nicht benchen, da Linux mit Fahbench nicht funktioniert, also etwas unpraktisch:daumen2:
 
Zuletzt bearbeitet:
Für aktuelle Grafikkarten der AMD GCN Serie ist der Bench noch nicht zu gebrauchen, da es noch nicht möglich ist den zu berechnenden Aufgabenbereich ( z.b. Core 17 statt Core 16 ) für die Graka auszuwählen, geschweige denn ist Core 17 noch nichtmal im Bench 1.12 vorhanden.
Hinzu kommt das die Karten mit aktuellem Treiber ( 13,5 beta2 oder 13,4 Whql) bei Core 16 (mittlerweile völlig veraltet für aktuelle AMD Karten) nicht voll ausgelastet werden, dies ist erst mit Core 17 oder ein Downgrade auf 12.4 Treiber+ SDK 2.7 der Fall.
Derzeit liegt die Kartenauslastung mit aktuellen Treiber + AMD SDK 2.8 beim Bench und Core 16 bei max 92%, ganz zu schweigen von der kaum vorhandenen Core Unit Auslastung.

Core 17 (OpenMM 5.0) macht da 100% , wurde aber weil es sich noch im Beta Status befindet auf unbestimmte Zeit erstmal eingestellt, und ist im Bench noch nicht vertreten. Zudem steht ein Wechsel auf OpenMM 5.1 an was eine 2fache Faltgeschwindigkeit zufolge hat.
Daher legen wir auch nicht allzuviel Wert auf den Bench, weil er einfach das Falterverhalten der kommenden und derzeitigen Wu,s nicht wiederspiegelt.
Derzeit ist meine 5770 deutlich sparsamer und flotter mit Core16 unterwegs als die HD7970. Solange dies nicht geändert wird ist der Bench völlig unbrauchbar, und eignet sich nicht als Benchmarkvergleich.
HD5770 Core 16
<img src="http://extreme.pcgameshardware.de/attachment.php?attachmentid=646816"/>

HD7970 Core 16 aktueller Treiber
<img src="http://extreme.pcgameshardware.de/attachment.php?attachmentid=646817"/>

HD7970 Core 17 aktueller Treiber
<img src="http://extreme.pcgameshardware.de/attachment.php?attachmentid=646818"/>

Sehr schöner Kommentar ;)
 
Danker erstmal für das Feedback. Darauf hatte ich gehofft - zumal ich hier noch keinen Thread zu dem Thema gefunden habe.

- Dass Benchmarks unter Linux nicht laufen find ich in Anbetracht der PCGH-Gesamtausrichtung jetzt erstmal nicht so schlimm.

- Dass eingestellte Beta-Cores nicht berücksichtigt werden - naja, das finde ich ehrlich gesagt gar nicht so verkehrt (Oder habe ich das falsch verstanden: Was genau wurde eingestellt, weil „es“ sich noch im Beta-Stadium befindet?). Niemand weiß, ob die noch kommen, oder ob es da wirklich „echte“ Punkte für gibt. Siehe die Mini-Core, welche damals extra für GPUs entwickelt wurden. Die kamen IIRC auch nie in den Produktiveinsatz, obwohl sie als Beta-Cores jede Menge Rechenzeit banden und lange Zeit verschickt wurden.

- Dass Radeon-GPUs nicht/schlecht ausgelastet werden ist eher problematisch, richtig. Ich probiere da mal noch ein bißchen rum. Innerhalb der Geforce-Karten kommen zumindest plausible Verhältnisse heraus, wenn man den DP-Modus ignoriert (seit wann nutzt F@H DP??)

--
Euer Fazit also: Keine F@H-Benchmarks?
 
Das Problem liegt wohl er darin das die Werte die F@HBench im Moment ausgibt, einfach noch nicht richtig zugeordnet werden können.
Sprich bsp.: Explicit 16,24 ns/d ergibt ???? PPD ????? tpf.
Wenn Stanford seine Umstellung auf Unified GPU/SMP benchmarking scheme: equal points for equal work
beendet hatt wird das vieleicht aussagekräftiger.
Mit dem Fah_Core x17 sind sie ja auf dem richigen Weg.

PS.: Im Bench werden die GCN Karten doch richtig ausgelesen und voll belastet,
sonst würde die 7970 ja nicht ganz oben in der Liste stehen.
greetz sc59
 
Das Problem liegt wohl er darin das die Werte die F@HBench im Moment ausgibt, einfach noch nicht richtig zugeordnet werden können.
Sprich bsp.: Explicit 16,24 ns/d ergibt ???? PPD ????? tpf.
Wenn Stanford seine Umstellung auf Unified GPU/SMP benchmarking scheme: equal points for equal work
beendet hatt wird das vieleicht aussagekräftiger.
Mit dem Fah_Core x17 sind sie ja auf dem richigen Weg.

PS.: Im Bench werden die GCN Karten doch richtig ausgelesen und voll belastet,
sonst würde die 7970 ja nicht ganz oben in der Liste stehen.
greetz sc59

Aus dem Kommentar von Hawky1980 geht hervor, dass die 7970 zu 92% ausgelastet wird. Ich weiß zwar nicht ob das immer zutrifft, aber wenn: 92% sind immer noch sehr gut, aber für Benchermarker doof, weil man ja Rekorde brechen will ^^ Ausserdem haben die HDs dann einen Nachteil im Vergleich zu den GTX. ;)
 
Nachdem das verlässliche und vergleichbare Benchmarking bei Folding@Home immer einen ziemlichen Aufwand darstellte,


Das ist das Hauptproblem in der ganzen Misere.

Ich verstehe die Fragestellung so, das die Redaktion gerne FaHBench ausführen würde,
um dem PCGH Team 70335 bei einer neuen Generation an CPU / GPU Informationen zukommen zu lassen.
Da die Berechnung einer ganzen Work Unit (Wu) jedoch "relativ" viel Zeit verschlingt,
ist das bei den ausfürlichen Test der Redaktion :daumen:, nicht immer möglich.
Wenn FahBench jetzt eine direkte Ausagekraft über die effektivität der CPU /GPU auf die Wu's hatt
würde langes suchen im Internet auf PPD-, TPF - Werte entfallen. (z.B als Kaufentscheidung wichtig)
@ xpSyk
aber für Benchermarker doof, weil man ja Rekorde brechen will
Um Rekorde zu brechen ist das das falsche Tool.
Wenn ich alle Informationen seitens Stanford richtig verstanden habe,
geht es um den Vergleich der Hardware um Wu ś an den Core anzupassen.
greetz sc59
 
Danke erstmal für das Feedback. Darauf hatte ich gehofft - zumal ich hier noch keinen Thread zu dem Thema gefunden habe.
Derzeit ist es schwierig den FH Bench zu analysieren. Was der da genau berechnet wissen wohl nur die Jungs von FH. Auf jedenfall ist es keine Core 17, Core 16 oder Core 15, wie sie mometan mit Ausnahme der Core 17 ( Status Beta) im Einsatz sind.

Dass eingestellte Beta-Cores nicht berücksichtigt werden - naja, das finde ich ehrlich gesagt gar nicht so verkehrt
Ich schon, was nützt einer Forschung von Proteinberechnung eine schnelle Grafikkarte die durch veraltete Software genauso schnell ist wie eine alte Karte und dabei auch noch mehr Verbraucht. ;)
Hier mal ein Beispiel. Im Grunde ist es sinnloses Strom verbraten wenn man mit der HD7970 eine Core16 faltet. Daher ist sie erstmal bei mir im Idlemodus, solange kein Aufgabengebiet für sie da ist.
Folding@Home  HD5770 vs HD7970 .JPG

Am effizientesten arbeitet momentan bei mir die GT640. Die Karte bekommt zwar größere Aufgaben die mehr Zeit in Anspruch nehmen, arbeitet diese aber schneller ab, und kann so mehr Punkte pro Tag generieren.
Wenn man bedenkt, dass die Karte nur 2 CUs und 384 Shaderalus hat, und die 5770 10 CUs und 800 Shaderalus besitzt und langsamer rechnet, ist die kleine Karte schon ein kleines Wunderwerk was die Faltleistung anbelangt.:D
Folding@Home  HD5770 vs GT640 .JPG

Und genau das spiegelt der Benchmark hier nicht wieder, denn da ist es genau andersrum. Denn hier wird eine Faltleistung errechnet die nicht dem Stand der aktuellen Wu,s entspricht. Was wird da also berechnet?
Core 16 ? Ne, dafür ist der Leistungsabstand zwischen der HD7970 und den kleinen Karten zu groß. Core 17 ist es auch nicht, weil beide AMD Karten nicht voll ausgelastet werden ( siehe letzten Screen).Was soll man also mit diesem Bench anfangen? Also ich weis es nicht.
Folding@Home Bench verschiedener Karten Ergebni.JPG

Und hier nochmal die Auslastung aller Karten während das Benchs.
Folding@Home Bench verschiedener Karte.JPG

(Oder habe ich das falsch verstanden: Was genau wurde eingestellt, weil „es“ sich noch im Beta-Stadium befindet?).
Derzeit ist es nicht möglich Core 17 Wu,s zu bekommen, da die öffentlichen Beta Server abgeschaltet sind. Möglicher Grund dafür ist die Umstellung von OpenMM 5.0 auf OpenMM5.1. Wann die neuen Beta Cores wieder online gehen ist ungewiss.
Die Beta Wu,s ( Core 17 ) sind/werden angepasst auf die GCN/Kepler Architektur, und benötigen weinger CPU Last, ist zumindest bei AMD Karten so.


Niemand weiß, ob die noch kommen, oder ob es da wirklich „echte“ Punkte für gibt. Siehe die Mini-Core, welche damals extra für GPUs entwickelt wurden. Die kamen IIRC auch nie in den Produktiveinsatz, obwohl sie als Beta-Cores jede Menge Rechenzeit banden und lange Zeit verschickt wurden.
Warum sollten die Beta Cores nicht als Final Core kommen? Allein schon um die CPU-Auslastung der Karten von 20-30% beim Core16, auf 0-2% CPU-Auslastung beim Core 17 pro Karte zu reduzieren, ist für mich schon ein Mehrwert bei den Beta Cores, welcher meinem X6 dann wiederum zugute kommt. Anders ausgedrückt, nimmt man eimem AMDler die Core 17 weg, kann er gleich die ganze Kiste stilllegen. :D

Dass Radeon-GPUs nicht/schlecht ausgelastet werden ist eher problematisch, richtig. Ich probiere da mal noch ein bißchen rum. Innerhalb der Geforce-Karten kommen zumindest plausible Verhältnisse heraus, wenn man den DP-Modus ignoriert (seit wann nutzt F@H DP??)
Seh ich auch so. Schafft halt keinen vernünftigen Vergleich unter den jeweiligen Karten. Was die DP Funktion in dem Bench angeht, bin ich selbst überfragt, das wissen wohl die FH Jungs am besten.

Euer Fazit also: Keine F@H-Benchmarks?
Jup, derzeit schon. Da der Bench nicht die Reale Leistung der Karten wiederspiegelt, und es zudem noch Probleme mit den Treibern ( OpenCL )seitens AMD gibt. 93% ist da aber noch recht gut beim aktuellen Treiber. Der 13.1 schaffte da grade mal 40-50 % Auslastung.

Im Bench werden die GCN Karten doch richtig ausgelesen und voll belastet,
sonst würde die 7970 ja nicht ganz oben in der Liste stehen.
Richtig erkannt ja, voll ausgelastet nein. Ich sehe in der Liste keine Auslastung der jeweiligen Grakas die da gebencht wurden.
 
Zuletzt bearbeitet:
Hm, also CPU-Last habe ich beim FAHBench eh nicht nennenswert nachdem die JIT-Kompilate erstellt sind; mal so 3-4 Prozent, das wars.

Die Auslastung beim FAHBench selbst unterscheidet sich auch nicht so um welten. GCN in Form der 7970GE bei 93-95% (explicit lastet mehr aus, implicit weniger), bei Kepler ~97-98%. Implicit etwas schwieriger bezgl. der Auslastung, da der bei flotten Karten wie 7970, 680 oder Titan einfach so durchflutscht, dass das Average kaum Relevanz hat.

GCNs sind übrigens "angemessen" schneller als die alten VLIWs.
 
Hm, also CPU-Last habe ich beim FAHBench eh nicht nennenswert nachdem die JIT-Kompilate erstellt sind; mal so 3-4 Prozent, das wars.
Die CPU-Last beim FH Bench ist bei mir genauso gering. Aber nicht beim Falten der Cores ( Wu,s) im Dauereinsatz. Da fällt die CPU-Last wie oben schon geschrieben deutlich höher aus, was wiederum mit Core 17 behoben wird.
Die Auslastung beim FAHBench selbst unterscheidet sich auch nicht so um welten. GCN in Form der 7970GE bei 93-95% (explicit lastet mehr aus, implicit weniger), bei Kepler ~97-98%. Implicit etwas schwieriger bezgl. der Auslastung, da der bei flotten Karten wie 7970, 680 oder Titan einfach so durchflutscht, dass das Average kaum Relevanz hat.
Nochmal einmal, der Bench spiegelt nicht die Rohleistung Karten wieder, dazu läuft der Bench viel zu kurz. Wie will man denn da ein Vergleich schaffen, wenn noch nichtmal die Hälfte der CUs einer 7970 auslastet werden bevor der Benchrun zuende ist?!

GCNs sind übrigens "angemessen" schneller als die alten VLIWs.
In dem Bench sieht man nur ein Bruchteil von dem was die großen GCNs wirklich drauf haben.
Hier wird das volle Potenzial der Karte gefordert.
SiSoftware Zone
Und hier nochmal mit DP
SiSoftware Zone

Setzt man diese Leistung auch bei FH um, kann man von Effizienz in Verbindung mit OpenCL reden, und eine 7970 lernt dort das erste mal in ihrem Leben das Schwitzen. Ok bei mir das zweitemal. :D
Top GP (GPU/CPU/APU) Finanzanalyse (Normale Genauigkeit) Ränge : SiSoftware Offizielle Live-Rangliste

Edit: Dein Kollege Raff verprüglet hier auch ganz fleissig ne Titan mit seiner Karte. :D
http://www.forum-3dcenter.org/vbulletin/showthread.php?t=540686
 
Zuletzt bearbeitet:
@PCGH_Carsten:

Am besten ihr bencht f@h richtig :daumen: (nicht mit dem fahbench)

Angenommen ihr wollt 10 Grafikkarten vergleichen:

1. 10 PC's installieren
2. jeden mit anderer GraKa
3. FaH eine Woche laufen lassen (inkl. HFM.net)
4. PPD/TPF vergleichen

:daumen:

Jupp, einverstanden
Allerdings, um alles wirklich vergleichbar zu machen müsste auch bei allen als Team-Nummer 70335 eingestellt sein ;)

Nachtrag:
Hab ich grad gefunden/gelesen http://www.tomshardware.de/Workstation-Grafik-2013-Benchmarks,testberichte-241269-25.html
 
Zuletzt bearbeitet:
@PCGH_Carsten:

Am besten ihr bencht f@h richtig :daumen: (nicht mit dem fahbench)

Angenommen ihr wollt 10 Grafikkarten vergleichen:

1. 10 PC's installieren
2. jeden mit anderer GraKa
3. FaH eine Woche laufen lassen (inkl. HFM.net)
4. PPD/TPF vergleichen

:daumen:

Hm, ja. Das würden wir gern tun.
Allerdings fehlt es an Zeit, Platz und 10 identischen PCs. Bitte bleibt bei euren Wünschen doch auch mal realistisch.

Dann also eben keine FAH-Benchmarks, wie gehabt? Danke für eure Zeit.

---
Die CPU-Last beim FH Bench ist bei mir genauso gering. Aber nicht beim Falten der Cores ( Wu,s) im Dauereinsatz. Da fällt die CPU-Last wie oben schon geschrieben deutlich höher aus, was wiederum mit Core 17 behoben wird.

Nochmal einmal, der Bench spiegelt nicht die Rohleistung Karten wieder, dazu läuft der Bench viel zu kurz. Wie will man denn da ein Vergleich schaffen, wenn noch nichtmal die Hälfte der CUs einer 7970 auslastet werden bevor der Benchrun zuende ist?!
ad 1) Woher hast du das mit der Hälfte der CUs? Da würd ich gern mal eine verlässliche Quelle sehen.
ad 2) Ich glaube, du hast falsche Vorstellungen davon, wie schnell GPUs intern arbeiten. Mehrere SEKUNDEN braucht sicher kein Workload der in den Speicher passt, um sich auf die CUs zu verteilen.


In dem Bench sieht man nur ein Bruchteil von dem was die großen GCNs wirklich drauf haben.
Hier wird das volle Potenzial der Karte gefordert.
SiSoftware Zone
Und hier nochmal mit DP
SiSoftware Zone

Setzt man diese Leistung auch bei FH um, kann man von Effizienz in Verbindung mit OpenCL reden, und eine 7970 lernt dort das erste mal in ihrem Leben das Schwitzen. Ok bei mir das zweitemal. :D
Top GP (GPU/CPU/APU) Finanzanalyse (Normale Genauigkeit) Ränge : SiSoftware Offizielle Live-Rangliste
Ja, wenn und hätte und wäre. Es ist aber meist so, dass reale Programme mit ganz anderen Dingen zu kämpfen haben, als es in reinen Synthies wie Sandra zu berechnen gilt.

Edit: Dein Kollege Raff verprüglet hier auch ganz fleissig ne Titan mit seiner Karte. :D
http://www.forum-3dcenter.org/vbulletin/showthread.php?t=540686
Uha... und was hat das damit zu tun, ob sich der FAH-Bench eignet? Spräche eher dafür, dass die Ergebnisse der SP-Rechenleistung angemessen erscheinen.
 
Zuletzt bearbeitet:
Dann also eben keine FAH-Benchmarks, wie gehabt? Danke für eure Zeit.
... usw. ...
Hm, du bist aber leicht reizbar.

Es gibt da ja auch noch andere Möglichkeiten.

Wir haben das bei TPC (als FAH dort noch ein interessantes Thema war) manchmal so gehandhabt,
dass Grafikkarten nach dem normalen Test ne Woche zu mir kamen und ich dann die ppd-Werte
quasi nachgeliefert habe.
Natürlich hat man dann keine identischen Voraussetzungen, aber die Ergebnisse schwanken sowieso
auch innerhalb einer WU- man hat ja nie komplett gleiche R,C,G- und sind abhängig von der aktuellen
Nutzung des PC. Niemand lässt seine Kiste ne Woche nur rumstehen, ohne wenigstens damit zu surfen.

Ich könnte mir vorstellen, dass es auch bei PCGH ein paar geeignete und vertrauenswürdige
F@H-Team-Member gibt, die sich dazu bereit erklären würden- falls das logistisch für dich machbar wäre.
 
Hm, du bist aber leicht reizbar....

Ich wollte nix sagen aber tatsächlich scheint Carsten da die Ironie/den Sarkasmus übersehen zu haben ;)

Es gibt da ja auch noch andere Möglichkeiten.

Wir haben das bei TPC (als FAH dort noch ein interessantes Thema war) manchmal so gehandhabt,
dass Grafikkarten nach dem normalen Test ne Woche zu mir kamen und ich dann die ppd-Werte
quasi nachgeliefert habe.
Natürlich hat man dann keine identischen Voraussetzungen, aber die Ergebnisse schwanken sowieso
auch innerhalb einer WU- man hat ja nie komplett gleiche R,C,G- und sind abhängig von der aktuellen
Nutzung des PC. Niemand lässt seine Kiste ne Woche nur rumstehen, ohne wenigstens damit zu surfen.

Ich könnte mir vorstellen, dass es auch bei PCGH ein paar geeignete und vertrauenswürdige
F@H-Team-Member gibt, die sich dazu bereit erklären würden- falls das logistisch für dich machbar wäre.

Hatte ich Thilo (zum TITAN-Test) auch schon vorgeschlagen
Leider wurde(n) sie bis heute nicht F@H-mässig ausgefahren
 
Sarkasmus ist manchmal nicht leicht zu trennen von … ach, lassen wir das. Ihr ahnt ja nicht, was für Wünsche in aller Ernsthaftigkeit an die Redaktion so herangetragen werden. Da ist so ein Vorschlag wie der obige eben nicht mehr sooo überzogen, dass man ihn gleich als Sarkasmus identifiziert.

Darüber hinaus fehlt es dem Forum an Mimik und Gestik, um „Betonungen“ zuverlässig interpretieren zu können.
 
Zurück