• Achtung, kleine Regeländerung für User-News: Eine User-News muss Bezug zu einem IT-Thema (etwa Hardware, Software, Internet) haben. Diskussionen über Ereignisse ohne IT-Bezug sind im Unterforum Wirtschaft, Politik und Wissenschaft möglich.
  • Hallo Gast, du kaufst gerne günstig ein und erfährst oft vor deinen Freunden von interessanten Angeboten? Dann kannst du dein Talent als Schnäppchenjäger jetzt zu Geld machen und anderen PCGH-Lesern beim Sparen helfen! Schau einfach mal rein - beim Test der Community Deals!

Wer hat den grünsten HPC-Daumen?

Skysnake

Lötkolbengott/-göttin
Wer hat den grünsten HPC-Daumen?

Vor nun mehr als zwei Jahr hatte nVidia am 21.09.2010, ich berichtete, ihre Roadmap für die Zukunft vorgestellt, und mit Kepler für 2011, nach dem verkorksten Fermi start, eine deutlich gestiegene DP-Flop/s pro Watt Leistung versprochen.

270924d1285098479-nvidia-kuendigt-zukuenftige-grafikkarten-generationen-auf-der-gpu-technology-conference-2010-nvidia-roadmap-klein.png

Quelle: http://tof.canardpc.com/preview2/2bc85b54-ed2d-4754-87ba-48ce59046ce0.jpg

Fast genau ein Jahr später wollte nVidia von dieser Roadmap anscheinend nicht mehr wissen, und verschob "einfach" Kepler und Maxwell um jeweils ein Jahr. Also war zunächst einmal wieder warten angesagt, welches am 22. März 2012 dann ein Ende zu haben schien mit dem Launch der GTX680 auf Basis des GK104. Doch leider weit gefehlt. Die neu gelaunchte Karte entpuppte sich leider als völlig unbrauchbar, was ihre DP-Performance anbelangt, auf welche sich nVidia ja bei ihrer Roadmap stütze. Also hies es erneut warten, denn die geringe DP-Performance kam nicht durch eine Beschneidung zustande, sondern lag im Chip an und für sich begründet, wie später die K10 GPU zeigte.

1.png
Quelle: Nvidia Kepler: Produziert 2011, verkauft 2012 - 08.09.2011 - ComputerBase

Also hies es wieder warten, und nun mit der Vorstellung von K20 im Rahmen der SC12 in SalteLake-City, hat das Warten nun ein Ende. Wie sich zeigte, verfehlt man aber scheinbar die anvisierte Effizienzsteigerung mehr oder weniger deutlich mit einem Wert von ~2,3 bis ~2,8 bei einem anvisierten Wert von ~3,0. Gleichzeitig konnte AMD und Intel mit ihrer neuen FirePro bzw. XeonPhi Beschleunigerkarte auf sich aufmerksam machen.

Insbesondere die neue Green500, welche in Rahmen der Top500 und SC12 ebenfalls veröffentlicht wurde, hatte einige Überraschungen parat. Waren auf der letzten Green500 vom Juni 2012 noch die BlueGene/Q Modelle von IBM unangefochten an der Spitze (Platz 1-20) mit über 2,069 GFlop/s pro Watt und damit deutlich vor den ersten nicht BlueGene/Q Modell mit ~1,380 bzw. 1266 GFlop/s pro Watt. Hierbei handet es sich um ein Intel Xeon System mit MIC (Vorgänger/Alias von XeonPhi), ein System mit Intel i5 & AMD Radeon sowie einem IntelXeon und nVidia M2090 (Fermi).
Wie man sieht war IBM in Sachen Perf/W unangefochten an der Spitze, und selbst nVidia musste sich bereits einem System mit Intels Beschleunigerkarte, sowie einem mit AMDs Konsumerkarten geschlagen geben.

Auf der nun aktuellen Green500 vom Nobember 2012 hat sich nun doch grundlegend etwas geändert. Die zuvor beeindruckend führenden BlueGene/Q wurden nun auf die Plätze 5 und dahinter verwiesen.

Auf Platz 1 setzt sich überraschend mit 2,499 GFlup/s pro Watt ein System mit Intels XeonPhi Beschleunigerkarten der University of Tennessee. Hatte man doch aufgrund nVidias großer Fokusierung auf das Thema DP-Flop/s pro Watt doch angenommen, das sich hier ein System mit nVidias neuem TopDog K20(x) an die Spitze setzt.

Auf Platz 2 schafft es dann mit bereits rund 6% Rückstand allerdings ebenfalls nicht das groß in den Medien presente Titan System von Cray mit K20x Beschleunigerkarten von nVidia, welches aktuell auch die Top500 anführt, sondern völlig überraschend ein System mit AMDs erst kürzlich auf der SC12 vorgestellten S1000. Hierbei handelt es sich um eine Dual-GPU Karte, welche auf den TahitiPro, welcher auch in der HD7950 verbaut wird, setzt. Um so überraschender, da man die Karte zwar schon auf dem letzten FDS von AMD gesehen hatte, aber nicht daran geblaubt hatte, das diese Karte eine FirePro Karte wird. Hier hat AMD praktisch aus dem Nichts heraus angegriffen, und nVidia zumindest in diesem System in ihrer "Paradedisziplin" überflügelt.

Auf Platz 3 folgt dann mit 2,143 GFLop/s pro Watt, und somit 14 bzw 9 Prozent Rückstand auf die beiden Topsysteme der Titan Supercomputer.

Dieser Rückstand überrascht aufgrund der extremen Betonung der Energieffizienz von Systemen mit nVidia GPUs im Vergleich zu reinen CPU-Systemen doch sehr. Insbesondere da man eben derart große Steigerungen bei der Perf/W versprochen hatte. Hier scheint sich nun anscheinend die Verschiebung um ein Jahr, als auch die scheinbar geringere Perf/W-Steigerung nVidia zum Verhängnis zu werden. Muss man doch festhalten, dass sich das Titan-System auf der vorhergehenden Green500 noch auf Platz 1 wiedergefunden hätte! Besonders bitter wird dies, da nVidia selbst mit der K20x, welche Scheinbar vorzugsweise in Supercomputern zum Einsatz kommt, nur 14 der 15 SMX aktiv hat, was eben rund 7% weniger Einheiten bedeutet.

Doch was sind die Ursachen hierfür?

Über diese wurde schon seit längerem spekuliert. Sind es zu viele Deals, die man in zu kurzer Zeit bedienen musste? Ist man im Vergleich zu Konkurrenz stark genug mit dieser Karte? Hat man Probleme mit der Produktion? usw usw

Am Ende wird es wohl eine Mischung aus allem sein, wobei ich für meinen Teil der Produktionsproblematik bei einem derartig großen Chip durchaus ein größeres/großes Gewicht beimessen würde.

Bis zu diesem Punkt müsste man davon ausgehen, das Intel mit ihrem XeonPhi einen wirklichen Bilderbuchstart hingelegt hat, AMD überrascht und nVidia mehr oder weniger enttäuscht. Dies wäre aber durchaus zu kurzsichtig, denn wir vergleichen hier Systeme mit knapp 45kW Gesamtleistung mit solchen, die rund 8.209kW an Verbrauch haben. Das sind also mehr als zwei Größenordnungen Unterschied!!!

Hier wäre es also sträflich, derart komplexe Systeme wie Supercomputer einfach aufgrund von drei Werten miteinander zu vergleichen. Denn ein derartiges System skaliert im Allgemeinen nicht linear mit seiner Größe. In der Regel wird eine Skalierung von kleiner 1 erfolgen, also weniger als linear. Das Problem der Skalierung durch Parallelisierung, welches Amdahl und Gustafson versucht haben zu beschreiben mal ganz außen vor gelassen.

Bleiben doch noch einige Punkte, die auch für den Laien leicht verständlich sind. Fangen wir an, aus was so ein Supercomputer besteht. Auf der einen Seite ein "ganz normaler" PC, wie man ihn auch zu Hause stehen hat. Das macht aber noch keinen Supercomputer aus, denn dies wären einfach nur sehr viele einzelne PCs. Erst durch das Netzwerk, auch NetworkInterfaceCard genannt, wird ein Sueprcomputer (Cluster) zu einem Supercomputer. Hier verwendet man auch kein GBit Lan mehr wie im Heimgebrauch, sondern zumeist Glasfasernetze mit 40GBit+ die Sekunde. Bekannte Unternehmen sind hier Infiniband mit Firmen wie Mellanox, aber auch propritäre NICs, wie das Gemini (HT) bzw Aries (PCI-E) von Cray, oder das TOFU Netzwerk von Fujits zeigen, wie wichtig das Netzwerk für einen Supercomputer ist. Bestes Beispiel hierfür sind auch die IBM BlueGene Systeme, welche gleich über eine ganze Reihe von Netzwerken für unterschiedliche Aufgaben verfügen. Insbesondere die Skalierung von solchen Netzwerken stellt einen wichtigen Faktor für das Design eine Supercomputers da, aber auch einen entscheidenden Verbrauchsfaktor, denn die meisten dieser Netzwerke sind sogenannten geswitchte Netzwerke, welche, wie man es von zu Hause kennt, noch separate Switches haben, die die einzelnen Rechner miteinander verbinden. Da hier sehr große Bandbreiten zur Verfügung stellt werden und das meist bei einer 1:1 Verbindung innerhalb des Switches, spielt dieser Part einen entscheidenden Kosten aber auch Verbrauchfaktor dar. Ein 648-Port Switch von Mellanox steht z.B. bei rund 1kW. Je nachdem wie "kurz" man die Verbindungswege innerhalb des Clusters halten will, braucht man teilweise sehr viele derartiger Switches.

Auf der anderen Seite gibt es aber auch nicht geswitchte Netwerke, wie das Extoll Netzwerk aus Deutschland, welches komplett auf externe Switches verzichten kann.

Wie man sieht ist Skalierung ein entscheidender Faktor, den wir uns auch gleich noch näher anschauen. Ein weiterer sehr wichtiger Faktor ist auch die Kühlung, denn im Gegensatz zum PC daheim, muss ein Supercomputer aktiv gekühlt werden. In der Vergangenheit wurde hierfür meist eine Luftkühlung in Verbindung mit einer Klimaanlage benutzt. Dies hat natürlich zur Folge, das man sehr viel Energie dafür benötigt, um die Luft erstmal zu kühlen, um Sie dann in den Servern wieder zu erwärmen. Meist wird bei einer solchen Kühlung rund 50% des gesamten Stromverbrauchs nur für die Kühlung aufgewendet. Da der Stromverbrauch eines solchen Rechners immer entscheidender wird, beginnen inzwischen auch Flüssigkeitskühlungen sich immer mehr durch zu setzen. Hier sind der Energiebedarf der Kühlung oft auf einen Bereich von 30% und weniger. Dies macht natürlich den direkten Vergleich von Systemen noch schwerer. Dennoch wollen wir es nun versuchen, auch wenn wir die Kühlung erst einmal außen vor lassen. Die Daten sprechen für sich.

Green500Scaling.png
Bitte beachten Sie die ogarithmische Skalierung der x-Achse

Wie man sieht, sieht man ein sehr unterschiedliches Verhalten der unterschiedlichen Systeme. Die bis zu dieser Green500 führenden BlueGene/Q skalieren praktisch perfekt von sehr kleinen Systemen im Bereich von 40kW bis hin zu sehr großen Systemen von ~8000kW.
Ähnlich sieht es bei den beiden Systemen mit K20x aus. Im Bereich von 130 bis 8200kW scheint eine sehr gute Skalierung möglich zu sein, wobei hier eindeutig festgehalten werden sollte, das es sich hier eben nur um zwei Werte handelt, die allerdings an den beiden Extrempunkten der Skala liegen. Es ist also davon auszugehen, das theoretisch zumindest gleichwertige Systeme im Bereich dazwischen möglich sind.

Ein völlig anderes Bild ergibt sich, wenn man sich die Systeme mit M2090 anschaut. Hier sieht man doch sehr große Schwankungen, und einen deutlich Abfall hin zu großen Systemen. Hier sollte man allerdings nicht zu vorschnell urteilen, denn zum einen zeigen die beiden Zacken in der Mitte, das man durchaus gute Skalierungswerte erreichen kann. Hier wird vermutlich der Grund in einer sehr unterschiedlichen Bestückung mit M2090 Karten bei den Clustern zu suchen sein.
Daher sollte man sich für die Abschätzung der Skalierung vorallem den ersten Wert und die beiden großen Zacken (um 400kW) in der Mitte anschauen. Wie man sieht, kann man mit K20x deutlich zulegen.

Kommen wir nun zu XeonPhi. Auf den ersten Blick erkennt man eine recht eindeutige Skalierung mit einigen Unstimmigkeiten in der Mitte. Hier sind allerdings wieder die mangelnde Anzahl an Messpunkten die Ursache hierfür. Doch gerade der Bereich in der Mitte zeicht wieder, das man hier wohl sehr inhomogene Systeme miteinander vergleicht. Man sollte daher wiederum nur die drei höchsten Werte für eine Skalierungsabschätzung in Betracht ziehen.
Tut man dies, erkennt man, das XeonPhi-Systeme wohl etwas schelchter skalieren als die der Konkurrenz. Genaues kann man hier allerdings noch nicht sagen, da der kleinste Cluster eben sehr gut performt. Durch Optimierungen am Clusterdesign könnte sich also durchaus auch noch XeonPhi oberhalb von K20x einsortieren.

Betrachten wir nun abschließend noch die beiden AMD Systeme. Einmal eines mit HD7970 Consumerkarten, und eines mit FirePro-Karten. Wie man sieht, performen die FirePro Karten scheinbar sehr gut im Vergleich zu den HD7970. Für genauere Aussagen müsste man allerdings die beiden Cluster sehr genau vergleichen. Auf jeden Fall wird klar, das AMD hier scheinbar ein sehr heises Eisen im Feuer hat und zu nVidia offensichtlich in Sachen Perf/W aufgeschlossen hat.

Man kann also von einem Kopf-an-Kopf-Rennen der drei Hersteller ausgehen, was in Anbetracht der Dominanz von nVidia in den vergangenen Jahren doch SEHR verwunderlich ist. Bleibt ab zu warten, ob AMD, aber insbesondere nVidia in Anbetracht der agressiven Preisgestaltung von Intel lange ihre Preise so hoch halten können, oder ob wir einen Preiskampf im HPC-Bereich zu sehen bekommen.

Quelle:
Top500.org
Green500.org
 
Zuletzt bearbeitet:

Fexzz

BIOS-Overclocker(in)
AW: Wer hat den grünsten HPC-Daumen?

DAS nenn ich mal 'ne News. Saubere Arbeit, wirklich erstklassig!
 
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Danke.

Naja, darüber rede ich halt seit ca 2010. :D

Hab nicht ohne Grund auf meine eigene News von damals verlinkt ;)

Mir wird ja immer unterstellt zu pesimistisch zu sein. Da kann sich jetzt jeder selbst sein Bild zu machen :P
 
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Btw. Ein Grund für meinen Optimismus bzgl den FirePro ist halt, das man nicht genau weiß, wie genau das FirePro System lief. Ich mach gleich mal noch einen Plot dazu...

Naja, und dann gibts eben diese Meldung hier noch :D:devil: 8 AMD FirePro S10000s (16 GPUs) achieve 8 TFLOPS real world double precision compute performance | FireUser Blog

Wenn man da nen Cluster-GPU-Server draus bauen würde, wäre das schon nicht schlecht. Sprich 4-5 GPUs 2 SB-E Xeons und eben einen NIC.

Das tolle an der Kiste ist halt, dass Sie SKALIERT! das ist schon der Hammer.
 

M4xw0lf

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Alter Schwede, du hattest mal wieder zu viel Zeit, wa? :D
Respekt vor dem Haufen Arbeit, und echt interessante Daten :daumen:
 
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Toll jetzt ist mein Browser abgeschmiert :motz: halbe Stunde arbeit fürn ARSCH...

Dann halt jetzt als Kurzfassung:

Ich hab mal noch nen zweiten Plot gemacht, der recht interessant ist:

Green500Efficiency.png
<--- DAS IST FALSCH
Green500Efficiency.png
<--- DAS IST RICHTIG!

Passt alles soweit bei IBM, Kepler lässt sich besser auslasten als M2090, oder zumindest gleichmäßiger.

Bei XeonPhi fällt auf, dass die Effizienz eigentlich gleich bleibt. Das lässt eigentlich nur zwei Schlüse zu
1. Stampede hat deutlich weniger Beschleunigerkarte je CPU als die kleinen Systeme
2. Das Design skaliert nicht

Was SEHR verwunderlich ist, sind die Daten von AMD. Weniger die der HD7970, welche im Bereich der Erwartung liegt, wenn auch eher am unteren Rand. Eigentlich sollte DGEMM GCN recht gut liegen. Daher sollte man eigentlich eher eine Effizienz im Bereich von K20x annehmen. Absolut verwunderlich ist aber der Absturz der FirePro! Vor allem dass Sie dennoch! auf Platz 2 bei der Effizienz gelandet sind! Das ist schon sehr beeindruckend.

Allerdings muss man sich auch fragen, warum man so weit unten ist bei der Effizienz. Dafür gibt es eigentlich nur wenige Möglichkeiten
1. Zahlendreher in den Daten :ugly::schief:
2. Treiberprobleme (durchaus realistisch)
3. Flaschenhals im Cluster-Design.. Wäre natürlich ziemlich doof (eher unwahrscheinlich, aber möglich)
(4. Viel zu wenig Zeit, um vernünftige Messungen zu machen...) (durchaus realistisch)

Wenn die Daten aber wirklich stimmen sollten, dann darf man durchaus die Hoffnung haben, dass die Perf/W sogar nocht deutlich gesteigert werden kann! Um genaueres zu sagen, sollte man sich allerdings wohl mal mit dem Betreiber in Kontakt setzen. (PCGH?;) :D)
 
Zuletzt bearbeitet:

X-CosmicBlue

PCGH-Community-Veteran(in)
AW: Wer hat den grünsten HPC-Daumen?

Skysnake, Du mußt mir mal was erklären.
Während meines Ingenieursstudium hat uns ein Prof eingetrichtert, das man Diagramme immer hinterfragen muß. Er sagte zwar nicht "Traue keiner Statistik" (was im übrigen nicht Churchill gesagt hat), aber er wies uns an verschiedenen Stellen darauf hin, ganz genau hin zu gucken: Wie ist die Achse skaliert, wie beschriftet, sind die zu grunde liegenden Daten absolut oder relatic zueinander etc.
Er war der Meinung, weil Diagramme so anschaulich und für jeden vermeintlich leicht verständlich sind, dass sie oft so dargestellt werden, dass sie das ausdrücken, was der Diagrammersteller ausdrücken will - und das muß nicht unbedingt der Wirklichkeit entsprechen.
Bitte nicht falsch verstehen, das möchte ich Dir nicht vorwerfen.
Aber mir fehlt eine Legende, mehr als nur eine Beschriftung von x- und y-Achse und der verschiedenfarbigen Kennlinien.
Und darum hab ich mit dem zweiten Diagramm meine Probleme.

Mir fällt da folgendes auf:
Im Diagramm im Startbeitrag liegen die Meßpunkte für die AMD-Karten auf der X-Achse zwischen 40 und 400 kW.
Im zweiten Diagramm rutschen sie mit einem mal in den Bereich zwischen 400 und 4000 kW.
Andere Meßreihe?
Gleiches gilt für NVidia K20x und IBM PowerXCell 8i, ihre x-Werte verschieben sich.

Ich muß zugeben, das obere, erste Diagramm versteh ich.
Beim zweiten hatte ich erst den Eindruck, Du hättest nur aus Absolutwerten auf der y-Achse Relativwerte gemacht.
Aber dann mußte ich mir eingestehen, das ich das zweite Diagramm nicht verstehe:
Was ist denn genau R bzw R_max und R_peak?
Da ich nicht weiß, was für Daten Du da genommen hast, klingt das für mich etwas komisch: max ist ein Maximalwert, peak ist doch aber auch ein Maximalwert.
Ich hätte da jetzt eher sowas wie R_effektiv zu R_max erwartet oder R_durchschnitt zu R_max, wobei ich immer noch nicht weiß, was R überhaupt ist.
Darum frage ich Dich jetzt:
Wieso liegt der Verbauch einiger Karten jetzt höher und was stellt die y-Achse im zweiten Diagramm dar?
 
Zuletzt bearbeitet:

Hugo78

PCGH-Community-Veteran(in)
AW: Wer hat den grünsten HPC-Daumen?

Die News ist mal wieder typisch Skysnake => Nvidiabashing hoch Zehn. :daumen2:

Die ersten beiden der Green500 kommen hauptsächlich mit sparsamen Intel Sandybridge CPUs daher,
wo die K20 von Nvidia mit stromhungrigen Bulldozern im Schlepptau natürlich in der Gesamteffizienz verlieren müssen.
 

McClaine

Software-Overclocker(in)
Also der preis für die längste usernews ist dir jedenfalls sicher ;)
Hab mir zwecks handy nicht alles durchgelesen aber was ist jetzt die Kern aussage dieses posts!? :ugly:
 

Oberst Klink

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Wird bei diesen Supercomputern denn ein Teil der entstandenen Wärmeenergie in elektrische Energie umgewandelt, die wiederum die Kühlung befeuern könnte?
 

X-CosmicBlue

PCGH-Community-Veteran(in)
AW: Wer hat den grünsten HPC-Daumen?

Wird bei diesen Supercomputern denn ein Teil der entstandenen Wärmeenergie in elektrische Energie umgewandelt, die wiederum die Kühlung befeuern könnte?
Nein, ich glaube nicht. Aus thermodynamischer Sicht dürfte da auch nicht viel bei rumkommen. Zumindest so wenig, das es den Aufwand nicht lohnt.
Wenn, dann wird die Abwärme meist zum Heizen der Büros und andere naheliegender Gebäude genutzt.
 
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Sodele sorry, in das zweite Diagramm, welches nicht in der News steht, hat sich nen Fehler eingeschlichen. Bin in der Zeile verruscht, und habe statt für TotalPower MFlops als X-Achsenwert benutzt.

Man verzeihe mit den Fehler. Ist mir auf die Schnelle leider nicht aufgefallen. Meine bessere Hälfte wollte meine Aufmerksamkeit, da ist mir das leider durchgegangen.

Hier also nochmal der richtige Plot:

Green500Efficiency.png
 

X-CosmicBlue

PCGH-Community-Veteran(in)
AW: Wer hat den grünsten HPC-Daumen?

Ja, okay, das sieht schon besser aus ;)
Dennoch wüßte ich gerne, was ich da an der y-Achse sehe.
Was für eine Effizienz ist das? Was ist dieses "R"? Und was sind R_max und R_peak für Kennzahlen?
 
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Bitte nicht falsch verstehen, das möchte ich Dir nicht vorwerfen.
Aber mir fehlt eine Legende, mehr als nur eine Beschriftung von x- und y-Achse und der verschiedenfarbigen Kennlinien.
Und darum hab ich mit dem zweiten Diagramm meine Probleme.
Das ist doch da :ka:, also in beiden Diagrammen.

Mir fällt da folgendes auf:
Im Diagramm im Startbeitrag liegen die Meßpunkte für die AMD-Karten auf der X-Achse zwischen 40 und 400 kW.
Im zweiten Diagramm rutschen sie mit einem mal in den Bereich zwischen 400 und 4000 kW.
Andere Meßreihe?
Gleiches gilt für NVidia K20x und IBM PowerXCell 8i, ihre x-Werte verschieben sich.

Ich muß zugeben, das obere, erste Diagramm versteh ich.
Beim zweiten hatte ich erst den Eindruck, Du hättest nur aus Absolutwerten auf der y-Achse Relativwerte gemacht.
Aber dann mußte ich mir eingestehen, das ich das zweite Diagramm nicht verstehe:
Was ist denn genau R bzw R_max und R_peak?
Da ich nicht weiß, was für Daten Du da genommen hast, klingt das für mich etwas komisch: max ist ein Maximalwert, peak ist doch aber auch ein Maximalwert.
Ich hätte da jetzt eher sowas wie R_effektiv zu R_max erwartet oder R_durchschnitt zu R_max, wobei ich immer noch nicht weiß, was R überhaupt ist.
Darum frage ich Dich jetzt:
Wieso liegt der Verbauch einiger Karten jetzt höher und was stellt die y-Achse im zweiten Diagramm dar?
Das ist kein Problem. Beim zweiten hat sich, wie gesagt ein Fehler eingeschlichen. Bin in der Zeile in der Tabelle verrutscht, was mir leider nicht gleich aufgefallen ist. Wie gesagt, da war ein "Ticket" offen, das sofortige Bearbeitung verlangte :lol:

R_Max und R_Peak sind genau das was ich gesagt habe. Zumindest soweit ich das verstanden habe. Eben der Maximalwert, den man erreicht hat, und R_Peak der theoretische (kurzfristig ?) erreichbare Wert. Hab auf der Green500 Liste das auch gesucht, aber leider gabs dazu keine Erklärung. Die Bedeutung der Zahl ist aber im Prinzip äquvalent, weshalb ich darauf jetzt nicht rumgeritten bin. In beiden Fällen besteht noch Optimierungspotenzial.

EDIT: Ok, ich hab jetzt doch nochmal die Green500 Seite durchforstet, und hab jetzt auch das gesuchte PDF gefunden:

R_Peak: The theoretical peak performance (measured in FLOPS) for a supercomputer
Wie gesagt, ist aber im Prinzip egal, da die Aussage prinzipiell äquivalent sind. Hatte vorher einfach nicht die Zeit, das normal raus zu suchen in Ruhe.

Der Wert für die FirePro ist auf jeden Fall viel zu niedrig. Da hatte schon die HD5k serie bessere Werte. Hab vor kurzem mit Gispel genau darüber ne Diskussion im 3DCenter gehabt. Zudem sieht man ja auch bei der HD7970 das da auf jeden Fall noch deutlich mehr drin ist! Damit steigt zwar sicherlich auch der Verbrauch, aber die Effizienz sollte dennoch steigen. So Sachen wie RAM, CPU usw verbrauchen ja etwa gleich viel.

Laut Gipsel sollte die HD7970 (Tahiti GCN) eigentlich sogar Werte von ~90% für DGEMM erreichen, also ein Wert ähnlich dem von nVidia mit der K20x. Davon ist man aber, wie man sieht WEIT entfernt.

Und genau um den Punkt gings mir auch, weil er einfach so was von extrem auffällig ist, das es schon in den Augen wehtut, das zu sehen. Da kann einfach irgendwas nicht stimmen. Mögliche Ursachen habe ich ja genannt.

In den Hauptartikel wollte ich das aber nicht rein packen. Es war aber mit ein Grund den Artikel zu schreiben. Es ist einfach ZU auffallend. Vor allem weil das System halt trotzdem verdammt! gut dasteht was die Effizienz, also Flop/s pro Watt angeht.

EDIT2:

Ok, also
R_max: tatsächlich erreichter Wert in einem kompletten Linpack-Run
R_peack: theoretisch möglicher Wert für den Supercomputer an und für sich.

Und die f(x)-Achse zeigt dann halt R_max/R_peak
J
Jetzt klar?
 
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Also der preis für die längste usernews ist dir jedenfalls sicher ;)
Hab mir zwecks handy nicht alles durchgelesen aber was ist jetzt die Kern aussage dieses posts!? :ugly:
Das nVidia in den letzten Jahren große und ergeizige Pläne hatte, welche leider weder zeitlich noch von der Höhe her eingehalten wurden, wobei das mit der Höhe noch mit gutem Willen im Spielraum liegt. Es kommt halt nur zu spät.

Um genau zu sein, hätte ja einfach schon nen halbes Jahr gereicht, um gut da zu stehen. So hat man jetzt die direkte Konkurrenz von AMD UND Intel, welche sogar noch, zumindest auf der Green500 gegen nVidia gewonnen haben, was schon ein herber Schlag für die ist. Ich war z.B. sehr überrascht, Intel mit seinem XeonPhi auf Platz 1 zu sehen :ugly: Ich hätte die Systeme mit dem Ding nicht mal unter den Top30 erwartet um ehrlich zu sein. Sprich hinter allen BlueGene/Q und allen neuen GPU-Systemen.

Bitter ist es halt auch vor allem deswegen, weil nVidia massiv genau mit diesem Punkt die Werbetrommel gerührt haben, wo Sie sich nun geschlagen geben müssen. Wenn haben Sie überhaupt noch ne Chance bzgl theoretischer DP-Performance/W, aber das hatten Sie ja, soweit ich mich erinnere, ja immer verneint, und sich schon auf DGEMM, also praktisch Linpack bezogen. Ansonsten wäre auch der Unterschied noch kleiner zwischen M2090 und K20x als er eh schon ist.

Nimm als Essenz aus dem Text im Prinzip den letzten Satz mit: Wir haben ein "Kopf-an-Kopf-Rennern" zwischen AMD, Intel und nVidia bei den beschleunigten Systemen, und wenn man die normalen noch mit rein nimmt, dann kann man IBM mit BlueGene/Q sogar noch direkt mit dazu rechnen. Die sind alle auf Augenhöhe, und das obwohl nVidia eben schon seit Jahren mit der besseren Perf/W ihrer Produkte versucht zu werben.

Vor allem die leichtere Programmierbarkeit/Protierung von Software auf XeonPhi dürfte nVidia ziemlich Kopfzerbrechen machen (AMD btw genau so). Gibt dazu einen eigentlich guten Artikel auf SA. Zwar nicht in allen Punkten korrekt, aber der Grundtonus ist schon sehr gut getroffen.

Der "günstige" Preis von XeonPhi dürfte insbesondere nVidia SCHWER ärgern. Ich bezweifle stark, dass die ihre Preis so halten können wie bisher. Die werden nur schwer mehr verlangen können als Intel für ihre Karte. Maximal paar Hunderter mehr, aber das wars auch. AMD hat das gleiche Problem, nur das ihr Chip kleiner (und dami leicher zu fertigten) ist und eben bisher auch praktisch keine Rolle gespielt haben. Sie werden zwar auch weniger bekommen als erwartet, aber das ist halt trotzdem noch viel mehr als bisher. nVidia war halt sehr weit oben/vorne, und von da fällt man halt besonders hart.

Wird bei diesen Supercomputern denn ein Teil der entstandenen Wärmeenergie in elektrische Energie umgewandelt, die wiederum die Kühlung befeuern könnte?
Ne überhaupt nicht. Wenn man GLÜCK hat, wird die Abluft/"Abwasser" noch zum heizen verwendet, aber in den meisten Serverfarmen geht das schlicht in die Klimaanlage und das wars, also 0 Nutzen. In dem Bereich setzt aber im Moment ein massiver Umdenken ein, das man sich das einfach aus Kostensicht (und ökologisch) nicht mehr erlauben kann!

EDIT:
Gipsel ausm 3DCenter hat grad noch die Pressemitteilung zum SANAM (dem FirePro-Rechner) gefunden. Hier der Link http://fias.uni-frankfurt.de/press121114.html

Ist also wohl wirklich ein Übertragungsfehler an verschiedenen stellen. die GFlop/s/W stimmen aber. Ich schau mal, das ich die R_Peak nachrechne, ob da nen Fehler drin ist.

Der Cluster ist auf jeden Fall erstaunlich klein mit gerade mal 210 Nodes.

Btw. der Verantwortliche ist Prof. Lindenstruth aus Frankfurt, unter dessen Regie auch der LoeweCSC in Frankfurt entstanden ist, welcher noch auf Radeon Karten der 5k Serie von AMD setzt, und dabei eine erstaunliche Effizienz an den Tag legt. Dies wird unter anderem dadurch erreicht, das eine Wasserkühlung eingesetzt wird.

EDIT2:
Der obige Link hat mir jetzt auch geholfen R_Peak zu berechnen. Wenn ich mich nicht verrechnet habe (was durchaus sien kann) dann sollte R_Peak bei 635040 GFLop/s liegen. R_Max liegt bei 421200 GFLop/s.

Damit hätte man eine Effizienz von ~66%. Das liegt absolut in dem Bereich, den man erwarten kann! nVidia hat das auch ca. in seinem System erreicht. Man wäre damit sogar nochmal ein gutes Stück effizienter als das HD7970 System.

Damit kann man dann aber auch das Entwicklungspotenzial bei AMD streichen! Bleibt damit aber dennoch ein wirklich sehr sehr gutes Ergebnis. Das System von Prof. Lindenstruth ist aber auch ziemlich gut designed.

Damit zementiert sich das Bild eines echten "Kopf-an-Kopf-Rennen" zwischen allen drei Herstellern (mit IBM 4). Den Preisen im HPC-Markt dürfte das sehr zugute kommen. Vom Wettbewerb ganz zu schweigen. Wir dürfen also sicherlich gespannt sein, was sich da in den nächsten Jahren tut. Die positiven Entwicklungen werden wir im Konsumermarkt aber auf jeden Fall mitnehmen können.
 
Zuletzt bearbeitet:

PCGH_Marc

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Vor nun mehr als zwei Jahr hatte nVidia am 21.09.2010, ich berichtete, ihre Roadmap für die Zukunft vorgestellt, und mit Kepler für 2011, nach dem verkorksten Fermi start, eine deutlich gestiegene DP-Flop/s pro Watt Leistung versprochen. Fast genau ein Jahr später wollte nVidia von dieser Roadmap anscheinend nicht mehr wissen, und verschob "einfach" Kepler und Maxwell um jeweils ein Jahr.
21.09.2011? Hmmm ... 05.08.2011 ...

http://www.pcgameshardware.de/Grafi...a-fuer-2012-bestaetigt-News-des-Tages-837507/
 

X-CosmicBlue

PCGH-Community-Veteran(in)
AW: Wer hat den grünsten HPC-Daumen?

Das ist doch da :ka:, also in beiden Diagrammen.
Für mich ist eine gute Legende _mehr_ als nur die Beschriftugn der x- und y-Achse und der verschiedenfarbigen Kennlinien.
Aber okay, ich hab mich inzwischen auch etwas belesen :schief:

Das ist kein Problem. Beim zweiten hat sich, wie gesagt ein Fehler eingeschlichen. Bin in der Zeile in der Tabelle verrutscht, was mir leider nicht gleich aufgefallen ist. Wie gesagt, da war ein "Ticket" offen, das sofortige Bearbeitung verlangte :lol:
Passiert, ärgerlich. Korrigiert, vorbildlich. Alles in bester Ordnung. Ich hoffe, das "Ticket" wurde zur vollen Zufriedenheit des "Kunden" geschlossen? Okay, privat, geht mich nichts an, will ich nicht wissen :devil:

R_Max und R_Peak sind genau das was ich gesagt habe.
Entschuldige, dann hatte ich das überlesen.

Zumindest soweit ich das verstanden habe.
Ein Satz, der an Deiner Fachkompetenz zweifeln läßt. Bis eben warst Du mein Green500-Guru. :hail:
Nee, im Ernst, Deine "News" bzw Dein Exkurs, kleine Abhandlung, Hausarbeit, vollwertiger Magazinartikel (wink an PCGH, bräuchtet Ihr je einen Redakteur für die Sparte "Supercomputer", hier bietet sich jemand an...), läßt einen echt glauben, Du hast Ahnung von der Materie. Und dann kommt so ein Satz. Was soll man denn nun glauben?

Eben der Maximalwert, den man erreicht hat, und R_Peak der theoretische (kurzfristig ?) erreichbare Wert. Hab auf der Green500 Liste das auch gesucht, aber leider gabs dazu keine Erklärung. Die Bedeutung der Zahl ist aber im Prinzip äquvalent, weshalb ich darauf jetzt nicht rumgeritten bin. In beiden Fällen besteht noch Optimierungspotenzial.
Okay, das ist ne Erklärung, damit kann ich leben.
Auch wenn
Ok, also
R_max: tatsächlich erreichter Wert in einem kompletten Linpack-Run
R_peack: theoretisch möglicher Wert für den Supercomputer an und für sich.

Und die f(x)-Achse zeigt dann halt R_max/R_peak
Jetzt klar?
natürlich viel besser ist :schief:
Jo, alles klar, das reicht mir als Erklärung.


Wie gesagt, ist aber im Prinzip egal, da die Aussage prinzipiell äquivalent sind.
Neenee, das ist nicht äquivalent, das ist ja gerade der springende Punkt. Sie unten (*)

Der Wert für die FirePro ist auf jeden Fall viel zu niedrig. Da hatte schon die HD5k serie bessere Werte. Hab vor kurzem mit Gispel genau darüber ne Diskussion im 3DCenter gehabt. Zudem sieht man ja auch bei der HD7970 das da auf jeden Fall noch deutlich mehr drin ist! Damit steigt zwar sicherlich auch der Verbrauch, aber die Effizienz sollte dennoch steigen. So Sachen wie RAM, CPU usw verbrauchen ja etwa gleich viel.

Laut Gipsel sollte die HD7970 (Tahiti GCN) eigentlich sogar Werte von ~90% für DGEMM erreichen, also ein Wert ähnlich dem von nVidia mit der K20x. Davon ist man aber, wie man sieht WEIT entfernt.

Und genau um den Punkt gings mir auch, weil er einfach so was von extrem auffällig ist, das es schon in den Augen wehtut, das zu sehen. Da kann einfach irgendwas nicht stimmen. Mögliche Ursachen habe ich ja genannt.

In den Hauptartikel wollte ich das aber nicht rein packen. Es war aber mit ein Grund den Artikel zu schreiben. Es ist einfach ZU auffallend. Vor allem weil das System halt trotzdem verdammt! gut dasteht was die Effizienz, also Flop/s pro Watt angeht.
Ja, da ist sicher viel Raum für Spekulationen und Interpretationen.

(*)
Dennoch finde ich da etwas verwunderlich:
Ich vergleiche die beiden Diagramme direkt miteinander:
Green500compare.png
Entschuldige die schlechte Qualität, Du hast die Originale, ich hab das nur mal eben schnell zusammengeschustert, für den besseren Überblick.

Ich pick mir mal den XeonPhi raus und betrachte mal nur den ersten und den letzten Punkt.
Dann stell ich im unteren Diagramm fest, das der XeonPhi verdammt gut mit der Anzahl skaliert.
Aber seine Rechenleistung nimmt laut oberen Diagramm ab?
Das heißt doch, bei einem "kleinen" System, das etwas mehr als 40kW Leistungsaufnahme hat, liefert mit ein XeonPhi 2500 MFlops, was 70% seiner theoretischen Rechenleistung entspricht.
Ein großes System aber, das mehr als 4000kW Leistungsaufnahmen hat, liefert nur noch 500 MFlops, erreicht gleichzeitig aber immer noch fast 70% der theoretischen Rechenleistung?
Oder anders ausgedrückt:
Bei wenigen XeonPhis liegt die theoretische Rechenleistung bei etwa 3500MFlops (2500*10/7), bei vielen XeonPhis bei etwa 720MFlops (500*10/7).
Bei der theoretischen Rechenleistung würde ich aber erwarten, das diese linear mit der Anzahl der Prozessoren wächst.
Zwei Prozessoren haben nunmal theoretisch die doppelte Rechenlsitung von einem.
Wie geht denn das, bitte schön?
Hab ich da nochwas bei Dir im Artikel überlesen? Oder was anderes übersehen?
 
Zuletzt bearbeitet:
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Passiert, ärgerlich. Korrigiert, vorbildlich. Alles in bester Ordnung. Ich hoffe, das "Ticket" wurde zur vollen Zufriedenheit des "Kunden" geschlossen? Okay, privat, geht mich nichts an, will ich nicht wissen :devil:
Passt schon ;)

Ein Satz, der an Deiner Fachkompetenz zweifeln läßt. Bis eben warst Du mein Green500-Guru. :hail:
Nee, im Ernst, Deine "News" bzw Dein Exkurs, kleine Abhandlung, Hausarbeit, vollwertiger Magazinartikel (wink an PCGH, bräuchtet Ihr je einen Redakteur für die Sparte "Supercomputer", hier bietet sich jemand an...), läßt einen echt glauben, Du hast Ahnung von der Materie. Und dann kommt so ein Satz. Was soll man denn nun glauben?
Naja, ich schau auch nicht jedes winzigste Deailchen immer nach. Da kann man sich dann auch immer mal an was falsch erinnern. Ich nehm bei manchen Sachen, die eigentlich nur am Rande angesprochen werden, es nicht sooo genau. So lang ich mir ziemlich sicher bin, dass der Sinn/Aussage so passt passts halt. Man kann mich dann aber gern korrigieren, falls ich mich doch mal falsch erinnere. Ist halt doch nicht gerade "klein" das Themengebiert :ugly: Da kann man kaum alles im Kopf behalten.

(*)
Dennoch finde ich da etwas verwunderlich:
Ich pick mir mal den XeonPhi raus und vergleiche die beiden Diagramme direkt miteinander:
Anhang anzeigen 601527
Entschuldige die schlechte Qualität, Du hast die Originale, ich hab das nur mal eben schnell zusammengeschustert, für den besseren Überblick.

Ich betrachte mal nur den ersten und den letzten Punkt.
Dann stell ich im unteren Diagramm fest, das der XeonPhi verdammt gut mit der Anzahl skaliert.
Aber seine Rechenleistung nimmt laut oberen Diagramm ab?
Das heißt, bei einem System, das etwas mehr als 40kW Leistungsaufnahme hat, liefert mit ein XeonPhi 2500 MFlops, was 70% seiner theoretischen Rechenleistung entspricht.
Ein System, das mehr als 4000kW Leistungsaufnahmen hat, liefert nur noch 500 MFlops, erreicht aber immer noch fast 70% der theoretischen Rechenleistung?
Oder anders ausgedrückt:
Bei wenigen XeonPhis liegt die theoretische Rechenleistung bei etwa 3500MFlops (2500*10/7), bei vielen XeonPhis bei etwa 720MFlops (500*10/7).
Bei der theoretischen Rechenleistung würde ich erwarten, das diese linear mit der Anzahl der Prozessoren wächst.
2 Prozessoren haben nunmal theoretisch die doppelte Rechenlsitung von einem.
Wie geht denn das beim XeonPhi, bitte schön?
Ab ich da nochwas bei Dir im Artikel überlesen?
Das muss wohl daran liegen, das wie ich schon geschrieben hatte, der XeonPhi/Node Faktor sinkt. Anders kann ich mir das nicht erklären.

Kleines Beispiel:

System 1: 10 TFlop CPU 100 TFLop XeonPhi Verbrauch 100 kW
System 2: 20 TFlop CPU 100 TFlop XeonPhi Verbrauch 130 kW
CPU Effizienz 99% XeonPhi Effizienz 50%

Wie du siehst ist das System Effizienter bzgl R_max/R_Peak, hat aber dennoch eine geringere Perf/W

Das muss halt bei dem von dir genannten Fall so sein. Anders macht es halt einfach keinen Sinn. Oder ich steh VERDAMMT auf dem Schlauch uns seh was total triviales überhaupt nicht.

Ach und Marc:
Die zeitliche Differenz lässt sich denke ich verschmerzen ;) Aber ja, du hast Recht :P
 

X-CosmicBlue

PCGH-Community-Veteran(in)
AW: Wer hat den grünsten HPC-Daumen?

Das muss wohl daran liegen, das wie ich schon geschrieben hatte, der XeonPhi/Node Faktor sinkt. Anders kann ich mir das nicht erklären.
Ich hätte den "Mehrverbrauch" auf das NIC (das mit größeren Systemen immer komplexer wird und deshalb ineffizienter) geschoben, wenn man nur das obere Diagramm betrachtet, beim Blick auf die Effizienz fiel das dann aber aus. XeonPhi/Node ist natürlich auch ne Erklärung. Wahrscheinlich die bessere. :schief:


Kleines Beispiel:

System 1: 10 TFlop CPU 100 TFLop XeonPhi Verbrauch 100 kW
System 2: 20 TFlop CPU 100 TFlop XeonPhi Verbrauch 130 kW
CPU Effizienz 99% XeonPhi Effizienz 50%

Wie du siehst ist das System Effizienter bzgl R_max/R_Peak, hat aber dennoch eine geringere Perf/W

Das muss halt bei dem von dir genannten Fall so sein. Anders macht es halt einfach keinen Sinn. Oder ich steh VERDAMMT auf dem Schlauch uns seh was total triviales überhaupt nicht.
Okay, das wäre ne Erklärung. Trotzdem, das Gefühl, das Du da zum Schluß beschreibst, kenn ich und es bleibt - trotz Deiner Erklärung...
 

bingo88

PCGH-Community-Veteran(in)
AW: Wer hat den grünsten HPC-Daumen?

Die Green500-Liste ist mir irgendwie entgangen ^^ JUQUEEN ist ja auch dabei :-) Habe das Teil am Mittwoch gesehn, ist schon ein imposanter Aufbau.
 
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Warste in Jülich? :D

Gell vorallem der "Sound" von som Teil ist geil ne :D

Ich war schon im CERN in deren Rechenzerntrum. War auch nen "nettes" Teil :D

Ich hoffe ja auch, das ich mal während/durch meinen HiWi Job nach Jülich oder so kann. Mal schauen, obs was wird.

Nächstes Jahr schau ich aber auf jeden Fall, das ich auf die SC nach Amerika geh. Ich muss nur dran denken, mich rechtzeitig zu bewerben :ugly: Ne Kollegin nen Platz weiter war/ist jetzt grad schon das zweite mal da :D
 

bingo88

PCGH-Community-Veteran(in)
AW: Wer hat den grünsten HPC-Daumen?

Warste in Jülich? :D

Gell vorallem der "Sound" von som Teil ist geil ne :D

Ich war schon im CERN in deren Rechenzerntrum. War auch nen "nettes" Teil :D

Ich hoffe ja auch, das ich mal während/durch meinen HiWi Job nach Jülich oder so kann. Mal schauen, obs was wird.

Nächstes Jahr schau ich aber auf jeden Fall, das ich auf die SC nach Amerika geh. Ich muss nur dran denken, mich rechtzeitig zu bewerben :ugly: Ne Kollegin nen Platz weiter war/ist jetzt grad schon das zweite mal da :D
Ich habe Vorlesungen am FZJ, daher treibe ich mich dort rum. Wir hatten eine Raumänderung an dem Tag und der neue Raum lag halt direkt oberhalb der Maschinenhalle. Da musste ich dann mal gucken gehen. War allerdings nur durch die Scheibe. Aber trotzdem sehr interessant, man konnte auf Info-Displays einige Daten wie Auslastung, Stromverbrauch (:ugly:) und so sehen. Das ist alles ne ganz andere Größenordnung.

ISC wär bestimmt ziemlich cool :-)
 

Research

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

[]

Ne überhaupt nicht. Wenn man GLÜCK hat, wird die Abluft/"Abwasser" noch zum heizen verwendet, aber in den meisten Serverfarmen geht das schlicht in die Klimaanlage und das wars, also 0 Nutzen. In dem Bereich setzt aber im Moment ein massiver Umdenken ein, das man sich das einfach aus Kostensicht (und ökologisch) nicht mehr erlauben kann![]

Ich verrate mal so viel: Ich komme aus einem Bereich der sich sehr intensiv damit beschäftigt.
Was unser Cluster momentan verbrät muss ich nachfragen. Auch das Gebäude das wir beheizen werden. Ebenso die externe Kühlung mit sehr mächtigen Radiatoren dank intelligenter Klimaanlage. Momentan überlegen wir ob wir noch Geld bekommen um mit der Überschüssigen Wärme die Gehwege und den Parkplatz Eis-und-Schnee frei zu halten. Oder es heißt im Winter: "Gegen den Klimawandel, Heizung voll aufdrehen, alle Fenster auf!" Momentan sieht es so aus das im günstigsten Fall der Verbrauch eines Rechenzentrums 2 ist. Eine Einheit Energie für die Server, eine für deren Kühlung. Google hat es geschafft in eigenen Versuchsauflagen diesen Gesamtwert auf 1,25 zu drücken.

BTW: Wir planen eine neue Anlage. Ich werde demnächst damit beginnen Informationen zu sammeln und bräuchte Diskussionspartner.
Wenn es hier im Bereich Highlight-Performance-Computing (CPUs) gibt, wir sind noch am überlegen was wir als CPU nehmen sollen. Würde dazu gerne nen Extra-Threat öffnen.
Je besser ich informiert bin, desto effektiver werden die Steuergelder, die hier einfließen werden, verwendet werden.;)


Memo an mich selbst: Gewächshaus-Option prüfen!
 
Zuletzt bearbeitet:
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Naja, so "dumm" ist die Idee mit dem Parkplatz gar nicht. Man spart sich halt echt den Winterdienst :ugly:

Gibt auch nen Spargelbauer irgendwo in Deutschland, der in der Nähe von nem AKW ist. Der lässt vom AKW seine Felder beheizen, damit er mehr und schneller ernten kann :D So was ist halt echt gar nicht verkehrt, da diese Restwärme ansonsten wirklich anders gekühlt werden muss.
 

Research

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Zumal ein Parkplatz eine Große Fläche ist, die zudem Wasser verdunsten kann.:D Gleiches gilt für die Gehwege.
Und es erhöht die Sicherheit.:P
Vielleicht bekommen wir es später durch, alle Gebäude damit zu heizen.
Müsste mal durchrechnen was uns der Winterdienst kostet... mal ne Gesamtkostenrechnung machen...

Laut Aussagen, wird das Wasser, das wir erwärmen werden, 50°C heiß. Reicht nicht für sehr viel, aber an Ideen mangelt es mir nicht. Nur das Geld aus öffentlicher Hand ist so verdammt knapp.

Verdammt, wir bauen ein beheiztes, offenes, ganzjähriges, Outdoor-Schwimmband. Moment, gleich um die Ecke ist ein Schwimmbad. Fernwärme!

Spaß beiseite, wir überlegen die Abwärme ins Grundwasser, bzw. eine Wasserblase unter den Gebäuden abzugeben, zumindest im Sommer, wo die Radiatoren nicht arbeiten können.
 
Zuletzt bearbeitet:
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Ähm es gibt da eigentlich einen ganz "einfachen" trick, wie man Radiatoren auch im Sommer zum laufen bekommt, egal wie warm es draußen ist, aber da müsste ich mich erstmal erkundigen, ob das patentiert ist :ugly:
 

Research

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Nun, bei 40° Außentemperatur geht da noch ein bisschen. Aber da muss die Klima schon ordentlich loslegen.

Immer raus damit.
 

Superwip

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Im Winter ist alles kein Problem- kritisch ist wenn dann der Sommer, da es dann so warm ist, dass man mit der überschüssigen Wärme (fast) nichts sinnvolles anfangen kann, vor allem weil man das Temperaturniveau im Kreislauf ja nicht wesentlich erhöhen kann.

Will man Radiatorfläche sparen ist es natürlich eine sehr elegante Möglichkeit über ein (möglichst kaltes) Gewässer zu kühlen, gegebenenfalls auch über einen Kühlturm.

Hab nicht ohne Grund auf meine eigene News von damals verlinkt ;)

Leider funktioniert der Link nicht :schief:
 
Zuletzt bearbeitet:

PCGH_Carsten

Ex-Redakteur
AW: Wer hat den grünsten HPC-Daumen?

Also hies es wieder warten, und nun mit der Vorstellung von K20 im Rahmen der SC12 in SalteLake-City, hat das Warten nun ein Ende. Wie sich zeigte, verfehlt man aber scheinbar die anvisierte Effizienzsteigerung mehr oder weniger deutlich mit einem Wert von ~2,3 bis ~2,8 bei einem anvisierten Wert von ~3,0.

Wo zeigte sich das? Die Werte die in deinem Link beschrieben sind, vergleichen Peak-DPFP gegen real erreichte DGEMM-Leistung? Und das noch mit einem Wert, der rund 1/6 unter dem real erreichten liegt - glaubt man den Herstellerangaben (aber davon gehst du bei M2090 ja ebenfalls aus).

Schau mal in diese Tabelle:
Intel stellt Larrabee offiziell vor: Xeon Phi 5110P und 3100-Serie mit über 1 TFLOP Double-Precision
 
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Komisch. Aber danke. Jetzt sollte der Link funktionieren. :daumen:

@Carsten:
Nein, das sind die real DGEMM Werte ausgehend auf den wohl besten DGEMM Implementierungen, die verfügbar sind, bzw dem was nVidia selbst dazu sagt.

Für Fermi erreicht man wie gesagt eine Effizienz von 60-65% und für K20(x), also GK110, soll man etwas um die 80% erreichen.Das passt ja auch ganz gut zu den Ergebnissen aus der zweiten Graphik, die ich später noch gemacht habe. Die Werte von Clustern sind immer etwas schlechter. Deswegen bezieht sich nVidia (wie JEDER Hersteller) da auch auf Single-Nodes usw usw, also den Optimalfall.

Man kann in erster Näherung das aber schon als Referenznehmen, da im großen und Ganzen die Skalierung Optimalfall->realer Cluster relativ ähnlich sein sollte. Den Fehler kann man also erstmal vernachlässigen für so eine prinzipielle Betrachtung.

Die Daten sind hiermit untermauert: http://insidehpc.com/2012/05/18/new...t-gen-cuda-compute-architecture-kepler-gk110/
Das ist auch der Link aus dem Link. Für ich ist das so ziemlich das aktuellste (18.05.12) und offiziellste (Whitepaper)

Whitepaper schrieb:
Kepler GK110 will provide over 1 TFlop of double precision throughput with greater than 80% DGEMM
efficiency versus 60‐65% on the prior Fermi architecture.
Seh da jetzt nicht den Kritikpunkt. :ka: Ok, Sie schreiben >80%, aber wenns >85,90% wäre, würden Sie das auch schreiben. Ergo liegt der Fehler sehr sehr sicher bei <10%. Das ist jetzt nicht mehr ganz vernachlässigbar, aber auch nichts, was ein völlig anderes Ergebnis ergibt.

Berücksichtigt habe ich derartige Unbekannten aber durchaus:
Durch den Konjunktiv sollte das eigentlich hinreichend klar geworden sein, wobei die Best-/Worstcase-Abschätzung ja durchaus zeigt, dass selbst im Bestcase man nicht gerade klar die Ziele erreicht. Die Diagramme sind halt nicht wirklich klar, und lassen einiges an Interpretationsspielraum. Daher habe ich prinzipiell versucht, die Sache eher pro nVidia zu interpretieren. Man muss ja dran denken, das es Marketing-Folien sind :rolleyes: Statt den 3,0 hätte man auch höhere Werte von bis zu etwa 3,3 nehmen können.

Und wenn man das Diagramm/Roadmap als absolute Werte anschaut, dann siehts halt nicht wirklich besser aus.
Denn dann müsste man die Oberkanten der Bildchen nehmen, da Fermi ja auf ~1,8 +/- 0,1 DP-GFlop/s/W kommt. Dann müsste Kepler aber so ca 5,7 +0,1 -0,2 DP-GFlop/s/W (jeweils in DGEMM, da man sich ja drauf bezieht) erreichen. Davon sind wir aber noch VIEL weiter weg, als wenn man das ganze so interpretiert, also als Relation und nicht als absolute Werte, wie ich.

Und jetzt sag noch jemand, ich würde nVidia bashing betreiben :ugly: JA ne is klar, deswegen interpretier ich die Werte ja auch mit gutem Willen, so dass Sie ihre Zielsetzung nur knapp verfehlen bis hin zu knapp erreichen. Wobei man für "knapp erreichen" schon sehr wohlwollend sein muss meiner Meinung nach.

EDIT:
Ach was mir gerade auffällt. Falls du mit deinem Link meintest, das Kepler 1220 GFlop/s schafft in DGEMM statt den von mir angenommenen 1100 GFlop/s, das macht keinen gewaltigen Unterschied.

Die Worst-/Best-Case-Abschätzun ist dann ~2,7 bis ~2,9 (statt ~2,3 bis 2,8) Wie man sieht, war meine Best-Case-Abschätzung recht nah dran. Über die Worst-Case-Abschätzung kann man sich streiten, da ist der Unterschied schon relativ groß, aber es ist halt auch eine WORST-Case-Abschätzung. Daher in meinen Augen noch vertretbar.

Aber schön, das wir jetzt eine bessere Abschätzung haben. An der grundlegenden Aussage ändert sich doch jetzt aber nichts, oder siehst du das anders?
 
Zuletzt bearbeitet:

PCGH_Carsten

Ex-Redakteur
AW: Wer hat den grünsten HPC-Daumen?

Die grundlegende Aussage? Dass du eine 2,9 anstelle einer 3,0* als „Ziel verfehlt“ ansiehst, bei deinen eigenen Rechnungen aber „Ergo liegt der Fehler sehr sehr sicher bei <10%. Das ist jetzt nicht mehr ganz vernachlässigbar, aber auch nichts, was ein völlig anderes Ergebnis ergibt.“ als Maßstab ansetzt?

Die „Abschätzung“ in unserer Tabelle beruht auf dem, was die jeweiligen Hersteller selbst in ihren Launch-Materialien über ihre Produkte sagen (aus Basis einzelner Systeme, nicht ganzer SC-Anlagen).

Die Diagramme sind halt nicht wirklich klar, und lassen einiges an Interpretationsspielraum. Daher habe ich prinzipiell versucht, die Sache eher pro nVidia zu interpretieren. Man muss ja dran denken, das es Marketing-Folien sind Statt den 3,0 hätte man auch höhere Werte von bis zu etwa 3,3 nehmen können.
Eben, es sind Marketing-Diagramme. Die Datenpunkte von Tesla, Fermi, Kepler und Maxwell sind so große Flächen, dass sich ein herumrechnen daran eigentlich überhaupt nicht lohnt - den Kepler-„Punkt“ könnte man mMn von ~4,25 bis ~5,75 DPFP-GFLOPS/Watt interpretieren. Da ist es irgendwie sinnlos finde ich, von verfehlten Zielen zu sprechen und das dann mit der Green500 zu untermauern.

Denn was die Green500-Liste angeht:
Die ist in dieser Form doch ein Witz! Beacon schafft mit seinen ~45 kW und 157,5 TFLOPS rund 11% mehr als ein einziger Schrank des Titan-SCs (139 TFLOPS). Das ist ungefähr so, als würdest du den pro-100-km-Verbrauch eines Kleinwagens mit einem LKW vergleichen (hier passt der Kfz-Vergleich endlich mal). Wenn ich so einen Schrank am Polarkreis aufstelle oder besser, die Blades auf ein paar Tischen ausbreite) und das Fenster aufmache, spar ich direkt mal 20% Energie bei der Kühlung - was in der Green500 auch nicht berücksichtigt wird (darum steht der SANAM wohl auch nicht in Riad).

Außerdem: Beim Titan schlägt bereits der Idle-Betrieb mit rund 5 MW zu Buche - inklusive Kühlung. Der wirkliche Mehrverbrauch unter Last ist auf dieser Basis geradezu lächerlich gering. Für die Umwelt ist der Wert natürlich wichtig, für die Effizienz der Architekturen über solcherlei enorm unterschiedlich skalierten System aber mMn. kein brauchbarer Gradmesser.

Ich glaube ich muss mal eine allgemeine Kritik an der green500 schreiben (Stichwort: Excel-Joke).

P.S.: Ich muss jetzt erstmal WE betreiben.
 
TE
Skysnake

Skysnake

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Da hast du durchaus zum Teil recht, aber schau dir mal BlueGene/Q an. DAS ist ne richtig gute SuperComputer-Architektur, die richtig richtig gut skaliert. Deswegen will/kann ich dir auch mit deinem Skalierungsargument nicht ganz Recht geben.
 

X-CosmicBlue

PCGH-Community-Veteran(in)
AW: Wer hat den grünsten HPC-Daumen?

Laut Aussagen, wird das Wasser, das wir erwärmen werden, 50°C heiß. [...] Moment, gleich um die Ecke ist ein Schwimmbad. Fernwärme!

Spaß beiseite
Wieso Spaß? Sowas wird wirklich gemacht!

wir überlegen die Abwärme ins Grundwasser, bzw. eine Wasserblase unter den Gebäuden abzugeben, zumindest im Sommer, wo die Radiatoren nicht arbeiten können.
Paßt auf, das Euch da die Umweltschützer nicht aufs Dach steigen. Gerade wenn es ums Grundwasser geht.
Abgesehen davon gibt es das Problem, das es wieder wärmer wird, wenn man tiefer geht. Mit Erdwärme aus etwa 85m Tiefe lassen sich in unseren Breitengraden im Winter bereits Einfamilienhäuser heizen.

Ähm es gibt da eigentlich einen ganz "einfachen" trick, wie man Radiatoren auch im Sommer zum laufen bekommt, egal wie warm es draußen ist, aber da müsste ich mich erstmal erkundigen, ob das patentiert ist :ugly:

Nun, bei 40° Außentemperatur geht da noch ein bisschen. Aber da muss die Klima schon ordentlich loslegen.

Immer raus damit.

Im Winter ist alles kein Problem- kritisch ist wenn dann der Sommer, da es dann so warm ist, dass man mit der überschüssigen Wärme (fast) nichts sinnvolles anfangen kann, vor allem weil man das Temperaturniveau im Kreislauf ja nicht wesentlich erhöhen kann.

Will man Radiatorfläche sparen ist es natürlich eine sehr elegante Möglichkeit über ein (möglichst kaltes) Gewässer zu kühlen, gegebenenfalls auch über einen Kühlturm.
Warmwasserkühlung könnte Abhilfe schaffen - auch im Sommer. Man verbraucht weniger Energie bei der Kühlung, weil das Kühlmedium nicht auf Umgebungstemperatur heruntergekühlt wird.
Nachteil: Flüssigkeitskühlung ist aufwendiger als Luftkühlung (Schläuche etc.), gerade bei so großen Anlagen.
 

Research

Lötkolbengott/-göttin
AW: Wer hat den grünsten HPC-Daumen?

Wieso Spaß? Sowas wird wirklich gemacht!

mit gut 1.3 km Luftlinie wird das bei uns nichts.;)

Paßt auf, das Euch da die Umweltschützer nicht aufs Dach steigen. Gerade wenn es ums Grundwasser geht.
Abgesehen davon gibt es das Problem, das es wieder wärmer wird, wenn man tiefer geht. Mit Erdwärme aus etwa 85m Tiefe lassen sich in unseren Breitengraden im Winter bereits Einfamilienhäuser heizen.
In der Branche arbeiten wir selber.:D
Das man das nur sauber zurück leiten darf, ist mir bewusst. Nennt sich nicht umsonst Grundwasser.
Bin am überlegen ob das mit gesammelten Regenwasser in Erdtanks geht...
Und ob es einfach kein Kaltwasser, aus den Leitungen, gibt.


Warmwasserkühlung könnte Abhilfe schaffen - auch im Sommer. Man verbraucht weniger Energie bei der Kühlung, weil das Kühlmedium nicht auf Umgebungstemperatur heruntergekühlt wird.
Nachteil: Flüssigkeitskühlung ist aufwendiger als Luftkühlung (Schläuche etc.), gerade bei so großen Anlagen.
Das hilft uns leider nicht da wir die Wärme trotzdem abführen müssen. Wir produzieren immer zu viel, und heizen wollen wir damit schon. Aber was macht man im Sommer bei 40°C+?
 
Zuletzt bearbeitet:
Oben Unten