Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

[PCGH-Redaktion]

Jetzt ist Ihre Meinung gefragt zu Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Nachdem China im November 2010 mit Tianhe(Milchstraße)-1A kurzzeitig Platz 1 der Top500 belegte, inzwischen aber auf Rang 8 und damit sogar hinter den in Münschen stehenden SuperMUC zurückfiel, macht man sich nun im Reich der Mitte mit Tianhe-2 auf, die Spitze erneut zu erobern.

[size=-2]Bitte beachten Sie: Der Kommentarbereich wird gemäß der Forenregeln moderiert. Allgemeine Fragen und Kritik zu Online-Artikeln von PC Games Hardware sind im Feedback-Unterforum zu veröffentlichen und NICHT im Kommentarthread zu einer News. Dort werden sie ohne Nachfragen entfernt. Sollten Sie Fehler in einer News finden, schicken Sie diese bitte an online@pcgameshardware.de mit einem aussagekräftigen Betreff.[/size]

Zurück zum Artikel: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

 

[Voodoo2]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

für den keller zu grosss
die zahlen sind schwindelerregend echt krass

 

[unthinkable]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Ich würde gern ne Techdemo dazu sehen

 

[ruyven_macaran]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Kann mir jetzt noch jemand erklären, was eine "Fat Tree" Topologie exakt ist und wieso man bei 4x16 Lanes pro Node 3 Karten verwendet?

(Anm. @News: vbb-Listen-Code scheint nicht zu funktionieren, bei den CPUs fehlt ein "P" und allgemein könnte man ein paar Füllwörter streichen, wenn man schon ein Einführungs zu News Verhältnis von ~5:1 hat)

 

[Voodoo2]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Kann mir jetzt noch jemand erklären, was eine "Fat Tree" Topologie exakt ist und wieso man bei 4x16 Lanes pro Node 3 Karten verwendet?

(Anm. @News: vbb-Listen-Code scheint nicht zu funktionieren, bei den CPUs fehlt ein "P" und allgemein könnte man ein paar Füllwörter streichen, wenn man schon ein Einführungs zu News Verhältnis von ~5:1 hat)

Datei:Fat tree korrigiert.jpg

http://de.wikipedia.org/wiki/Fat_Tree

 

[ruyven_macaran]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Hab mich vielleicht nicht genau genug ausgedrückt: Baum-Topologie mit höherer Bandbreite ergibt sich ja sogar aus dem Wort.
Aber wie sieht die Implementierung hier aus? Ich kann n Fat-Tree auch mit 10 TBase Endgeräten an Switches mit 100 Tbase Uplink an Switches, die über 1000 TBase mit nem Server verbunden sind aufbauen. Tippe aber darauf, dass es hier etwas ausgefeilter ist
Also: Wieviele Ebenen? Welche Bandbreiten auf jeder Ebene? Verbindung nur über Switches oder kommen da auch Kontrollfunktionen an den Verzweigungen hinzu? Insbesondere im Root? Kann mir schwer vorstellen, dass das Ding hier dezentral kontrolliert wird und gar keine Untercluster kennt.

 

[PCGH_Carsten]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

[...] wieso man bei 4x16 Lanes pro Node 3 Karten verwendet?

3x Xeon Phi, 1x NIC - steht in der Quelle.

Darin steht übrigens auch, dass die Effizienz eher bei 62 (TH2) zu 65% (Titan) liegt. Und dass die Power-Angabe ohne Kühlung gemacht ist. Gekühlt, also im Betrieb, werden 24 MW verschlungen. Und einen deklassierten GPU-Supercomputer, der auch Tianhe hieß, hat Skysnake übersehen:
Tianhe-1 - NUDT TH-1 Cluster, Xeon E5540/E5450, ATI Radeon HD 4870 2, Infiniband | TOP500 Supercomputer Sites (sicherlich nicht, weil er mit Radeon-HD-4870X2 bestückt war)

 

[beercarrier]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Hab mich vielleicht nicht genau genug ausgedrückt: Baum-Topologie mit höherer Bandbreite ergibt sich ja sogar aus dem Wort.
Aber wie sieht die Implementierung hier aus? Ich kann n Fat-Tree auch mit 10 TBase Endgeräten an Switches mit 100 Tbase Uplink an Switches, die über 1000 TBase mit nem Server verbunden sind aufbauen. Tippe aber darauf, dass es hier etwas ausgefeilter ist
Also: Wieviele Ebenen? Welche Bandbreiten auf jeder Ebene? Verbindung nur über Switches oder kommen da auch Kontrollfunktionen an den Verzweigungen hinzu? Insbesondere im Root? Kann mir schwer vorstellen, dass das Ding hier dezentral kontrolliert wird und gar keine Untercluster kennt.

"Wieviele Ebenen? Welche Bandbreiten auf jeder Ebene?"
möglichst wenige? jede weitere ebene kostet verwaltungsaufwand und verbindungsgeschwindigkeit und nicht zuletzt jede menge glasfaser-/kupferkabel. apropo bandbreite das wär echt interessant, vermute mal das sie nicht die komplette rohleistung abdeckt, aber china hat geld, vlt sparen sie nicht am falschen ende, auf jedenfall sinnvoller als es für flugzeugträger rauszuhauen.

ich wette "Verbindung nur über Switches oder kommen da auch Kontrollfunktionen an den Verzweigungen hinzu?" sie kommen hinzu, physikalische berechnungen lassen sich ja auch nur zum teil parallelisieren und unterliegen meist schon einer gewissen reihen folge.

"Kann mir schwer vorstellen, dass das Ding hier dezentral kontrolliert wird und gar keine Untercluster kennt."
ich auch nicht, man würde ja auf einen der größten vorteile einer baumtopologie verzichten. es wäre aber schon lustig wenn man das ding mit einer einfachen primzahlberechnung komplett belegen und ausnutzen kann.

FATtree, ich vermute mal das entweder die anbindung (glasfaser,oder sonst iwas mit hoher bandbreite, aber bei 3,4 tflops pro node, und kein ringbus (da könnte man einfach 1000de glasfaser leitung einmal rund rum legen, ansonsten ist das ganze von der prioritätsvergabe doch ein wenig kompliziert), wie soll das gehen ohne drastische engpässe ) oder einfach eine große anzahl von nodes pro cluster (was iwie auch nicht gerade effizient klingt und bei fattree einfach nur ergebnisse zur übergeordneten ebene geschubst werden) gemeint ist. vlt hast du ja eine bessere vermutung? ausserdem würde mich mal interessieren wieviel der rechenleistung der verwaltungsaufwand frisst, so im schnitt halt.

 

[Fabiii]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

China: Größer Schneller Besser Die hauen da wieder was raus^^

 

[boxleitnerb]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Wie effizient Tianhe-2 wohl wäre, wenn statt Ivy-Bridge auch die Opterons zum Einsatz kämen? Der Vergleich hinkt also. Es ist kein Kunststück, mit fast dreimal so vielen Beschleunigern nichtmal die doppelte reale Leistung zu erreichen. Brute Force eben, es ist eine Geldfrage.

 

[Skysnake]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Hab mich vielleicht nicht genau genug ausgedrückt: Baum-Topologie mit höherer Bandbreite ergibt sich ja sogar aus dem Wort.
Aber wie sieht die Implementierung hier aus?

Gibt es eigentlich keine Vorgabe zu. Fat-Tree bedeutet nur, dass die Datenleitungen zum Root (Wurzel) hin "dicker" werden. Wie du das genau machst ist im Pinzip völlig freigestellt.

Du kannst also mehr Leitungen/Ports, oder eben schnellere Leitungen/Ports nutzen, je weiter du nach oben kommst. Die Idee hinter dem Fat-Tree ist, das man bei lokalen Berechnungen nur auf der eigenen Ebene, oder eine Ebene höher hinaus muss, wie die eigene Ebene. Man kann so einen Cluster relativ einfach partitionieren,

Ich kann n Fat-Tree auch mit 10 TBase Endgeräten an Switches mit 100 Tbase Uplink an Switches, die über 1000 TBase mit nem Server verbunden sind aufbauen.

Ja, das ist im Prinzip auch ein Fat-Tree. Die Idee/Konzept ist halt ziemlich allgemein.

Tippe aber darauf, dass es hier etwas ausgefeilter ist

Eigentlich nicht. Man verwendet zwar andere TEchnologie, die Idee dahinter ist aber die Gleiche

Also: Wieviele Ebenen? Welche Bandbreiten auf jeder Ebene?

Müsste man ausrechnen, habe ich jetzt nicht gemacht. Wenns dich wirklich interessiert kann ich das noch machen.

Verbindung nur über Switches

Und Backplane

oder kommen da auch Kontrollfunktionen an den Verzweigungen hinzu?

Definiere "Kontrollfunktionen" bitte. Gewisse Sachen hast du immer drin, der Switch/NIC muss ja wissen, wo hin das geht, und ob er überhaupt etwas senden kann, oder eben nicht.

Für Broadcast usw usw gibt es teilweise eben auch ein Priorisierung gewisser Datenpakete. So was ist aber immer! Herstellerspezifisch, und es wird oft auch ein gewisses Geheimnis darum gemacht, wie etwas GENAU funktioniert.

Insbesondere im Root?

Der zeichnet sich normal nicht besonders aus, außer, dass er eben SEHR FAT ist

Kann mir schwer vorstellen, dass das Ding hier dezentral kontrolliert wird und gar keine Untercluster kennt.

Wie meinst du dezentral kontrolliert?

3x Xeon Phi, 1x NIC - steht in der Quelle.

Darin steht übrigens auch, dass die Effizienz eher bei 62 (TH2) zu 65% (Titan) liegt. Und dass die Power-Angabe ohne Kühlung gemacht ist. Gekühlt, also im Betrieb, werden 24 MW verschlungen. Und einen deklassierten GPU-Supercomputer, der auch Tianhe hieß, hat Skysnake übersehen:
Tianhe-1 - NUDT TH-1 Cluster, Xeon E5540/E5450, ATI Radeon HD 4870 2, Infiniband | TOP500 Supercomputer Sites (sicherlich nicht, weil er mit Radeon-HD-4870X2 bestückt war)

Ja, Tianhe-1 (ohne A) habe ich mir nicht mehr angeschaut, da zu alt war/ist.

Vor allem fand ich ihn im Kontext nicht mehr relevant. Interessant ist ja eher, das nVidia den Folgedeal eben nicht holen konnte bei den Chinesen, sondern eben Intel. Das die Chinesen nicht mehr nVidia einsetzen, war ja absehbar, aber das es XeonPhi wird, hat mich doch überrascht, hätte eher zu AMD und GCN tendiert.

 

[bofferbrauer]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

...inzwischen aber auf Rang 8 und damit sogar hinter den in Münschen stehenden SuperMUC...

Kleiner fehler in der Einleitung

Ansonsten: Toller Artikel

 

[Coldhardt]

Sehr interessant

Wie wird das ganze eigentlich gekühlt? Auch mit Warmwasserkühlung?

 

[Skysnake]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

So GANZ habe ich es nicht verstanden, aber scheinbar mit Luft, die Wiederum mit Waswer gekühlt wird.

Die Xeon Phis haben auf jeden Fall ihren "0815" Luftkühler drauf.

 

[Coldhardt]

Ah ja. Danke

 

[derP4computer]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

China: Größer Schneller Besser Die hauen da wieder was raus^^

Ich finde es einfach nur erbärmlich, wie sie alle dem großen Tiger in den Hintern kriechen wollen, hauptsache die Auftragsbücher sind voll.

 

[ruyven_macaran]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Müsste man ausrechnen, habe ich jetzt nicht gemacht. Wenns dich wirklich interessiert kann ich das noch machen.

Und Backplane

Definiere "Kontrollfunktionen" bitte. Gewisse Sachen hast du immer drin, der Switch/NIC muss ja wissen, wo hin das geht, und ob er überhaupt etwas senden kann, oder eben nicht.

Für Broadcast usw usw gibt es teilweise eben auch ein Priorisierung gewisser Datenpakete. So was ist aber immer! Herstellerspezifisch, und es wird oft auch ein gewisses Geheimnis darum gemacht, wie etwas GENAU funktioniert.

Der zeichnet sich normal nicht besonders aus, außer, dass er eben SEHR FAT ist

Wie meinst du dezentral kontrolliert?

Die Grundüberlegung ist: Wie wird das System verwaltet? Wer kümmert sich darum welcher Node was macht?
Ich weiß nicht genau, wie weit das Fat Tree Konzept reicht, aber prinzipiell würde ich jetzt auch Systeme dazu zählen, bei denen eine gewisse Anzahl von Nodes an einen koordinierenden Rechner angeschlossen ist, der somit sowohl als Switch und Verbindung zur nächsten Verzweigungsstufe dient, aber auch als Koordinator eines Sub-Clusters.
Die Alternative (bzw. deren Extrem) ist halt eine dezentrale Selbstorganisation, bei der Aufgaben global schedult werden, was aber eben auch mal bedeuten kann, dass die Daten von Rechenschritt A, die auch für Rechenschritt B1 benötigt werden, auf einem Node am anderen Ende der Halle liegen. Schlimm genug, wenn man mit multiplen Ringbussen arbeitet, aber bei einem Fatnode kann im Worst Case jede einzelne Datenübergabe einmal den kompletten Baum runter bis zum root und im nächsten Ast wieder komplett hoch bis zum Node wandern. Und ohne effiziente Organisation (die dezentral imho kaum möglich ist, eben weil alle relevanten Daten erst einmal auf diesem umständlichen Weg gesammelt werden müssen) tritt dieser Worst Case mehr oder minder unkontrolliert ein (aber nicht zwingend zufällig - sondern bei sehr ungünstigen Laufzeiten einzelner Codeteile ggf. sogar ziemlich regelmäßig) - und wenn er zu oft eintritt, dürfte die Performance komplett am Boden liegen.
Deswegen die Frage: Wurden derartige potentielle Probleme einfach mit einem even fatter tree erschlagen, oder hat man sich Gedanken gemacht, die zu lesen interessant wäre?
N bissl damit in Zusammenhang steht auch die Frage nach Ebenen und Bandbreiten. Wenn ich sowieso nur 1-2 Ebenen habe, die sich entsprechen stark verzweigen ("fat bush"?), ist der Unterschied sicherlich gering. Wenn ich dagegen 16k Nodes mit sagen wir mal 16er Switches verbinde (mit wie vielen Ports gibts Switches jenseits von 40 Gbit eigentlich?), habe ich ganz schnell mal 4-5 Ebenen, also auch bis zu 10 Hops zwischen zwei Systemen. (dazu noch LAN->CPU->Karte innerhalb jedes Nodes, denn letztlich sind ja die Phi die Spitzen des Baumes)

 

[Skysnake]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Ok, da liegt wohl ein falsches Bild deinerseits vor.

Es gibt bei Clustern eigentlich NIE "das Netzwerk", es gibt immer nur "die Netzwerke", bzw eher das Communicationsnetwork und das Managementnetwork.

Für Management nimmt man meist ziemlich Dumpf GB-Ethernet. Das ist auch kein Problem, da man weder latenzkritische Aufgaben hat, noch besonders hohe Datenraten braucht. Über das Managementnetwork spricht aber nie jemand. Das ist einfach nur da. Bei IBMs Blue-Gene gibt es z.B. nicht nur 2 Netzwerke, sondern deren drei, wenn ich mich recht erinnere. Du hast einmal Low-Latency/High-Bandwidth-Communication, und dazu dann nochmal eins, wo du praktisch nur so Sachen machst wie Broadcasts, Barriers usw.

Ich hoffe es ist jetzt etwas klarer.

Ansonsten läuft halt auf jeden Knoten ein eigenes OS, welches dann mittels SSH verwaltet wird im Normalfall, oder eben mit einer Management-Software, die dann aber eigentlich auch wieder nur eine Abstraktionsschicht darstellt. MPI funktioniert ja auch "einfach" über SSH.

Das ist aber alles wirklich kein Hexenwerk. Da reichen meist sogar einfach Dateien, in denen die zu verwendenden Rechner eingetragen sind, und gut ist.

Bzgl. dem "Erschlagen".

Das ist halt die Idee hinterm FAT-Tree, im Vergleich zum normalen Tree. Man erhöht die Bandbreite zur Wurzel im Optimal fall genau so stark, wie die Gesamtbandbreite der jeweiligen Stufe darunter. Du kannst in dem Fall also gar nicht blockieren. DAs ist dann halt sehr Hardwareaufwändig.

Das ist dann halt immer die Frage nach den Problemen, die man auf dem Cluster dann laufen lässt, wie weit man da eben gehen muss.

Bzgl "hops":
Das ist nicht ganz so schlimm wie von dir gedacht. Die Karten erledigen die Datenweiterleitung im Normalfall ohne Eingriff der CPU. Das erledigt alles der NIC, wobei es da schon sehr sehr sehr große Unterschiede gibt. Deswegen die sind die Preisunterschiede aber auch so groß bei den Karten

Und im Artikel steht ja, dass einer der großen Switches >500 Ports hat. Das ist auch relativ "normal" für große Switches. Die brauchen dann zwar nen paar kW Strom, aber mei, von nichts kommt nichts

Jetzt klarer Ruyven?
Wenn nicht, ruhig fragen!

Bei vielen Dingen ist es einfach so, dass ich mir gar nicht vorstellen kann, dass das jetzt jemand nicht weiß, oder es ein Verständnisproblem geben könnte. Bin da in der Thematik einfach zu tief drin.

 

[ruyven_macaran]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Ich seh zwar immer noch Effizienzverluste gegenüber anderen Topographien, aber bei 500 Ports ist man natürlich in einem Bereich, der den Namen "Tree" überhaupt nicht mehr verdient. Das ist ja bestenfalls ne Fadenalgen, wenn man mit zwei Ebenen auskommen kann

 

[Skysnake]

AW: Supercomputer mit Xeon Phi: China baut mit neuem Partner ihre neue "Milchstraße" - Usernews von Skysnake

Ein Fat-Tree ist es dennoch :p

Du hast ja nur wenige Topologien zur Auswahl

• Bus
• Linie, also Mash in x-D
• Ring, also Torus in x-D
• Cube/Hypercube
• Tree bzw Fat-Tree
• Stern
• Punkt zu Punkt

Wobei es eigentlich die Anzahl der Knoten die Anzahl der Ebenen fixieren sollte, wenn es ein echter Fat-Tree ist. Hier wird man aber wohl eben keinen binären Baum haben, sondern einen k-Baum, den man durch die Switches erreicht, und damit die Tiefe des Baums massiv reduziert.


Im Prinzip sind es immer die gleichen "Tricks", die man verwendet, und deswegen bleiben die Topologien auch immer gleich, es gibt halt nur eine begrenzte Anzahl an Topologien.


beliebt war eine Zeit lang z.B. der Ring erweitere Hypercube, bei dem jeder Knoten des Hypercubes durch einen Ring mit n-Teilnehmern ersetzt wurde.


Das ist halt immer! eine Abwägung zwischen Aufwand/Kosten/Nutzen.


Gibt auf Wikipedia einen ziemlich guten Artikel, der die einzelnen Aspekte der unterschiedlichen Topologien beleuchtet, auch wenn z.B. der HyperCube fehlt, aber der wird heutzutage einfach nicht mehr verwendet, da er besch...eiden. skaliert...


Das ist halt auch so ein Punkt bei den Topologien. Es kommt immer darauf an, wie viele Knoten man am Ende anbinden muss. Je nachdem kann die eine oder andere Topologie viel besser sein.


Bei ~10^1 Rechnern kannst du z.B. auch noch recht einfach eine Punkt zu Punktverbindung aufbauen. Sogar ziemlich billiger über switches, die die volle Bandbreite auf allen Ports gewährleisten, also nicht blockierend arbeiten. Für ~10^3 bis ~10^4 kannste das aber eigentlich vergessen. Da explodiert dir einfach der Verkabelungsaufwand. Für JEDEN! zusätzlichen, also n+1, Knoten musst du ja n neue Verbindungen erstellen... Da fliegen dir selbst große Switches bald um die Ohren. Die kannste halt auch nicht beliebig groß bauen.

PS:
hier der Link http://de.wikipedia.org/wiki/Topologie_%28Rechnernetz%29#Ringerweiterter_Baum