Gigabyte launcht 2U Server für 8GPUs

[Skysnake]

Gigabyte launcht 2U Server für 8GPUs

Bereits am heutigen Vormittag, wurde ich auf den Launch eines 2U Servers von Gigabyte für bis zu 8 GPUs aufmerksam. Eigentlich wollte ich zunächst bei Gigabyte einige Informationen hierzu einholen, da nVidia aber soeben auf der GTC einen 8GPU 4U Server (auf Basis von TYAN) vorgestellt hat, möchte ich euch diese Neuigkeit nicht länger vorenthalten. Das System hört hierbei auf den Namen GS-R22PHL.

Entgegen der Version von TYAN hat dieser Server nur zwei Netzteile, die aber leisttungsstärker sind.

Techinsche Daten:

System Form Factor2U
448 x 87.5 x 800 mm (WxHxD) CPUDual LGA 2011 sockets
Supports Intel® Xeon® processor E5-2600 product family ChipsetIntel® C602 Memory16 x DIMM slots supporting registered or ECC unbuffered memory
Quad channel memory architecture
Up to 512GB RDIMM ECC
Up to 128GB UDIMM ECC
1066/1333/1600 MHz LANDual 10GbE BASE-T ports (Intel® X540)
Dual 10GbE SFP+ ports (Broadcom® BCM57810) via mezzanine card (optional)
1 x Management LAN VideoIntegrated in Aspeed 2300
2D Video Graphic Adapter with PCIe bus interface
1920x1200@60Hz 32bpp
HDD8 x 2.5" hot-swappable HDD bays
Supported connections:

• SATA III 6Gb/s
• SATA II 3Gb/s
• SAS II 6Gb/s (in option via mezzanine card)
• SAS 3Gb/s (in option via mezzanine card)

RAID FunctionIntel® SATA RAID 0/1/5/10
LSI® SAS 2208 RAID 0/1/10/5/50/6/60/JBOD (option) Expansion Slots2 x Mezzanine IF card slots Front I/O1 x Power button
1 x System reset button
1 x ID LED
2 x LAN LED
1 x HDD LED
1 x System status LED Rear I/O1 x VGA
1 x COM
2 x USB 2.0
2 x BASE-T LAN ports
1 x Management LAN
1 x Power button
1 x Reset button
1 x ID switch
1 x NMI button
1 x System status LED Power SupplyRedundant 1+1 1600W power supply
80 PLUS Platinum level (94%+) Server ManagementAspeed AST2300
IPMI 2.0
iKVM

Hier sieht man einen der "Cages" in denen die GPUs eingebaut werden.

Wie man sieht, sollte auch für eine K10 genug Platz vorhanden sein. Damit könnte man wohl die gleiche Anzahl an GPUs, RAM, CPUs usw in nur dem halben Volumen bereit stellen! Und das bei normaler Luftkühlung!

Gigabyte hat hier wirklich ein extremes System vorgestellt. Hatte ein Gespräch mit einem SuperMicro Engineer, auf der letztjährigen CeBIT, doch noch zu Tage gefördert, dass diese es als unmöglich ansehen, in 2 bzw 4U 8 GPUs zu verbauen. Zwar hat SuperMicro auf der aktuellen CeBIT ihre Meinung geändert, das Gigabyte aber bereits jetzt ein fertiges Produkt vorstellen kann ist sehr beeindruckend.

 

[der_yappi]

AW: Gigabyte launcht 2U Server für 8GPUs

Sieht interessant aus...
2x 10GBit Kupfer Ports + 2x optionale 10GBit Ports via SFP+ dürfte für genug Bandbreite aus dem LAN sorgen um das Ding mit Daten zu füttern und abzutransportieren.
In nem gut klimatisierten RZ wird die Lautstärke eh sein.

Gibts da schon Aussagen für welche Anwendungen das Teil konzipiert wurde?

 

[Anchorage]

AW: Gigabyte launcht 2U Server für 8GPUs

Server sind schon was ziemlich cooles habe mal welche für Fujitsu gebaut. Daumenschmerzen vom Ram vorprogramiert Bei Vollbestückung hats in sich....

 

[alexbirdie]

AW: Gigabyte launcht 2U Server für 8GPUs

Ich würde mir wünschen, die Kohle für so ein System zu haben.

Aber, leider nein .

Aber toll wäre es schon ( wenn mir jemand die Stromkosten zahlen würde).

 

[keinnick]

AW: Gigabyte launcht 2U Server für 8GPUs

Ich würde mir wünschen, die Kohle für so ein System zu haben.

Aber, leider nein .

Aber toll wäre es schon ( wenn mir jemand die Stromkosten zahlen würde).

Was würdest Du denn (sinnvolles) mir dem System tun? Die Dinger sind für´s "Supercomputing" gemacht, versuchen Ölquellen zu finden oder tun sonstige für den Normalverbraucher langweilige Dinge

@Topic:

Schön, dass es da voran geht aber mehr als eine Machbarkeitsstudie ist das nicht wenn man sich das hier durchliest: HPC-Serverknoten für je acht GPGPU-Beschleuniger | heise online

Wenn man von je 225 Watt maximaler Leistungsaufnahme einer solchen GPGPU-Karte ausgeht und noch je 130 Watt für die beiden Xeons, dann ergeben sich daraus allerdings alleine schon 1,16 Kilowatt pro HE – ein vollgestopfter 42-HE-Schrank brächte es also auf knapp 49 Kilowatt, ganz abgesehen von Wandlerverlusten und dem zusätzlichen Bedarf von RAM, Festplatten, Chipsätzen und Lüftern.

 

[Skysnake]

AW: Gigabyte launcht 2U Server für 8GPUs

Und?

Das sind halt Highdensity-Server. Das ist durchaus schon normal, das man >40kW in einem Rack hat.

Auf weitere Sicht, muss man aber wirklich die Dinger mit WaKü ausrüsten. Dann bekommt man das aber sogar auf 1U

Viel weniger geht dann auch wirklich nicht mehr. 1/2U halte ich für praktisch nicht mehr machbar. Mit extremem Aufwand bei der WaKü und den klaren Bekenntnis dazu, man man nur noch ganze Server warten kann usw usw, aber ansonsten passt das einfach schon allein wegen den Dimensionen mehr.

Also 1/2U für die hier verbaute Hardware ist das absolute Minimum. Aber immerhin. Etwas Platz für Optimierung gibt es noch

 

[bingo88]

AW: Gigabyte launcht 2U Server für 8GPUs

Wenn man von je 225 Watt maximaler Leistungsaufnahme einer solchen GPGPU-Karte ausgeht und noch je 130 Watt für die beiden Xeons, dann ergeben sich daraus allerdings alleine schon 1,16 Kilowatt pro HE – ein vollgestopfter 42-HE-Schrank brächte es also auf knapp 49 Kilowatt, ganz abgesehen von Wandlerverlusten und dem zusätzlichen Bedarf von RAM, Festplatten, Chipsätzen und Lüftern.

Der JUQUEEN am FZ Jülich futtert pro Rack zwischen 10 und 80 kW, je nach Last (bis 100 kW ausgelegt). Letztes Mal, als ich vor der Anzeigetafel stand, waren es so um die 60 kW im Schnitt. Sind also keine ungewöhnlichen Werte für Hochleistungsrechner.

 

[Aer0]

AW: Gigabyte launcht 2U Server für 8GPUs

helfen diese komischen cpu/gpu pcie karten bei berechnungen, z.b. auch rendern? ich habe diese karten noch nie verstanden.

 

[Skysnake]

AW: Gigabyte launcht 2U Server für 8GPUs

Redest du von XeonPhi?

Wenn ja, ja das sind schlicht Cluster on Chip. Die Dinger werden eingesetzt um eben gewisse Berechnungen durchzuführen, genau wie CPUs auch.

 

[Aer0]

genau die meine ich, also wenn ich so eine hätte, dann hätte ich x fache cpu leistung? und werden die kerne im taskmanager auch angezeigt?

 

[Timsu]

AW: Gigabyte launcht 2U Server für 8GPUs

genau die meine ich, also wenn ich so eine hätte, dann hätte ich x fache cpu leistung? und werden die kerne im taskmanager auch angezeigt?

Nein und Nein.

 

[Skysnake]

AW: Gigabyte launcht 2U Server für 8GPUs

Und woher hast du deine Weißheit Timsu?

Die x-fache "CPU"-Leistung hast du schon, nur sind die CPU-Kerne eines XeonPhis deutlich schwächer, als die eines Core ix. Die Single-Thread-Leistung ist ziemlich bescheiden, um es mal vornehm aus zu drücken. Wenn du aber dementsprechend parallelisierte Software hast, die mindestens ~120 unabhängige Threads nutzt, dann kann das Ding schon ganz gut abgehen.

 

[Low]

AW: Gigabyte launcht 2U Server für 8GPUs

Kann man das essen?

 

[Timsu]

AW: Gigabyte launcht 2U Server für 8GPUs

Ich denke Aero0 stellt sich das ein bisschen zu einfach vor, nur weil man ein XeonPhi dazusteckt, hat man nicht gleich die x-fache CPU Leistung, wie wenn man einfach eine zweite CPU einbauen würde.
Das ganze funktioniert natürlich nur in speziell angepassten Anwendungen, wird aber nicht vom System als "normale" CPU erkannt.

 

[Skysnake]

AW: Gigabyte launcht 2U Server für 8GPUs

Na, kommt drauf an, von welchem "System" du redest

Es läuft halt wie nen Cluster. Da ist jetzt kein großer Unterschied da. Für 0815 Anwendungen bringt es natürlich nichts, aber das sollte klar sein.

 

[Timsu]

AW: Gigabyte launcht 2U Server für 8GPUs

Naja, dass mit dem Taskmanager klang so verdächtig nach Desktop-Windows
Wie funktioniert da überhaupt der Airflow?
Sehe ich das richtig, dass die Luft von vorne und hinten angesaugt wird für die Karten?

 

[Skysnake]

AW: Gigabyte launcht 2U Server für 8GPUs

ne vorne rein, hinten raus

Ganz stink normales Serverdesign. Das ist sozusagen Pflicht, da die ganzen Raumdesigns usw darauf ausgelegt sind.