-
Achtung, kleine Regeländerung für User-News: Eine User-News muss Bezug zu einem IT-Thema (etwa Hardware, Software, Internet) haben. Diskussionen über Ereignisse ohne IT-Bezug sind im Unterforum Wirtschaft, Politik und Wissenschaft möglich.
Intel kühlt Server komplett mit Mineraloil
- Ersteller Track11
- Erstellt am
- Status
AW: Intel kühlt Server komplett mit Mineraloil
Das habe ich noch nie erlebt und ich habe schon ein paar große Rechenzentren gesehen. Was ich aber schon öfters erlebt habe ist, dass wir RZ-Räume resp. Racks nicht vollmachen konnten, da wir die Wärmeabführleistung der Klimaanlage bereits erreicht hatten, bevor alle verfügbaren Rackplätze voll waren... Das erhöht gewaltig die die Kosten pro Höheneinheit im Rack, wenn Du nicht den gesamten Rackspace ausnutzen kannst. Hier ein interessanter Artikel dazu Hitzefrei in den Server-Räumen! - computerwoche.de zwar schon etwas angegraut, aber immer noch sehr treffend.
Wenn man jetzt einen Teil der TDP auf einem anderen Weg loswerden kann, an der Klimaanlage vorbei durch einen Flüssigkeitskühlkreislauf, ist das eine schöne Sache. Vom Konzept her gefällt mir aber die Heißwasserkühlung vom SuperMUC besser Erster IBM-Supercomputer mit Heißwasserkühlung vorgestellt..
Auch bzgl. Luftkühlung sind einige Sachen zu bedenken. Stell Dir vor, Du hast einen Lambertz-Raum mit 4.000 Servern. Ich hatte mal 8 davon in einem Keller... Jetzt setzen wir mal ganz niedrig an, dass jeder Server 2 Lüfter hat. Serverlüfter drehen in der Regel sehr schnell, Lautstärke spielt keine Rolle. Und jetzt setzen wir an, dass jeder Lüfter eine TDP von 0,5 Watt hat. Das ist auch sehr niedrig angesetzt. 4.000 Server x 2 Lüfter x 0,5 W x 8 Räume = 32 kW TDP. Nur für die Lüfter... Wenn Du Dir überlegst, dass ein größeres mobiles Klimagerät eine typische Kühlleistung von 4,5 kW hat, brauchst Du nur um die Abwärme der Lüfter abzuführen ca. 7 von diesen Geräten. Sagen wir 8, für jeden Raum eins. Wie gesagt, nur für die Wärme, die die Lüftkühler selbst produzieren.
Kühllung im DC ist ein komplexes und teures Thema, da werden oft neue Ansätze überlegt. Am Ende entscheiden die Gesamtkosten, Euro/HE.
Das habe ich noch nie erlebt und ich habe schon ein paar große Rechenzentren gesehen. Was ich aber schon öfters erlebt habe ist, dass wir RZ-Räume resp. Racks nicht vollmachen konnten, da wir die Wärmeabführleistung der Klimaanlage bereits erreicht hatten, bevor alle verfügbaren Rackplätze voll waren... Das erhöht gewaltig die die Kosten pro Höheneinheit im Rack, wenn Du nicht den gesamten Rackspace ausnutzen kannst. Hier ein interessanter Artikel dazu Hitzefrei in den Server-Räumen! - computerwoche.de zwar schon etwas angegraut, aber immer noch sehr treffend.
Wenn man jetzt einen Teil der TDP auf einem anderen Weg loswerden kann, an der Klimaanlage vorbei durch einen Flüssigkeitskühlkreislauf, ist das eine schöne Sache. Vom Konzept her gefällt mir aber die Heißwasserkühlung vom SuperMUC besser Erster IBM-Supercomputer mit Heißwasserkühlung vorgestellt..
Auch bzgl. Luftkühlung sind einige Sachen zu bedenken. Stell Dir vor, Du hast einen Lambertz-Raum mit 4.000 Servern. Ich hatte mal 8 davon in einem Keller... Jetzt setzen wir mal ganz niedrig an, dass jeder Server 2 Lüfter hat. Serverlüfter drehen in der Regel sehr schnell, Lautstärke spielt keine Rolle. Und jetzt setzen wir an, dass jeder Lüfter eine TDP von 0,5 Watt hat. Das ist auch sehr niedrig angesetzt. 4.000 Server x 2 Lüfter x 0,5 W x 8 Räume = 32 kW TDP. Nur für die Lüfter... Wenn Du Dir überlegst, dass ein größeres mobiles Klimagerät eine typische Kühlleistung von 4,5 kW hat, brauchst Du nur um die Abwärme der Lüfter abzuführen ca. 7 von diesen Geräten. Sagen wir 8, für jeden Raum eins. Wie gesagt, nur für die Wärme, die die Lüftkühler selbst produzieren.
Kühllung im DC ist ein komplexes und teures Thema, da werden oft neue Ansätze überlegt. Am Ende entscheiden die Gesamtkosten, Euro/HE.
Superwip
Lötkolbengott/-göttin
AW: Intel kühlt Server komplett mit Mineraloil
Dir sollte klar sein, dass man beim Einsatz einer Ölkühlung überhaupt keine klassischen Racks verwendet... sondern eben wie auch immer geartete Tanks, in denen die Hardware versenkt ist.
Naturgemäß sind diese -im Gegensatz zu Racks- so gebaut, das man von oben auf sie zugreifen kann/muss.
Will man ein skalierbares Rechenzentrum bauen kann man maximal versuchen die Tanks irgendwie so auszulegen das ein Tank eine bestimmte Anzahl an Racks ersetzt.
Dir sollte klar sein, dass man beim Einsatz einer Ölkühlung überhaupt keine klassischen Racks verwendet... sondern eben wie auch immer geartete Tanks, in denen die Hardware versenkt ist.
Naturgemäß sind diese -im Gegensatz zu Racks- so gebaut, das man von oben auf sie zugreifen kann/muss.
Will man ein skalierbares Rechenzentrum bauen kann man maximal versuchen die Tanks irgendwie so auszulegen das ein Tank eine bestimmte Anzahl an Racks ersetzt.
AW: Intel kühlt Server komplett mit Mineraloil
Vielleicht für Supercomputer, für die dann auch ein eigenes Gebäude gleich mit gebaut wird... Aber im normalen Rechenzentrum wird man das nicht sehen.
Schon allein weil die Blades nicht dicht sind.
Aber wäre schon schön wenn man sich nicht mehr zu Tode schwitzen müsste, wenn man im Wärmegang mal wieder nen paar Kabel umstecken muss und nen paar Stunden quasi in der Sauna steht. 
Vielleicht für Supercomputer, für die dann auch ein eigenes Gebäude gleich mit gebaut wird... Aber im normalen Rechenzentrum wird man das nicht sehen.
Schon allein weil die Blades nicht dicht sind.
Aber wäre schon schön wenn man sich nicht mehr zu Tode schwitzen müsste, wenn man im Wärmegang mal wieder nen paar Kabel umstecken muss und nen paar Stunden quasi in der Sauna steht.
Superwip
Lötkolbengott/-göttin
AW: Intel kühlt Server komplett mit Mineraloil
Dafür ist das Öl eine ziemliche Sauerei...
Am angenehmsten ist wohl eine WaKü.
Aber wäre schon schön wenn man sich nicht mehr zu Tode schwitzen müsste, wenn man im Wärmegang mal wieder nen paar Kabel umstecken muss und nen paar Stunden quasi in der Sauna steht.
Dafür ist das Öl eine ziemliche Sauerei...
Am angenehmsten ist wohl eine WaKü.
Research
Lötkolbengott/-göttin
AW: Intel kühlt Server komplett mit Mineraloil
@ rabe: Bei uns sind die "getrennt". Ein Schrank Hradware, im Nebenschrank die Platten.
@ rabe: Bei uns sind die "getrennt". Ein Schrank Hradware, im Nebenschrank die Platten.
Uns wurde dafür extra ein "Bunker" gebaut. So abwegig ist das nicht. Wobei mir die Lösung mit der Server-Heizung am Besten gefällt. Ich selber bin am überlegen ob man nicht Radiatoren draußen aufstellen kann um im Winter und der Nacht ohne Klimaanlage zu kühlen.
AW: Intel kühlt Server komplett mit Mineraloil
ach ist doch quatsch... Öl hat viele Vorteile.. in diesem Fall kannst du gesamtheitlich kühlen. Bei einer wakü werden auch nur einzelne Komponenten gefühlt.
abgesehen davon ist die Sache mit dem Öl relativ unproblematisch. hohe wärmeKapazitäten bei gleichzeitig niedrigen leitwerten. ist doch das optimalste was du haben kannst...
wird seit Jahren im transformatorenbau verwendet. das Öl dient hier gleichzeitig zur Kühlung und Isolation.
sogar in Kabeln wird Öl verwendet um zu isolieren und die wärme besser an das erdreich abzugeben. also ich kann mir schon vorstellen das eine ölkühlung sehr wirtschaftlich arbeiten kann.. je nachdem wie gross die Anlage halt ist.
sollte natürlich alles pcb frei sein, was jedoch in der heutigen Zeit kein Problem mehr darstellt.. und noch ein Vorteil: Öl Altert nicht wirklich. ich Arbeite bei einem Grossen Energieversorger und wir haben hier ölisolierte Transformatoren die noch aus braunen zeiten stammen und immer noch unauffällig ihren Dienst verrichten
und: musst du mal die Hardware wechseln kannst dir die handcreme sparen. Isolationsöl macht wunderbar weiche Hände
ach ist doch quatsch... Öl hat viele Vorteile.. in diesem Fall kannst du gesamtheitlich kühlen. Bei einer wakü werden auch nur einzelne Komponenten gefühlt.
abgesehen davon ist die Sache mit dem Öl relativ unproblematisch. hohe wärmeKapazitäten bei gleichzeitig niedrigen leitwerten. ist doch das optimalste was du haben kannst...
wird seit Jahren im transformatorenbau verwendet. das Öl dient hier gleichzeitig zur Kühlung und Isolation.
sogar in Kabeln wird Öl verwendet um zu isolieren und die wärme besser an das erdreich abzugeben. also ich kann mir schon vorstellen das eine ölkühlung sehr wirtschaftlich arbeiten kann.. je nachdem wie gross die Anlage halt ist.
sollte natürlich alles pcb frei sein, was jedoch in der heutigen Zeit kein Problem mehr darstellt.. und noch ein Vorteil: Öl Altert nicht wirklich. ich Arbeite bei einem Grossen Energieversorger und wir haben hier ölisolierte Transformatoren die noch aus braunen zeiten stammen und immer noch unauffällig ihren Dienst verrichten
und: musst du mal die Hardware wechseln kannst dir die handcreme sparen. Isolationsöl macht wunderbar weiche Hände
AW: Intel kühlt Server komplett mit Mineraloil
Das bezweifel ich. Hast du Dir die Konstruktion im SuperMUC mal angeschaut? Das ist zwar eine Wasserkühlung, keine Ölkühlung, aber anders macht es keinen Sinn. Denken wir mal an ein mittleres RZ von irgendeinem Dienstleister. Da stehen 10.000 Systeme drin, nur mal Beispiel. Der Dienstleister ist Preisorientiert, setzt also hauptsächlich auf 2-Sockel-Systeme. Viele Cores für relativ wenig Geld. Macht 20.000 Sockel = CPUs. Zu jedem System gehören zwei Systemplatten = 20.000 Platten. Dazu kommt natürlich noch Storrage, irgendwo müssen die Daten liegen. Setzen wir mal ganz niedrig auf 10 Systeme 2x 14 Storrageplatten an (doppelte Redundanz wg. Verfügbarkeit) macht nochmal 56.000 Platten. Wie zur Hölle willst du das warten, wenn alles getaucht ist? Wie kommt die Energie aus den Racks raus, willst Du nur auf Konvektion setzen? Ich gehe davon aus, dass das Öl in Kreisläufen über ein Leitungssystem läuft, ganz klassisch durch Kühlkörper. Wenn Du es dann schaffst, ausgehend von 60W TDP pro CPU, die laufen nicht nur unter Volllast, 20.000 x 60W = 1.200 kW TDP an der Klimaanlage vorbei rauszubringen, ist das schon grandios.
Festplatten gehen häufig kaputt, ausgehend von 300.000 h MTBF dauert es bei 76.000 HDDs knapp 4 Stunden, bis eine Platte einen Fehler wirft, rein statistisch gesehen. RAM-Riegel neigen auch zum kaputtgehen, bei 10.000 Systemen kommen ganz schnell 80.000 RAM-Riegel zusammen... Ich gehe immer von 1 Promille schlechter Ware aus, zeigt die Erfahrung, d.h. von 80.000 Riegeln gehen 80 im ersten Jahr kaputt. Alle 5 Tage in einem Block Öl ablassen, um einen Riegel zu tauschen?
Das bezweifel ich. Hast du Dir die Konstruktion im SuperMUC mal angeschaut? Das ist zwar eine Wasserkühlung, keine Ölkühlung, aber anders macht es keinen Sinn. Denken wir mal an ein mittleres RZ von irgendeinem Dienstleister. Da stehen 10.000 Systeme drin, nur mal Beispiel. Der Dienstleister ist Preisorientiert, setzt also hauptsächlich auf 2-Sockel-Systeme. Viele Cores für relativ wenig Geld. Macht 20.000 Sockel = CPUs. Zu jedem System gehören zwei Systemplatten = 20.000 Platten. Dazu kommt natürlich noch Storrage, irgendwo müssen die Daten liegen. Setzen wir mal ganz niedrig auf 10 Systeme 2x 14 Storrageplatten an (doppelte Redundanz wg. Verfügbarkeit) macht nochmal 56.000 Platten. Wie zur Hölle willst du das warten, wenn alles getaucht ist? Wie kommt die Energie aus den Racks raus, willst Du nur auf Konvektion setzen? Ich gehe davon aus, dass das Öl in Kreisläufen über ein Leitungssystem läuft, ganz klassisch durch Kühlkörper. Wenn Du es dann schaffst, ausgehend von 60W TDP pro CPU, die laufen nicht nur unter Volllast, 20.000 x 60W = 1.200 kW TDP an der Klimaanlage vorbei rauszubringen, ist das schon grandios.
Festplatten gehen häufig kaputt, ausgehend von 300.000 h MTBF dauert es bei 76.000 HDDs knapp 4 Stunden, bis eine Platte einen Fehler wirft, rein statistisch gesehen. RAM-Riegel neigen auch zum kaputtgehen, bei 10.000 Systemen kommen ganz schnell 80.000 RAM-Riegel zusammen... Ich gehe immer von 1 Promille schlechter Ware aus, zeigt die Erfahrung, d.h. von 80.000 Riegeln gehen 80 im ersten Jahr kaputt. Alle 5 Tage in einem Block Öl ablassen, um einen Riegel zu tauschen?
Superwip
Lötkolbengott/-göttin
AW: Intel kühlt Server komplett mit Mineraloil
Hardwarewechseln ist aber Alltag... und jedes Mal musst du dann mit öliger Hardware hantieren... auch nicht unbedingt lustig.
1) HDDs werden nicht im Öl versenkt
2) Zum Tausch der Hardware muss das Öl nicht abgelassen werden; die Boards/Blades werden einfach nach oben hinausgezogen
3) Das Öl wird nich durch Wärmekonvektion sondern aktiv umgewälzt; Wärmekonvektion würde bei weitem nicht ausreichen.
4) Das Öl wird wiederum über einen Wasserkreislauf gekühlt
5) Wenn du auf einen klassischen Kreislauf setzen willst ist Wasser IMMER besser. Wasser hat eine höhere Wärmekapazität, eine höhere Wärmeleitfähigkeit, lässt sich leichter pumpen und verdunstet einfach, wenn es verschüttet wird. ABER wenn du auf Wasser setzen willst brauchst du eben Wasserkühlkörper auf Kupfer. Und die sind in Summe teuer.
Der einzige Vorteil einer Ölkühlung gegenüber einer Wasserkühlung ist der unter Umständen geringere Preis.
und: musst du mal die Hardware wechseln kannst dir die handcreme sparen. Isolationsöl macht wunderbar weiche Hände
Hardwarewechseln ist aber Alltag... und jedes Mal musst du dann mit öliger Hardware hantieren... auch nicht unbedingt lustig.
1) HDDs werden nicht im Öl versenkt
2) Zum Tausch der Hardware muss das Öl nicht abgelassen werden; die Boards/Blades werden einfach nach oben hinausgezogen
3) Das Öl wird nich durch Wärmekonvektion sondern aktiv umgewälzt; Wärmekonvektion würde bei weitem nicht ausreichen.
4) Das Öl wird wiederum über einen Wasserkreislauf gekühlt
5) Wenn du auf einen klassischen Kreislauf setzen willst ist Wasser IMMER besser. Wasser hat eine höhere Wärmekapazität, eine höhere Wärmeleitfähigkeit, lässt sich leichter pumpen und verdunstet einfach, wenn es verschüttet wird. ABER wenn du auf Wasser setzen willst brauchst du eben Wasserkühlkörper auf Kupfer. Und die sind in Summe teuer.
Der einzige Vorteil einer Ölkühlung gegenüber einer Wasserkühlung ist der unter Umständen geringere Preis.
Research
Lötkolbengott/-göttin
AW: Intel kühlt Server komplett mit Mineraloil
Kann man aufsaugen. Außer du hast Teppich verlegt.
Kann man aufsaugen. Außer du hast Teppich verlegt.
Research
Lötkolbengott/-göttin
AW: Intel kühlt Server komplett mit Mineraloil
Wenn das geht müsst ihr unbedingt eure Löschanlage überprüfen.
Wenn das geht müsst ihr unbedingt eure Löschanlage überprüfen.
- Status
Ähnliche Themen
