Wakue fuer 8 RTX 2080 Ti in Serverumgebung

[Abductee]

Das sinnvollste wäre ein Upgrade der Raumklima.
Keine Angst vor Wasserlecks, zu jeder neuen Hardware kompatibel, keine Wartungsarbeiten die man selber erledigen muss.

Es gibt auch 19" Schränke mit eigener Klima, bzw. könnte man vielleicht auch mit der die zweite Kühlleitung vom Haus nutzen.

 

[icemanspirit]

Update:

Die Zielsetzung ist es an die zwei internen Kuehlleitungen anzuschliessen, welche konstant 20 Grad liefern. Vorraussichtlich wird es hierbei auf eine interne Loesung hinauslaufen, die keine Pumpe innerhalb des Schrankes erfordert sondern den Druck auf den Leitungen nutzt. Das Rack kriegt auch noch Feuchtigkeitssensoren, um bei Lecks sofort reagieren zu koennen. Der Hausdienstleister ist gerade am Druecker und muss noch die Rahmenbedingungen fuer den Anschluss legen..

Ein Update der Raumklima ist leider nicht moeglich.

 

[Bauschaum7]

Mach mal paar Bilder , dann kann man besser helfen .

 

[Incredible Alk]

Die Zielsetzung ist es an die zwei internen Kuehlleitungen anzuschliessen, welche konstant 20 Grad liefern.

Das ist wenn die vier 250W-GPUs voll arbeiten eine ziemlich große Herausforderung.
Bedenke: Du brauchst eine Temperaturdifferenz zwischen Wasser und Umgebungsluft damit eine Kühlung stattfinden kann. Diese Differenz kann zwar umso kleiner sein je mehr Radiatorfläche/Luftzug du hast aber 1000W Abwärme so wegschaffen dass am Radi-Auslass noch 20°C Wassertemperatur übrig sind erfordert schwere Geschütze. Grobe Schätzung: MoRa420 (oder ähnlich große Kühlfläche) mit schnellen/lauten Lüftern und einer Umgebungstemperatur von höchstens 15°C.

Oder meintest du dass du durch externe Kühlsysteme konstant 20°C kaltes Wasser bekommen kannst? Das wäre natürlich ideal... entweder (schwierig) direkt anschließen oder (konstruktiv einfacher) per Wärmetauscher nutzen. Letzteres wäre natürlich die Top-Lösung - denn mit einem Flüssig/Flüssig Wärmetauscher kriegste die 2x 1 kW der Anlage platzsparend und lautlos weg. Erfordert daber Pumpen für den inneren Kreislauf.

 

[icemanspirit]

(..)
Oder meintest du dass du durch externe Kühlsysteme konstant 20°C kaltes Wasser bekommen kannst? Das wäre natürlich ideal... entweder (schwierig) direkt anschließen oder (konstruktiv einfacher) per Wärmetauscher nutzen. Letzteres wäre natürlich die Top-Lösung - denn mit einem Flüssig/Flüssig Wärmetauscher kriegste die 2x 1 kW der Anlage platzsparend und lautlos weg. Erfordert daber Pumpen für den inneren Kreislauf.

Der zweite Fall trifft hier zu. Das Gebaeude hat einen eigenen Kuehlkreislauf, der konstant 20 Grad kaltes Wasser liefert.

Fotos sind gerade noch schwer da ich das Rack komplett neu zusammenbaue und gerade erstmal den 40GbE Top-of-Rack Switch aufsetze waehrend der Gebaeudedienstleister noch sich sortiert.

 

[Incredible Alk]

Der zweite Fall trifft hier zu. Das Gebaeude hat einen eigenen Kuehlkreislauf, der konstant 20 Grad kaltes Wasser liefert.

Na das ist doch weltklasse. Da bauste dir deine zwei WaKü-Kreisläufe in dein Rack und statt je eines Radiators nimmste nen Wärmetauscher und schließt den an die Hauskühlung an. Leistungsstark, kompakt, fast lautlos.

 

[Research]

Und günstiger.

 

[icemanspirit]

Und günstiger.

Deswegen konnte ich auch den teureren und schnelleren Switch nehmen

 

[Research]

Aber, den Wärmetauscher verwenden.

Du willst das Wasser aus der Kühlanlage nicht in deinem System.
Leck ist bei sowas sonst auch seeeehr interessant.

 

[icemanspirit]

Update:

Im Rack wird jetzt ein Arista 7050QX-32S verbaut (https://www.arista.com/assets/data/pdf/Datasheets/7050QX-32_32S_Datasheet.pdf) und der GPU Server wird mit 40GbE angeschlossen werden.

Die Stromversorgung fuer das Rack ist im Zulauf und der Hausdienstleister kommt langsam in Bewegung, hat jedoch noch nicht den Druck auf den Kuehlleitungen durchgegeben..

 

[icemanspirit]

Update:

Die Kuehlwasserleitung liefert konstant 8 Grad bei einem Druck von 3 Bar.

 

[Klasn]

Also deutlich unter Umgebungstemperstur? Da fällt mir spontan ein Problem mit Kondenswasser ein

 

[Abductee]

Es gibt schmale Klimageräte die man seitlich zum Rack hinstellen kann, die kann man auch mit Hauswasser betreiben.

Zum Beispiel:
19" Seitenkuehler | PA-Systems
https://www.allinfrabox.com/wp-content/uploads/2015/11/Modul_Kuehlung.pdf

 

[Research]

Hm, 8 Grad sehe ich jetzt nicht als Problem.
Das Kondensiert am Plattenwärmetauscher.
Das WaKü-Wasser wird +40°C haben. ALso moit +20 zurückfließen.

 

[Klasn]

Wo hast du die zahlen her? Für so ein Kühlsystem finde ich 40 Grad Wassertemperatur ziemlich hoch.

Ich denke auch nicht das es ein Problem ist wenn Last auf den Karten liegt, nur was ist wenn das Ding im Leerlauf ist? Dann werden die schnell sehr kalt

 

[Research]

Nun, er hat alleine 2.000 Watt für die GPUs.
Dazu noch ~200Watt CPUs.

Wenn er die seriell anschließt sind das +40°C an der letzen GPU.

 

[icemanspirit]

Servus alle zusammen, es ist jetzt noch eine letzte Frage aufgekommen:

Welches Steuergeraet waere geeignet alle 4 Laing Pumpen anzusteuern, wenn es moeglich ist noch mit einem Softwareinterface?

 

[Research]

Hoi.

Aqua Computer Webshop - aquaero 6 XT USB Fan-Controller, Grafik-LCD, Touch-Bedienung, IR-Fernbedienung 53146

Zur Erweiterung des Funktionsumfanges können verschiedene Aqua Computer Produkte an das aquaero angeschlossen werden. Diese Erweiterungen werden dynamisch in das Gerät eingebettet, so daß ein zusammenhängendes Steuersystem entsteht.

Maximal können folgende Geräte als Funktionserweiterung per aquabus mit einem aquaero verbunden werden:
4x Calitemp
2x aquaero 5/6 LT
2x QUADRO
8x poweradjust 2/3
2x aquastream ULTIMATE oder aquastream XT Pumpe
2x D5 NEXT Pumpe
4x VISION-basierte Produkte
4x mps-basierte Geräte (Durchflusssensor, Druck-/Füllstandssensor oder D5-Pumpe mit aquabus)
2x farbwerk
1x Real Time Clock Aufsteckmodul

Beim Anschluss von aquabus-Geräten zur Erweiterung des Funktionsumfangs kommt es teilweise zu Überlappungen, maximal kann das aquaero folgende Ein- und Ausgänge verwalten:
12 Lüfterausgänge
64 Temperatursensoren
6 Pumpen
14 Durchflusssensoren
4 Füllstände oder Drücke
9 RGB-Ausgänge
1 potentialfreier Relaiskontakt

Aqua Computer Homepage - Software

Aquasuite.
Neu: aquasuite 2018 - Wasserkuehlung - Aqua Computer Forum
.

 

[Abductee]

Warum willst du die Pumpen steuern? Lautstärke spielt doch da keine Rolle, einfach fix 12V.

 

[icemanspirit]

Man kann sich bei dem internen Kuehlkreislaufes des Gebaeudes nicht immer sicher sein, dass er einwandfrei funktioniert. Deswegen war mein Plan durch das Steuergeraet mit Pumpensteuerung und Temperaturmonitoring effektive Redundanz zu schaffen.