Wakue fuer 8 RTX 2080 Ti in Serverumgebung

icemanspirit

Komplett-PC-Käufer(in)
Hallo zusammen,

ich sitze hier gerade vor der Aufgabe, dass ich ein GPU-Cluster fuer HPC Anwendungen habe, das mit 8 Inno3D GeForce RTX 2080 Ti 11 GB Twin X2 bestueckt ist. Die Luftkuehlung in dem Server reicht jedoch nicht aus um diese unter voller Last stabil zu betreiben und daher muessen die 8 mit Wasser gekuehlt werden. Das Ganze findet in einer Serverumgebung statt, somit duerfen die Luefter auch ein "bisschen" lauter sein.

Die Ausgangssituation ist ein Supermicro SYS-4028 GR-TR in dem die 8 Grafikkarten in zwei Bloecken von jeweils 4 Stueck sitzen. Wie das Ganze aussieht kann man hier sehen: https://www.supermicro.com/a_images/products/views/4028GR-TR2_angle.jpg.

Meine Grundidee waere die GPU Node, mit den dann auf Wasserkuehlung umgeruesteten GPUs, mit einer speziellen "Radiatiorennode" zu verbinden. Dafuer wuerde ich dieses eigentlich fuer Mining gedachte 4U Servergehauese ([url=https://www.alternate.de/Inter-Tech/4W4-MINING-RACK-Server-Geh%C3%A4use/html/product/1544054?]Inter-Tech 4W4 MINING-RACK, Server-Gehaeuse schwarz, 4 Hoeheneinheiten[/url]) herannehmen und dort drin die Radiatioren verbauen. Aus dem Mining Rack Server wuerde ich dann zusaetzlich noch die rechte untere Blende rausnehmen oder mit dem Dremel entfernen um den Luftstrom zu verbessern. Die 4 Radiatioren wuerden dann gleichmaessig getrennt ueber die Laenge des Mining Rack Servers verteilt werden, mit jeweils 3 Noctua Lueftern, so dass der Luftstrom von vorne nach hinten verlaeuft.

Update 6/10:

2 Mo-Ra 420 Pro, mit ingesamt 27 Noctua Lueftern versehen in einer zwei Loop Konfiguration mit je einem Mo-Ra fuer einen 4er Block an Grafikkarten. Die zuvor verwendetenPVC Schlaeuche werden durch Norpene Schlauch ersetzt.

Die Kernfragen, die ich habe sind:

  • Wuerdet Ihr das Ganze als eine oder als zwei Loops aufzubauen? -> Zwei Loops!
  • Sind die Pumpen hierfuer ausreichend?
  • Reicht die Groesse des Ausgleichsbehaelters aus?
  • Wuerdet Ihr die Konfiguration der Radiatioren anders aufsetzen?
  • Sehr Ihr an anderer Stelle Optimierungspotenzial?



Hier ist die vorlaeufige Teileliste:

Teile GPU-Server:

  • 8 * Alphacool Eisblock GPX-N Acetal
  • 2 * Alphacool GPX SLI Connector - Quad
  • 4 * Alphacool Eiszapfen 19/13mm Anschraubtuelle 90° drehbar G1/4
  • 4 * Alphacool HF 19/13 Anschraubtuelle G1/4
  • 2 * Alphacool HF 38 Slotblende Panama
  • 4 * Alphacool Eiszapfen Schnellverschlusskupplungsset mit Doppel Schottverschraubung G1/4 IG

Teile Radiator-Server:

  • 1 * Inter-Tech 4W4 MINING-RACK
  • 4 * Alphacool NexXxos XT45 Industry HPC Series 360mm Radiator
  • 12 * Noctua NF-F12 Indu. 3000 PWM 120x120x25 | industrial PPC
  • 8 * 19/13mm Anschraubtuelle 45° drehbar G1/4 - geraendelt
  • 4 * Laing DDC-Pumpe 12V DDC-1T Plus
  • 1 * Alphacool Repack - Quad Laing DDC - Dual 5,25 Bay Station

Update 6/10:

WaKue Kuehl Setup:

  • 2 * Mo-Ra 3 420 Pro
  • 27 * Noctua NF-F12 Indu. 3000 PWM 140x140x25 | industrial PPC
  • 4 * 19/13mm Anschraubtuelle 45° drehbar G1/4 - geraendelt
  • 4 * 4 * Laing DDC-Pumpe 12V DDC-1T Plus
  • 1 * Alphacool Repack - Quad Laing DDC - Dual 5,25 Bay Station

Link zu geupdateter Aquatuning Zusammenstellung: Warenkorb | Aquatuning Germany
 
Zuletzt bearbeitet:
Ok ... 8 Karten die alle unter "Volllast laufen sollen ?

ICH würde da mindestens 4 Loops machen da du ja ohnrhin schon 4 Pumpen eingeplant hast ... ABER jeweils EIN 360'er für 2x 2080Ti ? Never ... schon garnet bei nicht besonders freiem Luftstorm .... idr ist es ein 280'er/360'er für EINE Karte .... 2 würden zwar auch gehen aber die virteile der WaKü auffressen da die Temps garantiert NICHT im eher niedrigeren Bereich gehalten werden können . Meiner Meinung nach jedenfalls .
Etwas mehr Power könntest raushohlen in dem du die 60mm dicken Radis nimmst und beidseitig mit Lüftern bestückst , die erreichen dann annähernd die gleiche Leistung wie ein einfach besetzer "Normaler" , brauchen aber auch mehr Platz und sind meist schwer zu verbauen .... ich hab die Dinger selbst und hab sie erst in nem selbstgebauten Case vernünftig unterbringen können *g*

Zum AGB : DIe Größe von diesem ist meist eher Irrelevant da er hauptsächlich dazu da ist Luftblasen aus dem System zu bekommen (auf lange SIcht) und Überdruck im System zu verhindern (Was zu Schlauchplatzern führen kann) . Der Double-Bay ist also absolut ausreichend wenn man bedenkt das die meisten WaKü-User meist nur recht winzige AGB's verbauen die netmal 100ml groß sind .

Den Schlauch den du da ausgewählt hast ist .... Schrott ... vor allem für 24/7 ... das ist Show-Schlauch zum einfachen verbauen .... Weichmacher wie Blöd die sich schön auswaschen und dir alles zusetzen . Nimm lieber etwas auf dem Level Norprene oder reines Teflon (Letzeres hab ich selbst seit Jahren verbaut) ... das ist weit haltbarer und macht idr. keine Probleme die du mit PVC-Schlauch garantiert haben wirst , erst recht bei UV-Aktiven Spielereien .... auch die Farbe kann sich auswaschen .... und ja .. ich habe die Beschreibung extra nochmal gelesen und tränen gelacht dabei .... so einen Bullshit zu schreiben ist eigendlich schon peinlich ... "Hochflexibler PVC-Schlauch" zusammen mit "Selbst in einem Server im Dauerbetrieb ist dieser Schlauch einsetzbar" .... das ist derart Lachhaft das ich langsam aber sicher an der Seriösität von Aqua-Tuning zweifeln muss ....
 
@NatokWa Danke fuer die Ratschlaege! Die Schlauchthematik hatte ich nicht so auf dem Schirm werde aber Deinen Ratschlag auf jeden Fall bevolgen und zu Teflon greifen.

Nach Deiner Meinung, kann man es eventuell auf zwei Loops halten wenn man z.B. die 4 360er Radiatioren mit 2 Mo-Ra 3 Pro's ersetzt mit je 9 Lueftern? Akzeptabel sind in solchen Umgebungen unter 80 Grad..
 
Hi,

... interessante Thematik! Wie bzw mit was lastet man die Karten aus?

Grundsätzlich sollte man auch erwähnen das hier wohl keine Temperaturen wie im normalen Desktop Betrieb angestrebt werden.
Sprich, Wassertemperaturen um die 50 C lassen sich auch einfacher auf diesem Niveau halten. Aber bedenke das auch die Pumpen nicht dafür ausgelegt sind.
Mit 2 Mora's geht das ganze schon in die richtige Richtung...
 
@Killermarkus81

Die Karten werden hauptsaechlich fuer wissenschaftliche Rechnungen genommen. Da gibt es zwei Schienen:

  1. Machine learning workflows, die auf bis zu 8 Karten parallelisiert werden, wobei je nach gewaehlter Netzwerkarchitektur der Sweetspot fuer die Parallelisierung woanders liegt.
  2. Heterogeneous Computing, i.e. bei vielen der moderneren Simulationscodes werden Teile der Rechnungen auf die GPUs als "Floating Point Cruncher" mit CUDA abgeschoben. Manche Programmiersprachen, wie Julia zum Beispiel, erlauben sogar den Just-in-Time (JIT) Compiler so zu hacken, dass automatisch direkt auf GPUs kompiliert wird. Stichwort hierbei waere fuer Julia cudanative.jl.
 
Die Kernfragen, die ich habe sind:

  • Wuerdet Ihr das Ganze als eine oder als zwei Loops aufzubauen?
  • Sind die Pumpen hierfuer ausreichend?
  • Reicht die Groesse des Ausgleichsbehaelters aus?
  • Wuerdet Ihr die Konfiguration der Radiatioren anders aufsetzen?
  • Sehr Ihr an anderer Stelle Optimierungspotenzial?
Um die fix zu beantworten:
- Zwei Loops - aus zwei Hauptgründen: 1.) Bei 8 GPU-Kühlern hintereinander ist der Gegendruck eines Einzelloops schon sehr hoch so dass auch starke (Kreisel-)Pumpen ans Limit kämen und der Durchfluss sehr klein würde, was in einem normalen Kreislauf zwar kein problem ist aber 2.) bei 8 Karten in Serie zur Folge hätte, dass die letzten Karten bedeutend wärmer würden als die ersten da das Wasser sich nach jeder Karte bei geringen Durchflüssen stärker aufwärmt. Wenn das Wasser nach jeder Karte 5 Grad mehr hat biste nach 8 Karten und 20 Grad Raumtemperatur bei mindestens 60°C Wasser was für normale Komponentenm nicht mehr gesund ist.

- Ja

- Ja

- Persönlich würde ich in jeden Loop (mit je 4 Karten) einen MoRa420 mit 9x140mm einbauen. Der packt die ~1000W Abwärme problemlos ohne dass die Temperaturdifferenzen zu groß werden.

- Dazu wurde schon einiges gesagt. Vor allem die Schläuche würde ich in Industriequalität verwenden (Norprene).
 
NEIN du solltest das auf keinen Fall auf 2 Loops bauen . Zu bedenken ist folgendes : Je mehr Bauteile (Kühlkörper/Radiatoren etc.) in REIHE geschaltet sind , desto höher der Strömungswiederstand + je höher die Temperatur vom Wasser wenn es bei der "letzen" GraKa im Kreis an kommt -> Schlechtere Kühlleistung . Natürlich ist das Delta-T bei den Radis dann wieder höher , aber selbst 2 Pumpen pro Kreis dürften ihre Schwierigkeiten damit haben durch 4 GraKa's + Radis und längere Schläuche einen Stabilen Durchfluß HALTBAR!! hin zu kriegen -> Mehr Flieswiederstand -> Höherer Druck benötigt -> Erhöhter Stromverbrauch + Verschleiß bei den Pumpen .

4 Kreisläufe sind das Minimum bei dir AUSSER du läst das Wasser "parralel" durch die Kühlkörper laufen , dafür brauchst du aber T-Stücke/Verteiler und (wenn du ganz sicher gehen willst) für jeden Kühlblock der angeschloßen wird jeweils nen Durchflußsensor + einen Kugelhahn zum "einstellen" des Durchflußes .
Ich habe z.B. einen Loop aber die GraKa und die CPU werden paralel versorgt (Vor ihnen Split , nach ihnen wieder zusammenführung des Wassers) und ich Regel den Durchfluß nur dann über Kugelhahn nach wenn die Temps bei einem Teil völlig aus dem Ruder laufen ... was nach den "Grundeinstellungen" nie wieder nötig war bisher .

Alternativ kannst du auch nen "Bigloop" bauen der alle GraKa's Paralel versorgt und danach wieder "ein" Strang wird mit entsprechend dickeren Schlauch und Pumpen über den Kreislauf verteilt .... Es ist ein interessantes Projekt und vieles möglich je mehr man nachdenkt ... mit "Standartdurchmesserschlauch" ist ein "SIngle-Loop" trozdem auf jeden Fall nicht lauffähig .
 
Loops mit CPU-Block + 3 Grafikkarten und MoRa420 habe ich bereits mit einer einzelnen Pumpe (AquastreamXT) problemlos betrieben (mit Durchflüssen die rund 3 Grad Erwärmung pro Karte ergaben). 4 Grafikkarten pro Loop in Serie sind gar kein Problem, weder von der Leistung her noch von der Haltbarkeit.

8 Karten im single würde ich aber nicht machen, das ist wirklich zu viel.
 
Danke an alle fuer die sehr hilfreichen Ratschlaege! Ich habe jetzt den Ursprungspost auf die Mo-Ra 3 Pro 420 mit Noctua Lueftern geupdatet.

@Research

Der Gigant Kupfer (wahrlich auch ein Kupfergigant) wuerde das Problem zwar loesen, doch, wie Du auch schon anreisst, muss alles in einen Serverschrank verpackt werden. Aber waere Mal eine echt interessante Idee zu sehen wie viel man aus so einem Monstrum rausholen koennte!

@GMJ

Immersionskuehlung ware hierfuer zu teuer. Doch eventuell kriege ich demnaechst Mal meine Haende an 2 AMD Epyc Rome 7H12, dann waere Immersionkuehlung auf jeden Fall eine sehr interessante Option!

@Abductee @chaotium

Leider ist die Klimaanlage zum jetzigen Zeitpunkt nicht weiter upgradebar und wird mit den anderen Servern zusammen schon einigermassen gut ausgelastet.

@Alk

Danke fuer das Teilen Deines Wissens zum Mo-Ra 420 Pro! Zum jetzigen Zeitpunkt tendiere ich stark zu dieser Loesung in Kombination mit 2 Loops.
 
Hast du Platz über dem Serverschrank?
Wie viel Platz darunter?
Sind die Seitenwände abnehmbar?
Die Türen, wie sehen die aus? Wie viel Spielraum haben die?

Hole morgen noch nen Link für eine Lösung der befürchteten Durchflussprobleme. Stichwort Plattenwärmetauscher.
So hättest du dann 2 Systeme. 1 Heiz-System, 1 Kühl-System.

Alternativ 3-4 Pumpen 1-3 Pro Gehäuse.
U.a. im AGB 1-2, auf dem CPU-Kühler...
 
Zuletzt bearbeitet:
Ich würde mir aber je nach Ausfallsicherheit und Austauschbarkeit der Karten überlegen, ob du wirklich auf SLI Verbinder setzen möchtest, oder mit Schnelltrennern eine Art 4fach Verteiler vor den Karten einsetzen möchtest, um im Bedarfsfall eine Karte schnell tauschen zu können, ohne den kompletten Loop der 4 Karten entleeren zu müssen.
Als Beispiel: EK hatte dazu ein Showcase einer Workstation mit 7 GPUs auf der Computex.
Kannst zb das Video von derbauer von der Computex anschauen, ganz am Ende kommt dann EK Business Solution: YouTube
 

Danke! Das ist doch Mal eine Ansage!

Ich habe heute nochmal den Platz genau begutachtet und koennte den gesamten Schrank an den internen Kuehlkreislauf des Gebaeudes anschliessen, welches selbst eigene Kuehltuerme und Radiatioren hat. Das Wasser dort ist konstant 20 Grad warm, glaubst Du es waere eine Option mit den plate heat exchangern die beiden Kreislaeufe miteinander Waerme austauschen zu lassen?
 
Oh, JA.

Dann vielleicht eine echte Fachlösung aus Vollkupfer.

Wobei das vielleicht unnötig ist.
Generell Delta 20°.
Also 20° rein, 40° raus.

Kühlmittel könnte man u.A. Mineralöl nehmen. 3M mal fragen.

Edit:
Wegen Serverschrank und Sorge vor Leckage.
Dem kann man aber durch Abdichtung mit Silikon abhelfen. (Gehäuse)
 
Zuletzt bearbeitet:
Zurück