4 GPU + 3x PCIe add-in Case - welche Kombi nehm ich da?

[Defenz0r]

Hi. Brauche ein Case fuer

Threadripper 9000 Series
4 GPUs
3x PCIe add-in-cards
HDDs ( 100TB range - 5x20TB )

Mir wurde von Phanteks geschrieben "The Elite only has up to 10 PCIE slots and our enthoo pro 2 would only
have up to 11 PCIE slots. Both these cases would not be able to fit
the 4 GPUS."

Was mich sehr verwirrt hat.
Heisst das ich brauche ein separates case fuer die Grafikkarten?
Wollte 1x6950XT und 3x 4070 nehmen.

 

[eXquisite]

Welche 6950XT? Welche 4070? Welches Board?
Die sind ja mal 2.5 Slot, mal 2 Slot, mal 3 Slot hoch.

 

[Shinna]

4 GPUs
3x PCIe add-in-cards

Es gibt AFAIK 2 WRX90 Boards mit 7 PCIe Slots.

Produktvergleich ASUS Pro WS WRX90E-Sage SE, ASRock WRX90 WS EVO Geizhals Deutschland

Produktvergleich für ASUS Pro WS WRX90E-Sage SE (AMD sTR5) (90MB1FW0-M0EAY0), ASRock WRX90 WS EVO (AMD sTR5) (90-MXBMH0-A0UAYZ)

geizhals.de

Da wirst Du aber nicht dieses Setup so verbauen können. Zumindest nicht out of the Box. Dafür müsstest Du die GPUs auf Waterblocks umbauen. Sprich ein Custom Loop wird AFAIK unausweichlich sein.

Edit: In einem Enthoo Pro 2 Server Edition sollte der ganze Krempel reinpassen. Das Problem ist nicht die "Backplane" vom Case. Sondern das Spacing der PCIe Slots auf dem Board.

Phanteks Enthoo Pro 2 Server Edition - Closed Panel ab € 159,90 (2026) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Phanteks Enthoo Pro 2 Server Edition - Closed Panel ✔ Produktinfo ⇒ Gehäusetyp: Big-Tower • Volumen: 77.95l • Abmessungen (BxHxT): 240x580x560mm • Mainboard: bis XL-ATX (unb… ✔ PC-Gehäuse ✔ Testberichte ✔ Günstig kaufen

geizhals.de

EDIT2: Wenn Du keinen Custom Loop für die GPUs möchtest bleibt dir IMO nur sowas.

Grafikkarten PCIe mit GPU-Hersteller: NVIDIA, Speichergröße ab 12GB, Gesamthöhe: Single Slot Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Grafikkarten PCIe mit GPU-Hersteller: NVIDIA, Speichergröße ab 12GB, Gesamthöhe: Single Slot

geizhals.de

Das sind Single Slot Karten. Kosten halt auch entsprechend.

 

[Defenz0r]

EDIT2: Wenn Du keinen Custom Loop für die GPUs möchtest bleibt dir IMO nur sowas.

Grafikkarten PCIe mit GPU-Hersteller: NVIDIA, Speichergröße ab 12GB, Gesamthöhe: Single Slot Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Grafikkarten PCIe mit GPU-Hersteller: NVIDIA, Speichergröße ab 12GB, Gesamthöhe: Single Slot

geizhals.de

Verstehe. Und ein Multi-Case setup wo die Grafikkarten via RISER verbunden sind ist keine gute Idee?
Die obrigen Karten kann ich mir leisten, muss aber ueberlegen ob ich die auch nehme.
Am Host muss unbedingt ne AMD Grafikkarte installiert sein weil NVIDIA unter Linux nicht so toll ist.
Habe bis jetzt noch keine Wasserkuehlung installiert.
Habe gehoert das MoRa da ganz gut sein sollte.

Also - zum minimal-setup
Der Host braucht unbedingt 1x ne starke AMD Karte fuer 4x DP.
Danach 4 weitere Displays an die iGPU.

1 --

Anschließend sollen zwei weitere GPUs via VFIO an virtuelle Maschinen durchgereicht werden.
Die Bildausgabe dieser VMs (mit NVIDIA-Karten) soll dann über Looking Glass wieder an den Host übertragen werden.

3 ---

4x8TB SN850X NVMe SSD via PCIe Karte (Quadfurcation) aka x16 Karte mit 4x4x4x4 an die NVMes

4 ---

1x Capture Karte
1x USB PCIe mit 2 USB Controller (z.B Sonnet)
1x (Eventuell) Host Bus Adapter ODER weitere GPU

7 ---

Es gibt AFAIK 2 WRX90 Boards mit 7 PCIe Slots.

Ich warte bis zum ende vom September weil die neue Threadripper Pro 9000 Serie bis dahin released sein sollte, und eventuell ein Refresh der boards. Bei den zwei wuerde ich das AsRock nehmen.

Welche 6950XT? Welche 4070? Welches Board?
Die sind ja mal 2.5 Slot, mal 2 Slot, mal 3 Slot hoch.

Aktuell liegt bei mir ne 3.5 Slot AMD RX 6950 XT GAMING X TRIO 16G rum.
Aber ich kaufe wahrscheinlich neu ein.
Fuer die VMs plane ich im mittelfeld ein - e.g jeweils ne 4070.

 

[Einwegkartoffel]

4x DP bietet dir doch auch keine "normale" Karte...und 4x ans Board/iGPU sehe ich auch noch nicht

 

[eXquisite]

Bei Nvidia Bild durchreichen unter Linux ist doch je nach Umgebung ohne Pro Karte und Lizenz absoluter pfusch.
Das funktioniert dann drei Updates lang und danach darf man wieder basteln.
Custom WaKü wie im Post von Shinna würde ich für normale Karten auch machen.
PCI-E 5.0 ist so latenzkritisch, dass du dir auch da etliche Probleme mit Risern in die Kiste holen kannst, dann stellst du am Ende auf 4.0 oder gar 3.0 und hast je nach Karte, Anwendung usw. wieder Leistungsverlust.

 

[Defenz0r]

Bei Nvidia Bild durchreichen unter Linux ist doch je nach Umgebung ohne Pro Karte und Lizenz absoluter pfusch.
Das funktioniert dann drei Updates lang und danach darf man wieder basteln.

Hast du das schonmal gemacht? Die Devs von LookingGlass https://looking-glass.io/ haben da gute Erfahrungen gemacht.
Die nutzen z.B ne 2080.
Und auch ich habe da schon gute Erfahrungen gemacht.
Das Problem mit den Bluescreens etc hast du eher mit den AMD Karten in ner VM.

4x DP bietet dir doch auch keine "normale" Karte...und 4x ans Board/iGPU sehe ich auch noch nicht

Dann nehm ich halt 3x DP und 1x HDMI wenns sein muss oder ne weitere GPU
Fuer Linux kann ich z.B meine Radeon Pro w7500 nehmen die ist single slot.
Als zweite GPU unter Linux ausreichend.

 

[eXquisite]

Hast du das schonmal gemacht? Die Devs von LookingGlass https://looking-glass.io/ haben da gute Erfahrungen gemacht.
Die nutzen z.B ne 2080.

Ja, wir hatten im alten RZ ne Quadro baugleich 4x750Ti auf einer Platine und mein Arbeitskollege hat selber mal versucht seine - zufällig ebenfalls - 2080 unter Linux in eine Windows VM durchzuschleifen und hat es am Ende aufgegeben.
Das läuft drei Updates lang und danach bist du wieder am pfuschen.
Oder du machst halt nie Updates.

 

[Defenz0r]

Ja, wir hatten im alten RZ ne Quadro baugleich 4x750Ti auf einer Platine und mein Arbeitskollege hat selber mal versucht seine - zufällig ebenfalls - 2080 unter Linux in eine Windows VM durchzuschleifen und hat es am Ende aufgegeben.
Das läuft drei Updates lang und danach bist du wieder am pfuschen.
Oder du machst halt nie Updates.

Jaaa. Das ist halt nicht aktuell. Und das durchschleifen ist eine Kunst fuer sich.
Du brauchst initial relativ (spezifisches) wissen und musst schauen das du die richtigen Kernel Module hast und entsprechend draufbleibst.
Bei AMD z.B ist das nochmal ne ecke krasser weil du z.B nen Dummy block generieren musst fuer SAM (Smart Access Memory) damit du keinen Reset bug hast und damit du nicht dauernt nen blackscreen bekommst.. Wissen aber die wenigsten

+ du musst die Karte halt auch dann blacklisten damit keine andere resource sie klaut.
Wenn du identische Karten (AMD+AMD) nutzt geht das nur mit driverctl gescheit.
Ansonsten tust du eben den gesamten nvidia kram blacklisten und somit wirds nicht gekrallt.

By the way
Wenn z.B Microsoft etwas verbockt bin ich dank BTRFS Snapshots instant wieder auf dem Stand in der VM wo alles OK war.

 

[Shinna]

Ich warte bis zum ende vom September weil die neue Threadripper Pro 9000 Serie bis dahin released sein sollte, und eventuell ein Refresh der boards.

Das ändert NICHTS am Spacing der PCIe Slots. Die Platinen werden ja nicht "größer". Der zur Verfügung stehende Platz bleibt der gleiche.

Mit der gewünschten Hardware bleiben nur die genannten Optionen: Single Slot Karten oder Umbau auf Wasser. Letzteres sollte die bevorzugte Variante sein. In der Möhren fallen ja gut und gern 1,6KW-1,8KW als Abwärme unter Last an.

Und ein Multi-Case setup wo die Grafikkarten via RISER verbunden sind ist keine gute Idee?

Ich kenne nur Gen4 Riser mit max. 300mm Länge. Sprich Du müsstest dir ein eigenes Seitenteil "3D printen" um die GPUs dann ausserhalb übereinander zu stapeln. Hinzu kommt dann ja noch die Stromversorgung. Da brauchst Du dann entsprechende Cable Extentions. Oder ein zweites, dann auch externes, PSU für die "ausgelagerten GPUs".

Habe gehoert das MoRa da ganz gut sein sollte.

Ja. Du hast halt große Fläche mit entsprechend vielen Fans. Für dein Vorhaben bietet sich dann sowas an:

MO-RA IV 600 Black, 599,95 €

Der größte monolithischen Radiator auf dem Markt. Perfekt für übertaktete Gaming-PCs, Workstations und Server. Modular und erweiterbar.

shop.watercool.de

Edit: Für einen Custom Loop(ohne die GPU Blöcke!) würde ich mal ganz grob 2000€ bis 2500€ ansetzen. Einen MoRa extern , 2x 360 intern , 2 Pumpen , Fans ,Tubs, Fittings, Fan Steuerung und restlicher Krempel geht gut ins Geld. Wenn man Qualität haben möchte.

 

[Defenz0r]

Das ändert NICHTS am Spacing der PCIe Slots. Die Platinen werden ja nicht "größer". Der zur Verfügung stehende Platz bleibt der gleiche.

Mit der gewünschten Hardware bleiben nur die genannten Optionen: Single Slot Karten oder Umbau auf Wasser. Letzteres sollte die bevorzugte Variante sein. In der Möhren fallen ja gut und gern 1,6KW-1,8KW als Abwärme unter Last an.

Ich kenne nur Gen4 Riser mit max. 300mm Länge. Sprich Du müsstest dir ein eigenes Seitenteil "3D printen" um die GPUs dann ausserhalb übereinander zu stapeln. Hinzu kommt dann ja noch die Stromversorgung. Da brauchst Du dann entsprechende Cable Extentions. Oder ein zweites, dann auch externes, PSU für die "ausgelagerten GPUs".

Eher Wasser dann
Ja und Riser ist oft shady.
Mit dem Stromverbrauch koenntest du gut recht haben.
Aber praktisch laste ich wahrscheinlich nicht alles auf einmal aus.

Aktuell bin ich auf einem 5800x3D Setup mit 2 GPUs und mir gehen einfach die Lanes aus.
Die Virtuelle Maschinen die ich aktuell nutze laufen gut aber ich muss halt von VMWare Workstation weg weil es da keinen gescheiten PCI Device Passthrough gibt.

Und ESXi / Proxmox will ich ehrlich gesagt nicht.

 

[Shinna]

Eher Wasser dann

Dann schau dich mal um ob Du für deine Karten passende Blocks findest. Gerade bei einer 6950XT sollte das mittlerweile nicht mehr so einfach sein. Die Auswahl war damals bei Release schon sehr übersichtlich. Mittlerweile dürften viele Blocks kaum noch verfügbar sein.

 

[eXquisite]

Jaaa. Das ist halt nicht aktuell. Und das durchschleifen ist eine Kunst fuer sich.

Nur das damals der Support der Nvidia Treiber unter Linux noch besser war als heute.^^

Du brauchst initial relativ (spezifisches) wissen und musst schauen das du die richtigen Kernel Module hast und entsprechend draufbleibst.
Bei AMD z.B ist das nochmal ne ecke krasser weil du z.B nen Dummy block generieren musst fuer SAM (Smart Access Memory) damit du keinen Reset bug hast und damit du nicht dauernt nen blackscreen bekommst.. Wissen aber die wenigsten

Ich weiß, ich hab ne Vega64 im Hyper-V, das läuft immerhin irgendwie.

Wir haben übrigens ESXi im Einsatz und das war ein absoluter Krampf.

Edit: Hatte vorhin ja Quadro geschrieben, das war falsch, das war ne Tesla M10, da habe ich den Bums mal eingerichtet:

NVIDIA Tesla M10 Specs

NVIDIA GM107 x4, 1306 MHz, 640 Cores, 40 TMUs, 16 ROPs, 8192 MB GDDR5, 1300 MHz, 128 bit

www.techpowerup.com

Das war ziemlich wild mit 4x GM107 auf einer Platine.