F@H Cluster

[NiXoN]

Hi liebe Mitfalter und Mitfalterinnen (der Vollständigkeit halber sind alle gemeint [m/w/d], niemand ist ausgeschlossen )

Seit Februar bin ich irgendwie vom Folding-Fieber angesteckt worden, weshalb ich gerne mal einen eigenen Cluster dazu zusammenstellen wollte.
Aktuell rechnet in meinem Desktop eine ASUS ROG Strix 3080 mit ALC Full-Cover Block, allerdings nur am WE. Diese habe ich von @Ickewars für diesen Zweck gekauft und seither tut sie ihren Dienst.
Aktuell wechselt sie sich zwischen den Teams 70335 (PCGH) und 240890 (FreilaufendeOnlineFuzzies) ab.
Außerdem habe ich noch eine 3080 im Lappi, welche auch großenteils mitrechnet.

Der neue Cluster besteht aktuell nur aus Komponenten welche ich gebraucht im Luxx, bei EKA oder ebay erworben habe.

Ich möchte Euch an dieser Stelle mal ein kleines Worklog erstellen, da ich mir sicher bin dass ich mit Anregungen und hilfreichen Tipps Eurerseits rechnen kann.
Wie gesagt bin ich beim Falten neu und auch die Erstellung eines Worklogs feiert hier Premiere, daher immer gerne her mit Verbesserungsvorschlägen!!

Die aktuelle Baustelle besteht aus folgenden Komponenten:

	GH-Link	erworben bei	Kaufdatum	Hersteller-Link	Pic
Gehäuse:	Thermaltake Core X9 schwarz, Acrylfenster	Hardwareluxx MP		Thermaltake (Snow Edition)
Netzteil:	Corsair Professional Series 2022 HX1500i 1500W ATX 2.52	Alza		Corsair
Mainboard:	GIGABYTE X399 AORUS Xtreme	Computerbase MP		Gigabyte
CPU:	AMD Ryzen Threadripper 2950X, 16C/32T, 3.50-4.40GHz, boxed ohne Kühler	ebay		AMD
CPU-Kühlung:	Aqua Computer cuplex kryos NEXT sTRX4 Full Cover, Acryl/Nickel	Mindfactory		AquaComputer
RAM:	G.Skill RipJaws V schwarz DIMM Kit 32GB, DDR4-3200, CL14-14-14-34 G.Skill RipJaws V schwarz DIMM Kit 32GB, DDR4-3200, CL16-18-18-38	Hardwareluxx MP		G.Skill
GPU1:	ASUS TUF Gaming GeForce RTX 4090 OC, TUF-RTX4090-O24G-GAMING	quippr (ehem. Eqqippr)		ASUS
GPU1-Kühlung:	Bykski Asus STRIX / TUF 4090 (inkl. Backplate)	EZModding		Bykski
GPU2:	EVGA GeForce RTX 3090 FTW3 Ultra Gaming	Hardwareluxx MP		EVGA
GPU2-Kühlung:	Watercool Heatkiller V RTX 3080/3090 EVGA FTW3, Acryl Ni ARGB HEATKILLER V EBC - BACKPLATE FÜR RTX 3080/3090 EVGA FTW3 - NICKEL	Hardwareluxx MP Hardwareluxx MP		Watercool Watercool
SSD:	Samsung SSD 960 PRO 512GB	Hardwareluxx MP		Samsung
Radiatoren oben	1x Aqua Computer airplex radical 2/480, Aluminium-Lamellen	Hardwareluxx MP		AquaComputer
Radiator rechts	Hardware Labs Black Ice SR2 420MP schwarz	Hardwareluxx MP		Hardwarelabs
Radiator extern No1	Watercool Mora420 LT White 2x Blende high - weiß	Hardwareluxx MP/EKA		Watercool
Lüfter Rad No1 (4)	Noctua A20 Chromax Black
Radiator extern No2	Watercool Mo-Ra 4x180 LT Black (ROG Edition ) (ähnlich Mo-Ra 360 Black)	Hardwareluxx MP
Lüfter Rad No2 (4)	Phobya 180 PWM (roter Rotor)
Lüfter (4) Radi oben	4x Noiseblocker NB-eLoop B12-PS, 120mm	Hardwareluxx MP	2022/07/19	Blacknoise
Lüfter (3) Radi rechts	3x Noctua NF-A14IndustrialPPC-3000PWM			Noctua

Spoiler: alte Hardware

	GH-Link	erworben bei	Kaufdatum	Hersteller-Link	Pic
Gehäuse:	Thermaltake Core X9 schwarz, Acrylfenster	Hardwareluxx MP
Netzteil:	Corsair Professional Series HX1200i 1200W ATX 2.4	Hardwareluxx
Mainboard:	ASUS ROG Crosshair VIII Dark Hero	Hardwareluxx MP
CPU:	AMD Ryzen 9 3900XT, 12C/24T, 3.80-4.70GHz, boxed ohne Kühler	Hardwareluxx MP
CPU-Kühlung:	Noctua NH-D15 chromax.black	Hardwareluxx MP
RAM:	G.Skill RipJaws V schwarz DIMM Kit 32GB, DDR4-3200, CL16-18-18-38	Hardwareluxx MP
GPU1:	EVGA GeForce RTX 3070 XC3 Ultra Gaming, 8GB	Hardwareluxx MP
GPU2:	EVGA GeForce RTX 3070 XC3 Gaming, 8GB GDDR6	Hardwareluxx MP
SSD:	Samsung SSD 960 PRO 512GB	Hardwareluxx MP
Radiator oben	Aqua Computer airplex radical 2/480, Aluminium-Lamellen	Hardwareluxx MP

Erstmal soviel dazu, Updates und Bilder folgen noch.

Das Log habe ich parallel auch im Hardwareluxx Forum =>

F@H Cluster

Hi liebe Mitfalter und Mitfalterinnen (der Vollständigkeit halber sind alle gemeint [m/w/d], niemand ist ausgeschlossen ;)) Seit Februar bin ich irgendwie vom Folding-Fieber angesteckt worden, weshalb ich gerne mal einen eigenen Cluster dazu zusammenstellen wollte. Aktuell rechnet in meinem...

www.hardwareluxx.de

---

Pics:
1. Bauabschnitt 2022/06/06
2. Bauabschnitt 2022/06/20
3. Bauabschnitt 2022/07/10

 

[Ickewars]

Ha, schick dass es nun los geht und Du auch nen Worklog dazu machst ?

Was mir gerade auffällt - Du hast in der Signatur noch die Suche nach dem VIIer Kühler drin, die sich ja schon erledigt hat ?

 

[NiXoN]

ja, hier ist er noch, weil ich noch nicht zum Aktualisieren gekommen bin. Werd ich gleich mal tun, hab den Kühler gestern abend auch mal aus dem Paket befreit :hust:

EDIT=> erledigt ✅



da kann ich gleich mal eine Frage loswerden:
aktuell habe ich die beiden EVGA 3070 unter Luft drin, weil die Radeon VII unter Luft nicht mehr passt.
Da eventuell später ein Ausbau auf Wasser geplant ist, wäre aktuell auch da Angebot eines Mobos mit 4x PCIe X16 denkbar, aber dann fällt die AM4 Plattform ja raus.
Das aktuelle Angebot wäre ein AMD Threadripper 1920X mit einem Asrock X399 Taichi

Da würde dann die 3080 und die VII auch mit reinwandern, aber ich vermute mal dass dann das 1200er Netzteil nicht mehr ausreichen wird ? und eigentlich wollte ich es auch nicht so ausarten lassen, schon aufgrund der aktuellen Energiekosten

 

[Skajaquada]

Ich würde da eher auf ein Mining Board schauen, statt einem Threadripper. Das wäre mir echt zu teuer für einen reinen Falter und 16x PCIe braucht es ja am Ende auch nicht. Ein 4x GPU System ist auch ein komplett anderer Aufbau. Da passt das "normale" Gehäuse wahrscheinlich auch nicht mehr. Da nimmst du besser einen ollen Büro Rechner und stellst zwei Kisten hin. Für mich war das die deutlich praktikablere Variante ?

 

[A.Meier-PS3]

Haben Miningboards nicht nur 1X-Anbindung?

8X sollte schon sein.

 

[NiXoN]

das Gehäuse hatte ich extra wegen der liegenden Slots ausgesucht. Wenn ich auf Wakü setze bekomme ich ja locker 4 GPUs unter.
Der Threadripper ist gerade diese Woche direkt vor der Nase, geplant hatte ich den nicht, schon alleine wegen der 180W Eigenverbraucht. Mit dem X399 kann halt mehr als 3 GPUs ansteuern.

 

[Ickewars]

Ich könnte mir vorstellen, dass die PSU schon reichen könnte, wenn Du konsequent auf UV setzt. Meine 2x 3070 und 1x 3080 mit dem 3900x und 2xD5N, 1x HFN, 1x Leakshield und 8x 200er plus 7x 140er braucht so ca. 550-650 Watt, je nach Projekten. Da wäre schon noch Spielraum für ne 4te GPU mit UV bei dem 1200er. Wobei ich keine Ahnung habe, was sich die VIIer mit UV gönnt?

 

[NiXoN]

Wobei ich keine Ahnung habe, was sich die VIIer mit UV gönnt?

da habe ich auch nicht wirklich Werte, aber ich gehe schon davon aus dass sie nicht so effizient arbeitet wie die RTXen

 

[Skajaquada]

Haben Miningboards nicht nur 1X-Anbindung?

8X sollte schon sein.

Also ich hab beim Falten mit der RTX3090 nur maximal 4% Last am PCIe-Bus und das auf 8x4.0.
Da sollte ein 1x3.0 auch locker ausreichen, zumindest rechnerisch wären das dann ca. 75% Last.
Oder hab ich mich verrechnet?
Ich hab zumindest mit meinem Board keine Einbußen gehabt. Geht aber halt nur in einem Benchtable und nicht im "normalen" Gehäuse

 

[A.Meier-PS3]

@brooker hatte das mal ausgetestet und da kamm es soweit ich mich erinnere bereits bei 4x3.0 bei den größeren RTX3000 zu leichten Einbrüchen.

4 GPUs würde ich in meinem Faltserver unterbekommen vorausgesetzt alle sind nicht höher als 2 Slots.

 

[NiXoN]

ich habe jetzt mal auf den Threadripper geboten, ob ich ihn dann am Ende verbaue das entscheide ich dann ad hoc.

Der Cluster läuft sowieso nicht 24/7, da ich unter der Woche nicht in dessen Reichweite bin und ich ihn nicht komplett ohne Kontrolle laufen lassen möchte.

Mit dem Threadripper wäre auch 4x PCIe 3.0 x16 (2x x16, 2x x8) möglich, aber da kommt eben das Platzproblem dazu. Mit Wakü wären ja aber alle 4 Karten möglich, aber da dürften selbst die vielen Lüfter-/Radi-Plätze überfordert sein und wird dann wohl auch auf 1 oder mehrere Moras hinauslaufen.

 

[brooker]

@NiXoN ... sehr interessantes Projekt! Ich gebe gern meine Erkenntnisse aus dem OneMillionFolder mit 5xGTX970OC und diverse Aktionsaufbauten mit einer oder mehr GPUs weiter.

Was sollte man für ein Untersatz einsetzen?

1. CPU mit mindestens 3.5GHz Takt
2. Möglichst flotten Speicher, lieber schneller als mehr, 8GB sind ausreichend
3. Eine möglichst hohe PCIe Anbindung - eine aktuellere Anbindung, bspw. PCIe x8 Gen4 ist x16 Gen3 vorzuziehen
4. Markennetzteile mit ausreichend vielen Anschlüssen für die Stromversorgung und konkreten Aussagen wie der Strom verteilt wird
5. SSD mittlerer Preisklasse
6. Kühlung ist alles und Luftdurchsatz im Aufbau und der Räumlichkeit bringt Konstanz und entspanntes Falten
7. GPUs mit 3 Lüftern sind vorzuziehen

Zum Projekt: Einen Mix aus AMD und NVidia würde ich vermeiden. WaKü ist m.M.n. für reines Folding reine Liebhaberei. Ein Watercool Mora schaft mit beidseitiger Bestückung 1-1.5KW mit 1200U/min Lüfter weg. Aber es sollten dringens Schläuche ohne Weichmacher verwendet werden, sonst bist du ständig am Saubermachen. Kühlung ist alles. Die GPUs sollten 10cm Abstand voneinander Abstand haben. Kühle Luft sollte frei anströmen können. Ein halboffener Aufbau hat sich bewährt.

Angebot: ich habe hier noch einige hoch taktende i3 4*** liegen, mit denen ich meine Falter ausrüste. Gebe da gern was ab.

Wie würde ich das mit den 2 RTX 3070 machen? Zwei preiswerte Dell Rechner mit CPU Gen 4*** über brooker besorgen. 1600er DDR3 Ram dazu. Da die flotten i3 rein und 2 Threads abschalten. Boden ausknappern, Netzteil Mod rein, 550W Markennetzteil verbauen, SSD rein, Folding Linux Images von Picar drauf, Zeitsteuerung aktivieren, ggfs. Sweetpoint OC und freuen!

 

[NiXoN]

Grüßt Euch Leute.

Danke erstmal für Eure Tipps.

Aktuell habe ich erstmal die bisherige Konfig gelassen, aber das Threadripper Bundle liegt zu Hause. Der hat sowieso noch in der AMD Riege gefehlt.
Jetzt ist noch der 3900 XT und die beiden EVGA 3070 verbaut, und wer hätte es gedacht, soeben wurde die erste WU abgeschlossen .
Leider ist sie schon seit ewigen Zeiten beim Senden und es ist auch die CPU die sie beendet hat, aber die beiden 3070 sind auch gleich fertig.
Ein paar Bilder muss ich nachher mal hochladen.

 

[NiXoN]

da es hier etwas untergegangen ist erlaube ich mir mal aus dem Luxx abzuschreiben ?
1. Bauabschnitt 2022/06/06:

So, anbei mal ein paar Pics vom ersten Ausbau mit den beiden EVGA 3070.

Das aktuelle HW-Setup ist folgendes:
Thermaltake X9
Asus Crosshair VIII Dark Hero
AMD Ryzen 9 3900XT
Noctua NH-D15 chromax.black
2x16GB G.Sklill Ripjwas V DDR4-3200
EVGA 3070 XC3 Ultra
EVGA 3070 XC3 Gaming
Samsung 960Pro NVME SSD @ Win10 Pro
6x Noiseblocker B12-1
...und um das gleich noch etwas weiter

2. Bauabschnitt 2022/06/20:
Erstmal hab ich das System vervollständigt, die Corsair PSU ist eingezogen:

Ich hab auch noch ein BeQuiet Dark Power Pro 12 1200 W hier, aber da hat mich schon geärgert dass es ein anderes Kaltgerätekabel benötigt. Außerdem kann man mit dem HX-I ein paar Dinge über USB auslesen und einstellen.

Im Verkabeln war ich noch nie gut :hust:

Außerdem hab ich die beiden fehlenden Lüffis noch montiert, aktuell nur für die Optik und weil ich drum gebeten wurde ?

Der hintere Lüfter wurde auch die einen Noiseblocker ersetzt, der Optik wegen, aber erstmal zum ausprobieren.
Da der Auslass so groß ist kommt da vielleicht auch ein NF-A15 hin, da dürfte ich sogar irgendwo noch einen Chromax liegen haben. Vorn ist nach wie vor der TT drin.

Ich find die Lüfterblätter lustig :d

Erstes Mal booten vom DarkHero

Läuft direkt rund :bigok:

(bitte den Bildschirm ignorieren, ist nicht meiner )

 

[NiXoN]

So, ich habe mal noch eine kleine Besorgung gemacht

Damit ist die Richtung, in die es gehen wird, erstmal klar



3. Bauabschnitt 2022/07/10

ich muss Euch sagen dass ich schon jetzt froh bin das X9 ausgewählt zu haben.
Obwohl ich kleine Hände habe ist es teilweise schon recht eng zugegangen.
Am WE hab ich es eigentlich schon mal wieder richtig ausgeräumt, weil der nächste große Umbau anstand.
Der versierte Mitleser hat natürlich schon festgestellt dass der Karton vom 09.07. nur aus Wakü-Paketen besteht und demnach kann man schon einige Änderungen erahnen.
Leider bin ich am Sonntag nicht so weit gekommen wie ich wollte, aber das liegt eben auch daran dass ich bis auf den Front- und Hecklüfter wirklich alles wieder demontiert habe.
Diese beiden Lüfter kommen auch noch dran, aber immer einen Schritt nach dem anderen.

So sah es noch zu Beginn aus:

und hier ein paar Impressionen vom Probesitzen:

 

[NiXoN]

mal ein Update:
Mir sind im Luxx ein paar eLoops B12-PS in die Hände gefallen. Das passt mir sehr gut, da ich nicht weiß ob die B12-1 ausreichend Kühlleistung bringen. War ein schöner Zufall. Also gleich mal geordert, wäre ja echt nicht nett wenn direkt die Kühlleistung abkackt, gerade bei den (Außen)Temperaturen

 

[NiXoN]

ich behandle das Log hier immer etwas stiefmütterlich, sorry dafür ?

Mal ein Update:
Der Radiator-Handel blüht richtig auf:
1. 1x 420 weiß

2. 1x 420 riesig

3. 1x (halb)riesig

Im Luxx gibt es öfter Updates, falls jemand da gern tiefer eintauchen möchte

 

[NiXoN]

ist etwas ruhig geworden, da ich aktuell viel familiär eingespannt war. Meine Hoffnung ist dass ich am WE wieder einen Rutsch weiter komme.
Ich hatte den Kollegen wegen des Giganten angeschrieben, aber hab bisher keine Antwort bekommen ?

 

[NiXoN]

diese Woche war die Postmannschaft wieder fleißig:

Heute, nach Sonnenaufgang, will der Slowenische PonyExpress auch noch eines beisteuern

Mal sehen wieviel Zeit ich dieses WE zur Verfügung hab ?

 

[brooker]

... du musst dir die Zeit nehmen, schließlich hast du wegen der vielen Pakete fast keinen Platz in der Wohnung zum Laufen und Wohnen. Das geht so nicht!