Deep Learning Workstation

[Cryptiex]

Guten Abend,

ich plane zurzeit den Aufbau einer neuen Deep Learning Workstation. Benutzt wird er hauptsächlich für das Training (Tensorflow) neuronaler Netze mit Datensätzen von 300GB+.


Prozessor: AMD Threadripper 2920x WOF (Haptsächlich wegen 64 PCIe Lanes)

Mainboard: ASRock X399 Taichi (2 Karten laufen auf 16x und 2 auf 8x)

Grafikkarten: 4x ZOTAC GeForce RTX 2080 Ti Blower
ODER
4x GIGABYTE AORUS RTX 2080 Ti XTREME WATERFORCE

RAM: Corsair DIMM 128 GB DDR4-3000 Octo-Kit

SSD: 3x Corsair Force MP510 1920 GB

Case: be quiet! DARK BASE PRO 900 rev.2

Netzteil: Corsair AX1600i


Habt ihr noch Verbesserungsvorschläge oder Anregungen? Ich bin mir aktuell auch noch unsicher mit der Kühlung. Ohne Wasserkühlung werden die Karten wohl instabil laufen.

 

[fisch@namenssuche]

Passen die zu trainierenden Modelle in 11 GB Speicher oder reichen auch 8 GB oder braucht's möglicherweise sogar 24 GB?
Ein Blick in Richtung RTX 2070 (optimales Deep Learning P/L) oder RTX Titan (für State-of-the-Art Forschung erforderlich) sollte in dieser Preisklasse gewagt werden.

Soll der Rechner in einem (klimatisieren?) Serverraum stehen oder in einem Büro, in dem gearbeitet wird?
Daraus ergeben sich die Anforderungen an die Lautstärke und damit für oder gegen eine Wasserkühlung.
Stabil werden die Karten auch mit Luftkkühlung, leise wird's dann aber nicht.

Wie kommen die Daten auf den Rechner? Externe Datenträger / FileServer via LAN / ...?
Eventuell wäre eine Kombi aus einer Intel Optane (Scratch Drive) und einer normalen SSD (Ablage und Austausch mit FileServer / externen Datenträgern) performanter.
Wenn die Trainingsdaten nicht in den RAM passen, kann auch eine NVME SSD zum Bottleneck werden.
Besonders, wenn mehrere Grafikkarten gleichzeitig versorgt werden wollen.