Die Eierlegende Wollmilchsau: 6000€ Deep Learning (80%) + Gaming (20%) Setup inkl. Peripherie

Hallo Liebe Community,

Ein guter Freund von mir hat nun endlich eingesehen, dass seine Anforderungen an einen PC mittlerweile über seine 10 Jahre alten Mobile Workstation hinausgewachsen sind die er momentan noch verwendet. Er ist in der Finanzbranche tätig und schreibt seit einiger Zeit intelligente Trading Software (wen das interessiert, gerne PN). Zwar steht er noch relativ am Anfang, doch es ist absehbar, dass seine Anforderungen an schnelle Hardware zum trainieren von Modellen in den nächsten Monaten und Jahren stetig wachsen werden. Ich nehme an, dass sein neuer PC ebenfalls einige Jahre im Dienst sein wird und weil der Gute sich mit Hardware so ganz und gar nicht auskennt, bin ich der Glückliche der das neue Teil zusammenschrauben und einrichten darf. Bis auf Custom WaKü (vor allem bei fremder Hardware) traue ich mir das meiste problemlos zu, doch mein letzter Komplettbau liegt schon ein paar Jahre zurück und ich bin im Markt nicht mehr so trittsicher wie früher.

Budget: <=6000€ inkl. Peripherie
Kauf: Ab Juli, etwas länger warten wäre kein Problem
Anwendungen: hauptsächlich decision trees, naive bayes und support vector machines, RANSAC Regression, dann auch noch Microsoft Office und Chrome, 1440p (später vielleicht 4K) Spielen von AAA Titeln (z.b. AC Valhalla), zusehns komplexe Python skripte über zusehns größere Datensätze laufen lassen
Speicher: 1TB + 2-4TB SSDs damit speicher nie ein Problem wird.

Die Vorgaben lauten:

- Zwei Monitore (Per Vesa an einer dual Halterung)
- So leise wie möglich (Der Raum in dem der PC stehen wird ist eine Wohnküche in der auch der Schreibtisch steht und Modelle trainieren manchmal stunden-/tagelang)
- Tower so klein wie möglich aber so groß wie nötig
- Möglichst Zukunftssicher (möglichst lange auf dem Stand der Technik bleibend was Anschlüsse und Standards angeht)
- Ideal Aufrüstbar (besonders im Hinblick auf schnelleres trainieren von AI Modellen. Ich könnte mir vorstellen, dass mit der Zeit mehr GPUs und RAM dazu kommen sollen)
- Uneingeschränkte Nutzung unter Last und, wenn möglich, spielen während die Modelle trainieren (braucht es dafür womöglich 2GPUs?)
- Hochwertig (möglichst wenig Plastik) und Schlicht (am Besten schwarz)

Was bereits vorhanden ist:
- Solider großer Schreibtisch
- Bürostuhl
- Bookshelf Boxen inkl. Verstärker
- 45" 1080p Fernseher als 3. Monitor (wahrscheinlich folgt irgendwann ein Upgrade auf 4K) auf dem er dann u.a. spielen möchte
- Bluetooth Kopfhörer
- Internet primär via WLAN
- Externe 4TB HDD für manuelle Backups


Nachfolgend findet ihr meine vorläufige und unfertige Zusammenstellung inkl. einiger Überlegungen, bei der aber noch einige Kernkomponenten fehlen. Ihr könnt Euch davon inspirieren lassen, sie ergänzen oder auch komplett ignorieren. Ich freue mich über jegliche Vorschläge sowohl für das gesamte System als auch bzgl. einzelner Komponenten.

Herzliche Grüße,
PraetorAce




Konzept:
Ziel ist es ein idiotensicheres Setup zusammen zu stellen, welches hochwertige und verlässliche Komponenten beinhaltet und das bei best möglicher Erweiterbarkeit pflegeleicht ist.
Es soll sich primär um ein Arbeitsgerät handeln (80%), aber er möchte idealerweise auch noch zocken können (20%) während im Hintergrund ein Modell trainiert.
Der Plan ist den PC bei ihm vor Ort zusammen zu stellen, einzurichten und zu übertakten. Da er den PC wahrscheinlich wieder für 10 Jahre verwenden wird, würde ich so planen, dass komplexere Upgrades (CPU&Mainboard) möglichst weit nach hinten verschoben werden. Zwecks guter Kühlung bei geringer Lautstärke denke ich an eine AiO (mit besonders leiser Pumpe) zur CPU Kühlung, ein schlichtes Silent Gehäuse mit Staubfiltern und möglichst viele passive-/semi-passive Komponenten. Zusätzlich würde ich am liebsten nur 140mm Lüfter verbauen, da diese ja leiser laufen (ist aber hauptsächlich Fetischismus). Die GPU würde ich am liebsten auch unter Wasser setzten, da ich aber keine Erfahrung mit Custom WaKü habe möchte ich bei fremder Hardware nichts riskieren. Vielleicht bringt es ja etwas auf die GPU auch eine AiO zu bauen.


Peripherie:
Maus: Logitech MX Master 3 (90€)
Tastatur: Corsair K95 RGB Platinum (175€)
Schreibtischunterlage/Mauspad: ??? (<=100€)
Monitore: 2x LG UltraGear 27GL83A-B, 27" (ca. 900€)
Monitor Arm: ??? (<=100€)

Summe Peripherie: ca. 1300€


Tower:
Gehäuse: Wahrscheinlich ein dezenter mid-tower von Lian Li oder inWin (habe auch schon über das Define R6 von Fractal Design nachgedacht)
Gehäuselüfter: 2-4x BeQuiet! Silent Wings III (60€-80€)
Netzteil: Ich konnte kein passendes passives Netzteil finden (denke an Vollmodular, 80+ Gold oder Titanium weil der rechner sehr viel laufen wird und am Besten passiv)

CPU: i9 10900K Binned von caseking um das Upgrade zeitlich hinaus zu zögern, oder doch etwas mit mehr PCIe lanes? (740€)
Kühlpaste: Thermal Grizzly Kryonaut (7€)
CPU Kühler: 280mm oder 420mm Radiator, die neuen Pumpen von Corsair sollen schön leise sein
Radiatorenlüfter: 2x-3x Noiseblocker eLoop B14-PS Black Edition (50€-75€)

Mainboard: ??? (zwischen USB 3.2, PCIe 4.0 und den anderen neuheiten blicke ich momentan noch nicht ganz durch)
RAM: 2x32GB, ich nehme an ECC Speicher ist wahrscheinlich overkill (ca. 300€)
GPU: Entweder eine 2080Ti oder eine günstigere Karte zur Überbrückung der Zeit bis zur RTX 3xxx Serie (Dachte z.B. daran ihm erstmal meine 980 Ti zu geben). Ich bezweifle, dass er mit 2 GPUs bereits was anfangen könnte.
C:// Laufwerk: Samsung 970pro 1TB (300€)
Daten Laufwerke: 2x 2TB SanDisk SSD Plus (420€)

Summe Tower: ca. 2xxx€-4700€


Edit: zusätzliche Anwendungen hinzugefügt

Profitieren denn seine Anwendungen von vielen Kernen? Bei der Anwendungsleistung sind häufig die AMD-Prozessoren vorne, da sie einfach mehr Kerne bieten. Mir fallen da der 3950X (16C/32T, 760 €, AM4), 3960X (24C/48T, 1400 €, sTRX4) und 3970X (32C/64T, 2000 €, sTRX4) ein. Bei den letzteren beiden kann man 8 RAM-Module verbauen, beim ersteren nur 4 (womit man immer noch auf 128 GB RAM kommen kann).

Wenn wir diese Fragen geklärt haben, dann würde ich im nächsten Schritt über Gehäuse, Netzteil und Kühlung sprechen.

hier muss tatsächlich erstmal geklärt werden woe hier was gefordert ist.
viele Kerne? Oder wird das alles über GPU gemacht?

und das mit den 10 Jahren kannst du dir abschminken. wenn er jetzt viel Leistung brauch, dann nützt ihm in 10 Jahren die Kiste nichts mehr.

Möglichst Zukunftssicher (möglichst lange auf dem Stand der Technik bleibend was Anschlüsse und Standards angeht)....
vor allem ist das unmöglich. der PC hat keine zukünftigen Anschlüsse.

Läuft Deep Learning und neuronale Netze nicht primär über die GPU?

NeedMoreFPS schrieb:

Läuft Deep Learning und neuronale Netze nicht primär über die GPU?

Zum Vergrößern anklicken....

Kannst du in der Regel auswählen. Also du kannst den Quell-Code über die CPU oder GPU (Cuda) ausführen, was letztendlich schneller ist, müsste man aber vom TE erfahren.

Was ich persönlich jetzt garnicht einschätzen könnte ist ob Finanzmathematik in der Form eher hohe oder geringe Genauigkeit braucht.
Bei FP64 kann man nämlich quasi alle aktuellen Consumer-GPUs vergessen, bei FP16 und weniger greifen dagegen die Tensorkerne und alles was kein Turing ist schmiert ab.

realistisch betrachtet muss man wohl alle 5-7 Jahre nen Austausch machen sofern einem Leistung fehlt, 10 Jahre ist schon ne sehr lange Zeit.

Ich würde jetzt Richtung AMD Ryzen 3900X gehen auf nem gutem Luftkühler wie Noctua NH-D15, ggf. falls man dann merkt das reicht nicht auf Dauer mit der Ryzen 4xxx Gen nen 16-Kern rein.
Dazu nen X570 Chipsatz.

Alternativ falls man wirklich mehrere Grafikkarten in Zukunft plant halt Threadripper da hat man mehr PCIe Lanes etc und hat mehr Kerne ist aber ne ganze Ecke teurer.

@TE aus meiner Sicht ist es die falsche vorgehensweise möglichst viel auszugeben und das dann 10 Jahre zu behalten, sinnvoller ist das man ne gute Basis aufbaut und dann noch 4-7 Jahren nochmal GPU CPU Mainboard und dann auch RAM tauscht da einfach nach so einem Zeitraum die Leistung und Kerne ordentlich steigen wenn man natürlich eher nur GPU Leistung braucht dann tauscht man halt nur die aus.

SaPass schrieb:

Profitieren denn seine Anwendungen von vielen Kernen?

Zum Vergrößern anklicken....

Da ich noch nicht sicher bin wohin er sich entwickelt, möchte ich ein System bauen welches solide ist und dann je nach bedarf problemlos entsprechend aufgerüstet werden kann. Mittelfristig wird das Meiste sicherlich über die GPU laufen und ich denke dort wird er auch am ehesten upgraden. Ich hatte daher auch schon über mehr PCIe lanes nachgedacht (z.b. i9 10900x und aufwärts). Python selbst läuft single-threaded, während PyTorch aber gut für viele Kerne optimiert sein soll. Dann sind aber auch viele Datenbanken eher für Intel optimiert wodurch ich noch nicht ganz durchblicke was letzten Endes besser wäre.

TrueRomance schrieb:

und das mit den 10 Jahren kannst du dir abschminken. wenn er jetzt viel Leistung brauch, dann nützt ihm in 10 Jahren die Kiste nichts mehr.

Möglichst Zukunftssicher (möglichst lange auf dem Stand der Technik bleibend was Anschlüsse und Standards angeht)....
vor allem ist das unmöglich. der PC hat keine zukünftigen Anschlüsse.

Zum Vergrößern anklicken....

Ich gebe Dir vollkomen recht. Ich hatte es so gemeint, dass der PC auf dem Stand der Technik sein soll, damit er möglichst lange aktuell bleibt. Beispielsweise bin ich sehr froh, dass ich damals etwas mehr für ein Motherboard mit USB C und einem M.2 Slot ausgegeben habe, da ich nun davon profitiere. Umgekehrt habe ich es beim Kauf meines Monitors versäumt HDCP 2.2 zu berücksichtigen, wodurch ich bei 4K Content auf Netflix und Co in die Röhre schaue. Heute denke ich an so Sachen wie USB 3.2 (20GB/s), PCiE 4.0 oder auch schnelles Ethernet die man heute vielleicht noch nicht direkt braucht, später aber vor einem ansonsten verfrühten Upgrade bewahren.

Olstyle schrieb:

Was ich persönlich jetzt garnicht einschätzen könnte ist ob Finanzmathematik in der Form eher hohe oder geringe Genauigkeit braucht.
Bei FP64 kann man nämlich quasi alle aktuellen Consumer-GPUs vergessen, bei FP16 und weniger greifen dagegen die Tensorkerne und alles was kein Turing ist schmiert ab.

Zum Vergrößern anklicken....

Da bin ich selbst komplett überfragt. Aber Finanzmathematik ist ja diskret also würde ich einfach aus dem Bauch heraus nein sagen. Aber vielleicht weiß jemand anderes ja genauer bescheid.

NuVirus schrieb:

@TE aus meiner Sicht ist es die falsche Vorgehensweise möglichst viel auszugeben und das dann 10 Jahre zu behalten, sinnvoller ist das man ne gute Basis aufbaut und dann noch 4-7 Jahren nochmal GPU CPU Mainboard und dann auch RAM tauscht da einfach nach so einem Zeitraum die Leistung und Kerne ordentlich steigen wenn man natürlich eher nur GPU Leistung braucht dann tauscht man halt nur die aus.

Zum Vergrößern anklicken....

Natürlich.Die 10 Jahre sind nur mal so in den Raum gestellt und wenn überhaupt, dann inkl. Upgrades bis zum kompletten Neukauf. Je nachdem wie sich die Bedürfnisse entwickeln kann es sein, dass schon in 1-2 Jahren größere upgrades anstehen, aber vielleicht auch nicht. Ich möchte das System nur möglichst so bauen, dass z.B. beim hinzufügen einer 2. GPU nicht direkt die CPU zum Flaschenhals wird, oder alle RAM Slots schon belegt sind etc. Daher bei den Komponenten die tendenziell länger im Einsatz bleiben sollen (MoBO, Gehäuse, Lüfter, wahrscheinlich CPU) lieber ein bisschen zu viel als ein bisschen zu wenig ausgeben.

Numpi ist nur scheinbar für Intel optimiert:
Optimierte Rechenfunktionen: AVX2-Fix befluegelt AMDs Ryzen-Prozessoren | heise online
Da ist Intel nur am Werk mit ihrer MKL. Lässt sich über Umgebungsvariablenexport fixen. Falls die Software auf Numpi aufbaut wäre das dann womöglich kein Argument gegen AMD. Kann dir sagen dass der gleiche simple Einzeilen-Fix in Matlab gewaltig Performance bringt mit AMD.

Im Prinzip muss jetzt dein Spezi wissen ob seine Custom-Software mit Kernen, Takt, SIMD oder über die GPU, womöglich Tensor-Cores am besten skaliert, das können wir nicht beantworten. Bei so viel Kohle sollte man sich gut überlegen wo man die Kohle reinsteckt. Auf Verdacht würde ich so ne Workstation nicht kaufen.

Aus dem Bauch raus würde ich sagen 3950x mit x570-Plattform oder Intel HEDT wenn er überlegt noch mehr Grakas einzubauen. Intel ist etwas teurer, wenn das Budget aber da ist gibt es im beruflichen Umfeld gute Arguemente für Intel. Fängt bei AVX 512 an und hört bei der Systemstabilität in Grenzbereichen der Plattform auf.

Was spricht gegen die AMD HEDT? Hier ist doch schon alleine PCIe4 ein (potentieller) Vorteil. Und mehr Kerne gibts auch. Das spiegelt sich auch im Preis wider.

SIMD. Ein Beispiel gibt es hier (untere Hälfte, die obere Hälfte ist für die Tonne):
https://www.extremetech.com/wp-content/uploads/2020/03/Matlab-Retest-1.png

Wenn es um Datenverarbeitung geht die sich gut vektorisieren lässt (Fouriertrafo und Matrizenoperationen z.B.) ist AMD wegen der kleineren Register preisleistungstechnisch mit Intel im Gesamtpaket stellenweise kaum konkurrenzfähig. Da helfen die ganzen Kerne nicht. Manche KI-Anwendungen sind gut vektorisierbar, deswegen meine Nachfrage. Ein 3990x würde den 10980XE natürlich trotzdem überrunden, kostet aber halt auch. Bei 6k€ Budget in Verbindung mit Custom-Programmen helfen die Tests auf YT und PCGH nur noch bedingt, da muss man genau schaun was man braucht und wieviel einem die Zeitersparnis wert ist.

AVX512 ist eine der letzten Bastionen von Intel. Fällt hoffentlich mit Zen4.

Edit:
PCIe 4.0 kann helfen, hängt aber auch von der Anwendung ab. Mein CUDA-Rechenkram war noch nie PCIe-bandbreitenlimitiert, das mag aber an anderer Stelle anders sein.

Ich habe mir gerade ein paar Linux-Benchmarks zum 10980XE und 3960X angesehen. Das Fazit war dort, dass der 10980XE in wenigen Anwendungen vorne liegt, aber der 3960X im Mittel merklich schneller ist. Würdest du das so unterschreiben?

Letzten Endes muss man also wissen, welche Anwendungen genutzt werden.

Jop, das ist mein Punkt. Vllt. kann mans so grob über den Daumen peilen:
-Vektorisierbar mit AVX512: Intel HEDT (und eher keinen 3960X oder 3950x) oder gleich 3970X (was hier fast das Budget sprengt)
-Komplexe Logik: AMD R* oder AMD TR * (je nach Budget)

Oder wie die Vorredner schon sagten für Integer/FP16 direkt auf die Graka falls möglich. Müssen aber auch die Speicheranforderungen zulassen. Wer schon mal mit faltenden neuronalen Netzen rumgemacht hat oder mehrere Threads gleichzeitig auf die GPU schiebt wird mir zustimmen. Die 8GB auf den Consumer-Karten ist schnell voll, CUDA-Threads schleppen einiges an Overhead rum (sind schon 200MB oder sowas, mit nem 16-Kerner hat man dann schon 16x200MB weg, also mehr als 1/3 des Grafikspeichers und hat aber noch keine Daten dort). Und wenn der Grafikspeicher auf halbem Weg voll wird machts keinen Spaß die Trümmer der Rechnung einzusammeln. Quadro kann hier eine Option sein, ansonsten bleibt auch hier nur CPU.

Für Compute gibts keine Pauschalantworten. Da zahlt man schnell das doppelte für die halbe Leistung wenn man nicht weiß was man genau braucht und/oder die Software nicht auf die Hardware abgestimmt ist.

So, jetzt habe ich mich nochmal mit meinem Freund nochmal zusammen gesetzt. Da die genauen Bedürfnisse so schwer absehbar sind, das Budget jedoch da ist, geht es jetzt einfach darum einen guten Allrounder mit möglichst guten Upgrade Möglichkeiten zusammen zu bauen. Ich würde intuitiv sagen Intel und falls sich durch ZEN 4 oder die nächste Generation wirklich signifikant etwas ändert und seine Bedürfnisse bis dahin besser definiert sind, kann er ja immer noch umrüsten.

Wenn es hilft, ich weiß jetzt auch etwas genauer was er macht: decision trees, naive bayes und support vector machines, RANSAC Regression

Also, wie soll das Biest Eurer Meinung nach aussehen? Ich bin gespannt

Ok, also kein Deep Learning.
Dann wird auch die GPU weniger interessant als die CPU.

PraetorAce schrieb:

Da die genauen Bedürfnisse so schwer absehbar sind, das Budget jedoch da ist, geht es jetzt einfach darum einen guten Allrounder mit möglichst guten Upgrade Möglichkeiten zusammen zu bauen. [...]
Wenn es hilft, ich weiß jetzt auch etwas genauer was er macht: decision trees, naive bayes und support vector machines, RANSAC Regression

Zum Vergrößern anklicken....

Ich nehme an er kann seinen Kram parallelisieren.

Dann ne AMD TR-Plattform. Könnte man so machen, ich nutze mal das Budget aus, 3960x geht aber auch.
CPU: 3970x
MB z.B. ASRock TRX40 Creator
RAM: z.B. 2x Corsair Vengeance LPX schwarz DIMM Kit 64GB (würde eher nicht unter 2GB/Thread nehmen, ECC eher unnötig, Quad Channel beachten)
Kühler: be quiet! Dark Rock Pro TR4
---------------------------------------------------------------
ca. 3k€ für die Plattform

Platten: z.B. Intel SSD 660p 2TB (hat ihre Eigenheiten, Tests beachten)
Nvidia GPU nach Gusto, z.B. ne 2070S, PCIe Slots sind 4 Stück da. Kann er mal mit spielen und sich mehr holen wenn Bedarf besteht.

edit:
NT nicht unter 750W
Mit GPU und Kleinkram geht das dann auf ca. 4500€ hin.

PraetorAce schrieb:

Wenn es hilft, ich weiß jetzt auch etwas genauer was er macht: decision trees, naive bayes und support vector machines, RANSAC Regression

Zum Vergrößern anklicken....

Das ist jetzt aber noch kein Deep Learning, das sind Statistik-Libraries von Python. Die werden eher auf der CPU laufen, vermute ich.

Also hol dir einen großen AMD Threadripper Prozessor. Wenn der nicht reicht, benötigt ihr ein Rechencluster.