Neuer High End Prozessor

PrivateCeralion · 13. November 2023

Ich möchte mit ein neuen Arbeits PC zulegen.

Mein neues System werde ich zum kompilieren und finetunen von machine learning models benutzen. Das finetunen soll ohne quantization passieren, daher brauche ich mindestens 400 GByte RAM, 1.5 Tbyte währe besser.

Zur Wahl würde kommen:
AMD epyc Genoa
AMD threadripper 7000
Intel 4th generation Xeon Scalable.

Ich denke, Intel wäre aufgrund des neuen AMX-Befehlssatzes eine gute Wahl. (Wäre meine erste Intel-CPU seit 10 Jahren).

Hat jemand Erfahrungen/Empfehlung?

Kaufberatungsbot

Starke GPU und CPU für ca. 1.450 Euro als Beispiel

Ellina · 13. November 2023

Die überschrift sugariert das du ne leistungstarke CPU willst.
Oder ist es ne GPU?
Oben sehen mehre Grafikarten, Und ne 7700x CPU, Was hat das auf sich ist das Relvant?

Threadripper 7.000 und ne RTX Titan.
Das ist schon ne ganz andere hausnummer. Bin dann mal raus.
(übrigens das ist nur ne einwurf nichts wirklich aussage kräftiges.)

RyzA · 13. November 2023

Was wird denn überhaupt genau mit dem PC gemacht?

400GB Ram klingen für mich utopisch. :ugly:

PrivateCeralion · 13. November 2023

Sorry für die Unklarheiten. Ich möchte mir einen neuen Prozessor + Mainboard+ Arbeitsspeicher kaufen. Anforderungen sind mindestens 400gbyte DDR5 Support.

PrivateCeralion · 14. November 2023

RyzA schrieb:
Was wird denn überhaupt genau mit dem PC gemacht?

400GB Ram klingen für mich utopisch.

Ich will damit LLMs mit bis zu 70 billion Parametern finetunen . Ohne quantization oder QLoRA. Also in den RAM müssen Gewichte + Daten + Gradient.

RyzA · 14. November 2023

PrivateCeralion schrieb:
Ich will damit LLMs mit bis zu 70 billion Parametern finetunen . Ohne quantization oder QLoRA. Also in den RAM müssen Gewichte + Daten + Gradient.

Das hört sich krass an. Kann ich aber nicht beurteilen weil ich mich damit nicht auskenne.

Shinna · 14. November 2023

Ganz ehrlich hier wirst Du kaum jemand finden der dir da wirklich weiterhelfen kann. Dein Workload ist schon recht speziell. Wir können hier zwar grundsätzlich einen Rahmen abstecken welche Hardware deine Anforderungen erfüllt. Aber das hilft dir grundsätzlich nicht weiter. Denn Datenblätter kannst Du alleine lesen.

Mit deinem Budget wird es schwer genug CPU + Board + RAM zu kaufen. Gute 2000€ gehen schon drauf für 8x64gb DDR5 RDimm. Für das Board kann man auch grob 1500€ veranschlagen. Dann bleiben dir ca. 6500€ für die CPU und den Rest der anfällt. Da muss Du dann halt auch schauen was Du an Konnektivität benötigst.

Ich würde dir empfehlen dich anderweitig umzusehen. PCGH ist nun mal in erster Linie ein Forum für "Gamer" und "Desktop PCs". Schau dich bei Level1Techs mal um. Nimm Kontakt zu Wandell von Lech1Techs auf. Frag ihn mal was er dir als Setup empfehlen würde. Gerade in dem Bereich verfügt er über sehr viel KnowHow. Du wirst wohl nicht binnen ein paar Stunden eine Antwort bekommen. Aber ein System wie Du es anstrebst benötigt ja eh etwas Planung und Vorlaufzeit.

RyzA · 14. November 2023

Vor allem erstmal Boards finden welche soviel Speicher und DDR-5 unterstützen:

Mainboards AMD Epyc mit RAM: 8x DDR5 DIMM, RAM max.: ab 512GB Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Mainboards AMD Epyc mit RAM: 8x DDR5 DIMM, RAM max.: ab 512GB

geizhals.de

DDR-4 wäre weniger das Problem.

Edit: Von Intel gibt es mehr

Mainboards Intel Xeon mit RAM: 8x DDR5 DIMM, RAM max.: ab 512GB Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Mainboards Intel Xeon mit RAM: 8x DDR5 DIMM, RAM max.: ab 512GB

geizhals.de

Shinna · 14. November 2023

Ein passendes Board zu finden ist das kleinere Problem. Die Schwierigkeit bei Epyc ist den Rest an Hardware darauf ggf. zum laufen zu kriegen. Das ist Hardware die per se nicht dafür gedacht ist mit "Consumer GPUs" zu laufen. Da muss man wirklich schauen was der Hersteller(ASrock, Supermicro, Gigabyte, Tyan etc.) validiert hat. Und das auch noch in Hinblick auf die RDimms.

Die kommenden TRX50 Boards bieten IMO nur 4 DImms mit 1 DPC. Da müssten dann schon 128gb RDimms her. Und die kosten deutlich mehr als 2x64gb DDR5 RDimm. 8 DImm Slots werden dann wohl nur die WRX90 Boards bieten.

RyzA · 14. November 2023

Vielleicht kann @PCGH_Torsten was dazu sagen bzw schreiben?

Er ist doch der Mainboard-Experte und kennt sich glaube ich auch im High-End Bereich ein wenig aus.

HisN · 14. November 2023

Lenovo ThinkStation P8: Threadripper Pro 7000WX fährt mit RTX 6000 im Aston Martin vor

In einem von Aston Martin inspirierten Gehäuse verpackt Lenovo Ryzen Threadripper Pro 7000 und Nvidia RTX 6000 Ada.

www.computerbase.de

1TB RAM sollte schon gehen

PCGH_Torsten · 14. November 2023

RyzA schrieb:
Vielleicht kann @PCGH_Torsten was dazu sagen bzw schreiben?

Er ist doch der Mainboard-Experte und kennt sich glaube ich auch im High-End Bereich ein wenig aus.

Zu den Boards kann ich sagen, dass Threadripper 7000 ohne-Pro tatsächlich auf vier Module limitiert ist und dass das den gewünschten RAM-Ausbau erschwert. Umgekehrt dürfte 7000 Pro mit 8 Modulen deutlich teurer kommen, wenn denn mal was verfügbar wird. Bei Intel ist man flexibler, da prinzipiell zwei DIMMs pro Kanal unterstützt werden – man käme also mit einem Quad-Channel-Board für die günstigeren Xeon W-2400 aus und muss nicht die großen 3400er nehmen. Allerdings kauft man da halt allgemein Technik auf Alder-Lake-Niveau, also 2021er Stand, während Threadripper 7000 ein Ryzen-7000-Verwandter ist, der vor allem in Sachen Effizienz einen sehr großen Vorsprung hat. Gleiches gilt für die Genoa-Epycs, wobei ich außer der Verfügbarkeit von X3D-Varianten und noch mehr Speicher rein gar keinen Vorteil gegenüber Threadripper sehe, nur erhebliche Mehrkosten. Umgekehrt sind die bald anstehenden X5XXer Xeons bestenfalls ein Refresh, eher aber ein Rebrand – es bliebt bei Golden Cove und es bleibt bei Intel 7, einem Fertigungsstand den AMD schon bei Zen 2 anno 2019 nutzte.

Über diese Allgemeinplätze hinaus kann ich aber nichts zur Leistung sagen. Profitiert der Workload vielleicht auch direkt von Octa-Channel? Dann wäre Threadripper Pro sowieso wünschenswert und die 1-DPC-Beschränkung quasi kein Nachteil, denn ich finde nur ein einziges (Xeon-)Octa-2-DPC-Board in Desktop-tauglichen Format. Andererseits gibt es bei der Realworld-Performance der Xeons große Fragezeichen: Kommen die KI-optimierten Befehlssätze von Intel zum Einsatz? Oder gar die KI-Co-Prozessoren von Sapphire Rapdis? Konsequenter AVX512-Einsatz? All das könnte die eigentlich wenig konkurrenzfähige Leistung massiv verbessern. Aber wenn man von optimierter Software spricht, ist man gleich im Hasenbau: Warum nicht direkt Radeon Instinct, Gaudi, Hopper? Oder würde schon eine Consumer-(Nvidia-)GPU reichen? Genauso offen für Alternativen könnte der Speicher sein: Müssen die Daten in DRAM liegen? Oder gingen auch Optane-DIMMs? Wir würde sich ein RAID mit Optane-U.2 oder PCI-E-5.0-SSDs schlagen? Da gibt es so viele aus Desktop-Sicht exotische Möglichkeiten, die auf den ersten Blick zwar teuer sind, aber unterm Strich sogar Einsparungen bringen würden, wenn sie einem die Workstation-Plattform ersparen.

Ich habe von den konkreten Anforderungen aber keine Ahnung – und ehrlich gesagt auch nur eingeschränkt von den Preisen. Denn sowas wird kaum am Endkundenmarkt gehandelt und die Preise in Preisvergleichen werden somit eher nicht repräsentativ sein, wenn es überhaupt einen Eintrag gibt.

RyzA · 14. November 2023

Danke für deine Einschätzung @PCGH_Torsten ! :daumen:

Dann sollte der TE mal den Tipp von @Shinna beherzigen.
Ich glaube kaum das hier jemand in diesen speziellen Fall groß weiterhelfen kann.

PrivateCeralion · 14. November 2023

Vielen vielen Dank für die ausführlichen Antworten!
(Ich habe direkt PCGH+ aboniert @PCGH_Torsten )
Der Punkt bezüglich memory Bandbreite und auch Preis pro memory Modul ist super wichtig. 64Gbyte pro modul ist anscheinend das Preis-Leistungs Optimum. Daher wäre die Anzahl an memory slots bei Threadripper und Threadripper Pro wahrscheinlich zu klein.

Hopper, Instinct, Gaudi und Gaming GPU kommt leider nicht in Frage, da die Speichermenge zu groß ist.

Für LLama 7B sieht die Speichermenge folgend aus:

Activations per layer = s*b*h*(34 +((5*a*s)/h))
p * (Activations + params) => VRAM in Bits

Memory für Batchsize 32:
parameter = 7*10⁹
p = 32 #precision
b = 32 #batch-size
s = 2048 #sequence length
l = 32 #layers
a = 32 #attention heads
h = 4096 #hidden dimension

Activations in Network = 348,160,786,432

VRAM = p * (Activations + params)
VRAM = 32 * (348,160,786,432 + (7*10⁹))
VRAM = 11,365,145,165,824 Bits
VRAM = 1323.077 GB

Sind 661,5 GB wenn ich BF16 anstellen von FP32 benutze.

Bei kleineren batchsizes gehen auch größere LLMs als 7 Billion.
661Gbyte an RAM/VRAM entspricht 8 H100 grafikkarten, was leider unbezahlbar ist.

Anscheinend skaliert die deeplearning Rechenleistung super mit AVX512 und AMX(Advanced Matrix Extensions).
AMX wird nur von neusten Intel Prozessoren unterstützt. Daher wäre Sockel lga4677 von Intel sehr interessant.

PCGH_Torsten · 15. November 2023

Das klingt in der Tat stark nach Xeon W-3400*. Mangels Benchmarks und eigenen Tests kann ich keine eigenen Empfehlungen geben, aber die einzige im Preisvergleich vermerkte Möglichkeit (wie gesagt: Für solche Hardware unbedingt auf professionelle Anbieter abklappern!), um mit frei angebotenen Modulen über 0,75 TB zu kommen, sieht so aus: