• Wenn Ihr hier einen Thread erstellt, dann erwartet Euch im Beitragformular eine Vorlage mit notwendigen Grundinformationen, durch die Euch die Community schneller helfen kann. Mehr Informationen dazu findet ihr in diesem Thread.

Neuer High End Prozessor

PrivateCeralion

Freizeitschrauber(in)
Aktuelle PC-Hardware
aktuell habe ich ein:
AMD Ryzen 7 7700x
64 GByte DDR5 6000
Be quiet Dark power Pro 11 1000W

GPUs:
Nvidia RTX 4090
Intel Arc 770
AMD Radeon 7900xt
Ich möchte
Aktuellen PC aufrüsten
Budget
10000
Kaufzeitpunkt
In den nächsten 4 Wochen
Anwendungszweck
  1. Arbeiten / Programmieren
Sonstige benötigte Komponenten und Wünsche
Mindestens 400 GByte DDR5 RAM
Zusammenbau
Nein, ich baue selbst
Speicherplatz SSD (in GiByte)
2000
Speicherplatz HDD (in GiByte)
20001
Ich möchte mit ein neuen Arbeits PC zulegen.

Mein neues System werde ich zum kompilieren und finetunen von machine learning models benutzen. Das finetunen soll ohne quantization passieren, daher brauche ich mindestens 400 GByte RAM, 1.5 Tbyte währe besser.

Zur Wahl würde kommen:
AMD epyc Genoa
AMD threadripper 7000
Intel 4th generation Xeon Scalable.

Ich denke, Intel wäre aufgrund des neuen AMX-Befehlssatzes eine gute Wahl. (Wäre meine erste Intel-CPU seit 10 Jahren).

Hat jemand Erfahrungen/Empfehlung?
 

Kaufberatungsbot

Werbung
Teammitglied
Spiele-PC der höchsten Liga für ca. 3.000 Euro
Die überschrift sugariert das du ne leistungstarke CPU willst.
Oder ist es ne GPU?
Oben sehen mehre Grafikarten, Und ne 7700x CPU, Was hat das auf sich ist das Relvant?

Threadripper 7.000 und ne RTX Titan.
Das ist schon ne ganz andere hausnummer. Bin dann mal raus.
(übrigens das ist nur ne einwurf nichts wirklich aussage kräftiges.)
 
Sorry für die Unklarheiten. Ich möchte mir einen neuen Prozessor + Mainboard+ Arbeitsspeicher kaufen. Anforderungen sind mindestens 400gbyte DDR5 Support.
 
Ganz ehrlich hier wirst Du kaum jemand finden der dir da wirklich weiterhelfen kann. Dein Workload ist schon recht speziell. Wir können hier zwar grundsätzlich einen Rahmen abstecken welche Hardware deine Anforderungen erfüllt. Aber das hilft dir grundsätzlich nicht weiter. Denn Datenblätter kannst Du alleine lesen. ;)

Mit deinem Budget wird es schwer genug CPU + Board + RAM zu kaufen. Gute 2000€ gehen schon drauf für 8x64gb DDR5 RDimm. Für das Board kann man auch grob 1500€ veranschlagen. Dann bleiben dir ca. 6500€ für die CPU und den Rest der anfällt. Da muss Du dann halt auch schauen was Du an Konnektivität benötigst.

Ich würde dir empfehlen dich anderweitig umzusehen. PCGH ist nun mal in erster Linie ein Forum für "Gamer" und "Desktop PCs". Schau dich bei Level1Techs mal um. Nimm Kontakt zu Wandell von Lech1Techs auf. Frag ihn mal was er dir als Setup empfehlen würde. Gerade in dem Bereich verfügt er über sehr viel KnowHow. Du wirst wohl nicht binnen ein paar Stunden eine Antwort bekommen. Aber ein System wie Du es anstrebst benötigt ja eh etwas Planung und Vorlaufzeit.
 
Vor allem erstmal Boards finden welche soviel Speicher und DDR-5 unterstützen:


DDR-4 wäre weniger das Problem.

Edit: Von Intel gibt es mehr

 
Zuletzt bearbeitet:
Ein passendes Board zu finden ist das kleinere Problem. Die Schwierigkeit bei Epyc ist den Rest an Hardware darauf ggf. zum laufen zu kriegen. Das ist Hardware die per se nicht dafür gedacht ist mit "Consumer GPUs" zu laufen. Da muss man wirklich schauen was der Hersteller(ASrock, Supermicro, Gigabyte, Tyan etc.) validiert hat. Und das auch noch in Hinblick auf die RDimms.

Die kommenden TRX50 Boards bieten IMO nur 4 DImms mit 1 DPC. Da müssten dann schon 128gb RDimms her. Und die kosten deutlich mehr als 2x64gb DDR5 RDimm. 8 DImm Slots werden dann wohl nur die WRX90 Boards bieten.
 
Vielleicht kann @PCGH_Torsten was dazu sagen bzw schreiben?:)

Er ist doch der Mainboard-Experte und kennt sich glaube ich auch im High-End Bereich ein wenig aus.

Zu den Boards kann ich sagen, dass Threadripper 7000 ohne-Pro tatsächlich auf vier Module limitiert ist und dass das den gewünschten RAM-Ausbau erschwert. Umgekehrt dürfte 7000 Pro mit 8 Modulen deutlich teurer kommen, wenn denn mal was verfügbar wird. Bei Intel ist man flexibler, da prinzipiell zwei DIMMs pro Kanal unterstützt werden – man käme also mit einem Quad-Channel-Board für die günstigeren Xeon W-2400 aus und muss nicht die großen 3400er nehmen. Allerdings kauft man da halt allgemein Technik auf Alder-Lake-Niveau, also 2021er Stand, während Threadripper 7000 ein Ryzen-7000-Verwandter ist, der vor allem in Sachen Effizienz einen sehr großen Vorsprung hat. Gleiches gilt für die Genoa-Epycs, wobei ich außer der Verfügbarkeit von X3D-Varianten und noch mehr Speicher rein gar keinen Vorteil gegenüber Threadripper sehe, nur erhebliche Mehrkosten. Umgekehrt sind die bald anstehenden X5XXer Xeons bestenfalls ein Refresh, eher aber ein Rebrand – es bliebt bei Golden Cove und es bleibt bei Intel 7, einem Fertigungsstand den AMD schon bei Zen 2 anno 2019 nutzte.

Über diese Allgemeinplätze hinaus kann ich aber nichts zur Leistung sagen. Profitiert der Workload vielleicht auch direkt von Octa-Channel? Dann wäre Threadripper Pro sowieso wünschenswert und die 1-DPC-Beschränkung quasi kein Nachteil, denn ich finde nur ein einziges (Xeon-)Octa-2-DPC-Board in Desktop-tauglichen Format. Andererseits gibt es bei der Realworld-Performance der Xeons große Fragezeichen: Kommen die KI-optimierten Befehlssätze von Intel zum Einsatz? Oder gar die KI-Co-Prozessoren von Sapphire Rapdis? Konsequenter AVX512-Einsatz? All das könnte die eigentlich wenig konkurrenzfähige Leistung massiv verbessern. Aber wenn man von optimierter Software spricht, ist man gleich im Hasenbau: Warum nicht direkt Radeon Instinct, Gaudi, Hopper? Oder würde schon eine Consumer-(Nvidia-)GPU reichen? Genauso offen für Alternativen könnte der Speicher sein: Müssen die Daten in DRAM liegen? Oder gingen auch Optane-DIMMs? Wir würde sich ein RAID mit Optane-U.2 oder PCI-E-5.0-SSDs schlagen? Da gibt es so viele aus Desktop-Sicht exotische Möglichkeiten, die auf den ersten Blick zwar teuer sind, aber unterm Strich sogar Einsparungen bringen würden, wenn sie einem die Workstation-Plattform ersparen.

Ich habe von den konkreten Anforderungen aber keine Ahnung – und ehrlich gesagt auch nur eingeschränkt von den Preisen. Denn sowas wird kaum am Endkundenmarkt gehandelt und die Preise in Preisvergleichen werden somit eher nicht repräsentativ sein, wenn es überhaupt einen Eintrag gibt.
 
Vielen vielen Dank für die ausführlichen Antworten!
(Ich habe direkt PCGH+ aboniert @PCGH_Torsten )
Der Punkt bezüglich memory Bandbreite und auch Preis pro memory Modul ist super wichtig. 64Gbyte pro modul ist anscheinend das Preis-Leistungs Optimum. Daher wäre die Anzahl an memory slots bei Threadripper und Threadripper Pro wahrscheinlich zu klein.

Hopper, Instinct, Gaudi und Gaming GPU kommt leider nicht in Frage, da die Speichermenge zu groß ist.

Für LLama 7B sieht die Speichermenge folgend aus:

Activations per layer = s*b*h*(34 +((5*a*s)/h))
p * (Activations + params) => VRAM in Bits

Memory für Batchsize 32:
parameter = 7*10⁹
p = 32 #precision
b = 32 #batch-size
s = 2048 #sequence length
l = 32 #layers
a = 32 #attention heads
h = 4096 #hidden dimension

Activations in Network = 348,160,786,432

VRAM = p * (Activations + params)
VRAM = 32 * (348,160,786,432 + (7*10⁹))
VRAM = 11,365,145,165,824 Bits
VRAM = 1323.077 GB

Sind 661,5 GB wenn ich BF16 anstellen von FP32 benutze.

Bei kleineren batchsizes gehen auch größere LLMs als 7 Billion.
661Gbyte an RAM/VRAM entspricht 8 H100 grafikkarten, was leider unbezahlbar ist.

Anscheinend skaliert die deeplearning Rechenleistung super mit AVX512 und AMX(Advanced Matrix Extensions).
AMX wird nur von neusten Intel Prozessoren unterstützt. Daher wäre Sockel lga4677 von Intel sehr interessant.
 
Das klingt in der Tat stark nach Xeon W-3400*. Mangels Benchmarks und eigenen Tests kann ich keine eigenen Empfehlungen geben, aber die einzige im Preisvergleich vermerkte Möglichkeit (wie gesagt: Für solche Hardware unbedingt auf professionelle Anbieter abklappern!), um mit frei angebotenen Modulen über 0,75 TB zu kommen, sieht so aus:

Je nach benötigter/angemessener Kernzahl gibt es CPUs ab 1,4k (400-500 Euro Aufpreis zum ersten übertaktbaren X-Modell)

Kauft man so billig wie möglich, könnte es sogar knapp für 96er Module reichen, aber 64er sind wirklich viel billiger.

Bedenke auch, dass für leisen Betrieb eine Wasserkühlung angeraten ist. Sapphire Rapids lässt sich dank der riesigen Fläche zwar viel besser kühlen als aktuelle Desktop-CPUs, aber wenn man dem Ding richtig Dampf macht, ist die absolute Abwärmemenge einfach enorm.

Der Vollständigkeit halber sei erwähnt, dass es mit (ver-)alte(te)n Epycs auch eine wahrhaft pr0nöse RAM-Option gibt:


*: Für ein Octa-Channel-System in deinem Preisrahmen lohnt es sich meiner Einschätzung nach nicht, auf Emerald Rapids zu warten. Zu -3500er Xeons gibt es bislang nur Gerüchte und die sprechen von einen Rebrand; rein technisch wäre das neue Dual-Chip-Design für Intel deutlich teurer gegenüber dem aktuell bis 32 Kerne genutzten Sapphire Rapdis MCC. Die Sapphire Rapids XCC mit 36 und 56 Kernen, bei denen eine Ablöse sinnvoll erscheint und ein enormen Cache-Vorteil bringen könnte, liegen koster aber gut 4 respektive 6 Riesen ohne Board und RAM.
 
Zuletzt bearbeitet:
Noch mal vielen Dank für die Antworten. Ich habe mich jetzt für ein Mainboard von Gigabyte aus der gleichen Reihe, aber für Sockel 4677 entschieden: Gigabyte MS33-AR0 lga4677, 16 Slots für DDR5 sollte genug sein.

CPU wird Intel Xeon Platinum 8490H und am Anfang werde ich nur 512 Gigabyte Speicher (8 x 64) kaufen. Dies sollte für den Einstieg reichen, später kann ich immer noch aufrüsten.
 
Holla, der XCC-Platinum-Vollausbau? Das ist aber ein ganz anderes Kaliber als die bislang besprochenen CPUs. Um nicht zu sagen: Doppelt so teuer wie das gesamte bislang genannte Budget.

Da muss ich, wenn es nicht schon zu spät ist, zum Abwarten raten: Es gibt zwar keine Informationen zu neuen Workstation-Xeons, aber die Server-Ausgaben von Emerald Rapids sind für !übermorgen! angekündigt und sollen grob eine Verdreifachung des Chaches mitbringen. Bei einem speicherlastigen KI-Einsatz könnte das einen sehr großen Unterschied machen und definitiv drei Tage Wartezeit rechtfertigen.
 
Vielen Dank für den Tipp, ich werde noch paar Tage warten, bis ich die CPU kaufe. Eigentlich hatte ich mit Xeon Max mit HBM geliebäugelt, aber dieser ist nicht wirklich verfügbar.
 
Wenn deine Finger an einen freilaufenden Max kommen, wollen hier sehr viele Leute sehr viele Tests von dir sehen.^^
Ich hätte mir so gewünscht, dass Intel auf dessen Basis HEDT wiederbelebt – 32 Kerne, 64 GiB und 16× 0,5 TiB Optane an die DDR-Kanäle. DAS wäre mal ein "High End Desktop"-System gewesen, nicht Threadripper 7000. Aber irgendwie hat Intel nie kapiert, dass man tolle Techniken in der Breite starten muss, damit sie auf große Stückzahlen und bezahlbare Preise kommen können.
 
Zuletzt bearbeitet:
Ich stimme vollkommen zu, dass das HEDT Paket von Intel ein bisschen lieblos ist, es wäre schön gewesen, wenn wirklich " state of the art High End" hardware supported werden würde. Mein System kam an, ich habe mich vorerst für Saphire Rapids entschieden und werde in der Zukunft auf Emerald Rapids upgraden. Hier ist ein Photo:
 

Anhänge

  • SAVE_20231222_111501.jpg
    SAVE_20231222_111501.jpg
    5 MB · Aufrufe: 35
Zurück