KI Workstation was macht überhaupt Sinn?

[DJPX]

Ich bin auf der suche nach einem neuen System welches ich vorallem für KI Modelle laufen lassen und auch selbst trainieren lassen kann (wenn es dann doch zu viel wird muss ich es in der Cloud machen)

Nach dem ich das Video gesehen habe:

Eingebundener Inhalt

youtube.com/watch/?v=3XC8BA5UNBs

An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Alle externen Inhalte laden Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.

habe ich mich gefragt ob sowas Sinn macht als KI Workingstation oder man doch eher Richtung 5090 oder etwas wie Nvidia Spark gehen sollte. Vielleicht hat da jemand Erfahrung und könnte mir da ein paar Tipps geben auf was ich bei der Hardware achten sollte und welches Budget ihr aufgewendet habt.

Zum Hintergrund:
Ich möchte gerne ChatGPT soweit es geht ersetzen da Daten jetzt gespeichert werden müssen und ich brauche auch eine Workstation mit welcher ich ein eigenes Modell trainieren kann. Das komplexeste was ich damit vor habe ist CAD Objekte zu erstellen lassen dafür muss ich aber auch das Modell trainieren.

Welche Modelle nutzt ihr und habt ihr schon mal was wie MCP genutzt mit lokalen Modellen?
Vielen Dank für eure Antworten

 

[Hagal]

Habe mich noch nicht viel mit Ki Beschäftigt, meine Workstation ist hauptsächlich zum Spielen. Arbeit ist Videoschnitt, Encoding, Siemens Solidedge, Simulationen (CLT) etc. wo ist dein Preislimit? So weit ich weiß bedarf es min 32GB VRAM.
Vermute diese AMD Halo? APU´s wo man 96GB VRAM zuweisen kann sind für sowas Preislich geeigneter, allerdings weiß ich nicht ob es die auch als Desktopversion gibt, im Mini PC kann man keine 5090 etc. verbauen. Denke eine combo von 96GB APU mit 32GB RTX5090 wäre recht mächtig für Zuhause.

Mein System hat ca. 1400 CPU, 700€ Board, 370€ RAM, 3200€ GPU, 400€ Waküteile und 230€ Case gekostet.
insg. ca. 6300€

Die restlichen Teile kamen vom alten PC (5950X) und von Firmen die mir für Reviews z.B. NVME, PSU etc. schicken.

LG

 

[DJPX]

Vielen Dank für deine Antwort.

Also ich habe mich noch weiter damit beschäftigt und vermutlich mach der Nvidia Spark am meisten Sinn da dieser 128 GB unified Ram hat, um Große Modelle laden zu können. Durch die Fähigkeit 4 bit einzeln ansprechen zu können und durch 4-Bit Quantisierte Modelle weche in Experten/Segemnte auf geteilt sind können auch Leistungen erreicht werden wofür man sonst 1-3TB VRAM gebraucht hätte. (Also ohne komprimierung und nur ausgewählte Sachen laden)
Das ware eine Theoriteische Tensor-Leistung von 1 PFLOP mit 4bit

Es gibt auch noch den AMD Ryzen™ AI Max+ 395 aber da weiß ich nicht wie das mit dem 4bit aussieht sonst wäre das sogar günstiger. Die sollte auch aus der AMD Halo APU Reihe kommen die du erwähnt hast und ja davon gibt es mittlerweile einige Desktop Versionen. Bei Apple gibt es auch noch die Macs ntuell könnte das auch was sein aber eigentlich möchte ich eher kein Appel Ökosystem haben

ermute diese AMD Halo? APU´s wo man 96GB VRAM zuweisen kann sind für sowas Preislich geeigneter, allerdings weiß ich nicht ob es die auch als Desktopversion gibt, im Mini PC kann man keine 5090 etc. verbauen.

Es gibt eine Desktopboard von Framework diese hat aber nur einen 4x PCIe Slot ich bin mir nicht sicher ob das mit der Performance da aussieht, die Bandbreite wäre dadurch vermutlich stark beschränkt aber ich hatte bisher noch nicht wirklich darüber nachgedacht.

Leider gibt es den Spark aber immer noch nicht zu kaufen und auch noch keine wirklichen Tests dazu.

wo ist dein Preislimit? So weit ich weiß bedarf es min 32GB VRAM.

Mein Preislimit wäre bei 5000€ da es für die Arbeit ist. Mit dem VRAM ist es ja immer sehr unterschiedlich je nach dem was man laufen lässt aber generell für die größeren/besseren Modelle ist 32GB schon wie du gesagt hast oft das was man braucht.

Mein System hat ca. 1400 CPU, 700€ Board, 370€ RAM, 3200€ GPU, 400€ Waküteile und 230€ Case gekostet.
insg. ca. 6300€

Welche CPU ist in dem System verbaut?

Die restlichen Teile kamen vom alten PC (5950X) und von Firmen die mir für Reviews z.B. NVME, PSU etc. schicken.

Das ist praktisch so was bräuchte ich auch

 

[Hagal]

Steht in meiner sig ein Threadripper 7960X

Nun ich baue alle meine PC´s so dass sie recht langlebig sind. Lieber etwas Vorgesorgt, als hintenrum blöd dazustehen.
Mit 5000€ kann man was anfangen, die Frage ist halt, wo Du hinwillst. Ich gehe davon aus du hast Erfahrung mit den Anwendungen, weißt was sie minimum an CPU+GPU Leistung benötigen. Dann stellst du dir darufhin das System zusammen, plus etwas Puffer. z.B. Braucht 16 Threads, dann nehme ich 24T oder 32T CPU, GPU min 32GB VRAM dann halt auch mindestens dass. Danach kaufst du ein. Solltest Du dich für TR System entscheiden, keine Sorge das ist alles nicht viel anders als bei Consumerstuff baut sich einfach zusammen.

Nun ich kenne die Leistung der APU nicht, wenn die 96GB VRAM hat und ob evtl. noch mehr geht.
Als Desktopversion, ohne wenigenstens ein mal PCIE v5x16 für eine weitere Grafikkarte, recht Sinnlos.
Da lobe ich mir wieder meine 92 Lanes (total).

Wenn man nicht behindert werden will, ist HEDT am besten für Projekte. Du kannst Arbeiten, kannst mit Hardware herumexperimentieren und wirst an keiner Stelle so stark eingeschränkt wie bei den 24 Lanes Consumerstaff. Diese Freiheit kostet halt etwas extra.