Heimserver für LLMA

[Blue_Laguna]

Aktuelle PC-Hardware

Wieso?

Ich möchte

Neuen PC zusammenstellen

Budget

1000

Kaufzeitpunkt

Sofort

Anwendungszweck

1. Arbeiten / Programmieren

Zusammenbau

Nein, ich baue selbst

Guten Abend zusammen,

Ich bin derzeit beim planen von einem neuen System als Heimserver der nur für LLMA verwendet wird,
GPU Compute fällt dabei völlig raus da die Grafkkarten dabei viel zu teuer werden.
Kurzzeitig teste ich Mistral 7B am PC und es lief für den Heimgebrauch durchaus brauchbar.

Geplant wäre jetzt:
I5 12400
48GB RAM (mit der Möglichkeit auf bis zu 196GB zu gehen)
ASRock B760M PG Lightning
3x M2, 1 schnelle für LLMA und 2 langsamere für OS und Programme
2x HDD für die Backups

 

[GeKaTe]

Warum 48 und nicht gleich 64?

 

[durky91]

Ich denke mal wegen Vollbestückung vom Mainboard 4x 48GB Riegel = 192GB RAM welches das B760M unterstützt

 

[GeKaTe]

Das scheint logisch ^^

 

[Shinna]

Soll das komplette System angeschafft werden? Ich gehe mal davon aus. Bei den HDDs gibt es halt eine Fülle an Optionen. Was dann auch an der sonstigen Verwendung hängt. Daher lasse ich die mal aussen vor.

Das Grundgerüst könnte so aussehen. Ich würde die paar Euro bei der CPU drauflegen und einen 13400 nehmen. Der ist schon etwas performanter als der alte 12400. Und vor allem bringt er einen besseren IMC mit. Das würde später bei Vollbestückung relevant werden.

Das FD Core1000 ist zwar schon in die Jahre gekommen. Ist aber in Hinblick auf Einsatzzweck und Preis immer noch eine solide Wahl. Und ist flexibel genug um ggf.. auch als NAS Case zu dienen. Wenn die Kiste häufig und längere Zeit unter Last läuft würde ich persönlich das Geld in einen Noctua Cooler investieren.

LLMA Server | Wunschlisten Geizhals Deutschland

LLMA Server | Wunschlisten

geizhals.de

 

[durky91]

Wäre es nicht besser direkt auf die 96GB Ram zu gehen, dann hat er später wenigstens die Option auf die 192GB upgraden zu können falls es notwendig sein sollte.

z.B. dieses Kit hier

 

[Shinna]

Ich kann nicht sagen wie "gut oder schlecht" die Vollbestückung am Ende läuft. Aber wenn wir mal ehrlich sind. Für den Preis von rund 500-550€ für192gb DDR5 kann man sich eine GPU kaufen. Dazu "genug" Ram. Und in Sachen Performance sieht dann eine kleine Desktop CPU recht gammelig aus. Man kann dann sowas wie 13B im VRAM laufen lassen. Das ist schon recht nett. Und soviel RAM wird man Ende auch nicht benötigen. Man wird kaum Modelle laufen lassen die so groß wären. Das würde eine "Ewigkeit" brauchen.

MSI GeForce RTX 4060 Ti Ventus 2X Black 16G OC ab € 468,66 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für MSI GeForce RTX 4060 Ti Ventus 2X Black 16G OC ✔ Bewertungen ✔ Produktinfo ⇒ GPU: NVIDIA GeForce RTX 4060 Ti • Speicher: 16GB GDDR6, 128bit, 18Gbps, 2250MHz, 288GB/s • Takt Basis: 23… ✔ PCIe ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Oder

XFX Speedster SWFT 319 Radeon RX 6800 Core Gaming ab € 387,00 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für XFX Speedster SWFT 319 Radeon RX 6800 Core Gaming ✔ Bewertungen ✔ Produktinfo ⇒ GPU: AMD Radeon RX 6800 • Speicher: 16GB GDDR6, 256bit, 16Gbps, 2000MHz, 512GB/s • Takt Basis: 1700MHz • … ✔ PCIe ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Und dann ein auf Radeon GPUs optiertes LLMA

Eingebundener Inhalt

Reddit

www.reddit.com/r/LocalLLaMA/comments/11zcqj2

An dieser Stelle findest du externe Inhalte von Reddit. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Alle externen Inhalte laden Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.

 

[TiH8]

Wenn die Kiste häufig und längere Zeit unter Last läuft würde ich persönlich das Geld in einen Noctua Cooler investieren.

Dann aber natürlich in einen NH-U12S redux für 15€ weniger

 

[Shinna]

Dann aber natürlich in einen NH-U12S redux für 15€ weniger

Und passt nicht ins Core 1000.

CPU-Kühlermax. 148mm Höhe

Abmessungen ohne Lüfter125x158x45mm (BxHxT)

 

[TiH8]

Und passt nicht ins Core 1000.

Oha, ich hatte das nicht als übermäßig schmal in Erinnerung...

 

[Shinna]

Oha, ich hatte das nicht als übermäßig schmal in Erinnerung...

Das Ding ist halt echt schmal mit weniger als 18cm. Drückt das Volumen auf 26L. Man kriegt genug Laufwerke unter. Hat vor dem HDD Cage nen Lüfter. Der hinter einem Meshpanel sitzt. Für 40€ nen feines NAS Case. Nur eben eingeschränkt bei der Höhe des CPU Kühlers.

 

[TiH8]

Das Ding ist halt echt schmal mit weniger als 18cm. Drückt das Volumen auf 26L. Man kriegt genug Laufwerke unter. Hat vor dem HDD Cage nen Lüfter. Der hinter einem Meshpanel sitzt. Für 40€ nen feines NAS Case. Nur eben eingeschränkt bei der Höhe des CPU Kühlers.

Ich hab das Teil zuletzt für einen Budgetgamingrechner eines Freundes genommen, aber wenn ich genau nachdenke, habe ich damals auch nur einen Towerkühler mit 92er Lüfter verbaut