PC für lokale KI

[Ugar]

Ich möchte

Neuen PC zusammenstellen

Aktuelle PC-Hardware

Keine

Monitor(e)

Auflösung unrelevant

Budget

6000

Kaufzeitpunkt

In den nächsten 2 Wochen

Anwendungszweck

1. Arbeiten / Programmieren

Zusammenbau

Nein, ich baue selbst

Speicherplatz SSD (in TiByte)

2

Guten Tag zusammen,

für unsere Firma würden wir gerne eine lokale KI einrichten, welche 20 Mitarbeiter versorgen soll.

Wir dachten da an ollama +openwebui mit ner qwen oder llama llm.

Vermutlich wird dafür ne rtx3090/4090/5090 benötigt.

Hat jemand Vorschläge oder Ideen für ein vernünftiges Setup? Vielleicht sogar eigene Erfahrungen?

Das Budget ist erstmal zweitrangig, ich schätze mal irgendwo zwischen 4-7k.

Würde mich sehr über Vorschläge freuen.

 

[Incredible Alk]

Für lokales llama LLM brauchste vor allem das, was momentan irre teuer ist: RAM. Sowohl System-RAM als auch Grafik-vRAM.
Als Minimum damit die Nummer halbwegs funktioniert würde ich 32 GB RAM und eine schnelle Grafikkarte mit 16GB vRAM sehen, wenn du größere Modelle nutzen willst und wie du sagst mehrere Leute gleichzeitig zugreifen geht das eher Richtung 64+ GB RAM und 24-32 GB vRAM - und wenn du ne RTX4090/5090 kaufen musst und 64 (besser 96...) GB RAM dazu sind alleine diese beiden Bauteile schon dein ganzes Budget...

Aktuell (bzw. 2026/27) ist wirklich ein sehr sehr ungünstiger Zeitpunkt um sich sowas zu bauen. Vor nem halben Jahr wäre das sehr viel günstiger gewesen.

 

[Hellhammer]

alleine diese beiden Bauteile schon dein ganzes Budget...

5090 und 64 Gb sind mal 4000 Euro. Bleibt genug fürn Rest übrig. Wobei das trotzdem ne Hausnummer ist...

 

[Incredible Alk]

Naja, du brauchst halt auch noch ne brauchbare CPU/Board, SSD(s) , großes Netzteil usw. was zusammen schnell noch 1-1,5k mehr sind und bitte auch nicht vergessen dass man selbst wenn man jetzt so viel geld nimmt und die hardware dazu kauft auch jemand da sein muss der all das aufsetzt und wartet/betreibt. Ein lokales LLM zubauen das für 20 Leute remote funktioniert und gute Ergebnisse liefert ist alles andere als trivial, da gibts also noch weitere Kosten abseits der reinen Hardwarepreise.

Die Investition sollte also gut durchdacht sein. Wenn der Entschluss aber da ist das tun zu wollen (und auch jemand da ist oder bezahlt wird der das auch kann!) gehts natürlich.

 

[Technico]

für unsere Firma würden wir gerne eine lokale KI einrichten, welche 20 Mitarbeiter versorgen soll.

Hat jemand Vorschläge oder Ideen für ein vernünftiges Setup? Vielleicht sogar eigene Erfahrungen?

Das Budget ist erstmal zweitrangig, ich schätze mal irgendwo zwischen 4-7k.

Hi, für Dauerbelastung würde ich es so bauen – hier meine Liste.

NVIDIA RTX PRO 5000 Blackwell, 48GB | Wunschlisten Geizhals Deutschland

NVIDIA RTX PRO 5000 Blackwell, 48GB | Wunschlisten

geizhals.de

 

[Hellhammer]

Wäre der DGX Spark nicht auch ein Option?

NVIDIA DGX Spark: KI-Supercomputer auf Ihrem Schreibtisch

Betreiben Sie autonome KI-Agenten von Ihrem Schreibtisch aus.

www.nvidia.com

DGX Spark

Choose how you would like to connect to your DGX Spark.

build.nvidia.com

https://geizhals.de/?fs=NVIDIA%20DGX%20Spark

 

[Olstyle]

Wollt ihr Modelle anlernen oder nur ausführen? Letzteres braucht VRAM aber gar nicht sooo viel Leistung. Da wär dann sowas wie die Intel B60 (Dual) interessant

Intel Arc Pro B60 Dual: Multi-GPU mit 48 GiByte für 1.499 Euro

Die Intel Arc Pro B60 Dual mit 48 GiByte Grafikspeicher ist für 1.499 Euro im deutschen Handel gelistet und wird in 2 Wochen an den Start gehen.

www.pcgameshardware.de

 

[Ugar]

Primär wissendatenbank anlegen (RAG) und dann entsprechend die Ki antworten lassen.
Ich denke das zählt eher als ausführen ?

 

[Olstyle]

Tut es, ja.