Welche Budget GPU für lokale KI Tools (Ubuntu)?

[Drake802]

Ich möchte

Aktuellen PC aufrüsten

Aktuelle PC-Hardware

Ryzen 3700X, 16GB Ram ...
ODER
Intel Xeon E3-1230 v3 - 16 GB Ram

Budget

600

Kaufzeitpunkt

In den nächsten 2 Monaten

Anwendungszweck

1. Video-Schnitt/-Rendering (häufig/intensiv)

Zusammenbau

Nein, ich baue selbst

Hallo,
da mir die teilweise sehr begrenzen Kontingente der verschiedenen Anbieter nicht ausreichen (oder schlicht zu teuer sind), überlege ich ähnliche KI Tools lokal laufen zu lassen. Also Bildgeneratoren, Video Generatoren, Musik KI, TTS-KI. So was in der Art.

Ich habe ein wenig mit Pinokio auf CachyOS mit einer AMD RX 6700 XT (12GB VRam) rum gespielt und habe es nicht hin bekommen auch nur eines der für mich interessanten KI Tools ans Laufen zu bekommen. Auch mit Tiny11 und Pinokio hatte ich keinen Erfolg.
Ich vermute daher mal das es an meine Grafikkarte und deren sehr begrenzen VRam liegt.

Also stellt sich jetzt die Frage nach einem Modell, mit dem solche Anwendungen machbar sind. Das Problem ist mein sehr begrenztes Budget. Jenseits von 600€ wäre nur schwer machbar.


Ich dachte an eine RTX 4060 TI (16GB VRam) RTX 3090. Da gibt es aktuell noch Angebote für ~460€. ~800€ auf eBay.
Was meint ihr? Ist das eine noch brauchbare Option oder habt ihr alternativen?

Ich würde ja lieber eine AMD GPU nehmen, aber viele der KI Tools sind auf Cuda optimiert.


Ich bin mal gespannt auf eure Meinungen.

Gruß

LG

 

[Shinna]

Ich dachte an eine RTX 4060 TI (16GB VRam). Da gibt es aktuell noch Angebote für ~460€.

Warum eine 4000 Series Card? Das ergibt gar keinen Sinn.

Was meint ihr? Ist das eine noch brauchbare Option oder habt ihr alternativen?

Kauf dir eine 5070. Die liegt auch im Budget. Die 4gig weniger VRAM sind dabei kein wirkliches Problem. Die 5070 hat ein 192bit Interface = Höhere Speicherbandbreite. Und dazu deutlich mehr CUDA und Tensor Cores.

Stell dich aber auch darauf ein, dass die vorhandene restliche Hardware auch ziemlich limitierend ist. Bei dem was Du da vor hast. Je nach Größe der Modelle solltest Du über 64gig oder 128gig an Ram nachdenken.

 

[Drake802]

Warum eine 4000 Series Card? Das ergibt gar keinen Sinn.

Kauf dir eine 5070.

Du hast recht, die 4060 ist Blödsinn. Eine RTX 3090 ist zwar etwas teurer, aber immer noch "bezahlbar". Außerdem bietet sie mit 24GB VRam deutlich mehr VRam und auch doppelt so viel Bandbreite.

Je nach Größe der Modelle solltest Du über 64gig oder 128gig an Ram nachdenken.

Die Leistung des Unterbaus habe ich noch gar nicht bedacht. Das Upgrade des Unterbaus muss aber warten. Dafür habe ich zurzeit beim besten Willen kein Geld. Deswegen muss ich erst mal nehmen, was ich schon habe. Ich werde wahrscheinlich auch noch einiges in ein passendes Netzteil investieren müssen.

 

[Shinna]

. Eine RTX 3090

Da musst Du halt wirklich Glück haben um eine gebrauchte in der Nähe deines Budgets zu finden. Die liegen idR eher Richtung 700€ aufwärts.

Die Leistung des Unterbaus habe ich noch gar nicht bedacht.

Die CPU Performance ist gar nicht mal so ausschlaggebend. Du hast mit 16gig Ram einfach viel zu wenig um darauf entsprechende Modelle laufen zu lassen.

An deiner Stelle würde ich die AM4 Plattform dafür verwenden. Du solltest darauf(nach einem BIOS Update) durchaus einen 5950X betreiben können. Der kostet neu mittlerweile keine 250€ mehr. Und dazu dann halt 128gig DDR4. Das sind zusammen noch mal grob 500€ an Investment. Dazu dann ein neues PSU für weitere ~100€. Sprich incl. einer GPU wirst Du ganz grob bei 1200-1300€ rauskommen.