Special Nvidia, wir müssen reden: Schluss mit dem VRAM-Geiz! - Ein Kommentar von Raffael Vötter

@AnnieZ Die Programme mit denen man die LLMs nutzt benutzen sowieso VRAM und RAM gemischt. Da brauchst du keine APU für. Sonst könnte man mit einer 3090/4090 ja nur maximal Modelle mit so 20GB nutzen, es geht aber relativ entspannt auch mit 50GB+ Modellen. Der Rest wird halt über den RAM gepuffert. Das wird dann halt deutlich langsamer.
 
@AnnieZ Die Programme mit denen man die LLMs nutzt benutzen sowieso VRAM und RAM gemischt. Da brauchst du keine APU für. Sonst könnte man mit einer 3090/4090 ja nur maximal Modelle mit so 20GB nutzen, es geht aber relativ entspannt auch mit 50GB+ Modellen. Der Rest wird halt über den RAM gepuffert. Das wird dann halt deutlich langsamer.
das stimmt auch. der mixed memory ist deutlich schneller als die verbindung zum ram aber auf diese daten muss ja nicht so häufig zugegriffen werden und wenn das LLM lokal läuft hat man ja meistens Zeit auf die Antwort zu warten
 
Und du glaubst dass es für jemanden der böse Absichten hat ein ernsthafter Unterschied darstellt ob er 400 oder 2500 Euro für die GPU bezahlt mal ganz abgeshen vom APUs die über mixed memory ganz andere Mengen an VRAM zur Verfügung haben
Token Generierung spielt ja auch eine Rolle. Mit demselben Argument kannst ja auch 20TB HDD's für LLMs nutzen... Wie oben der Kollege schon schrieb eine RTX3090 ist schon sehr nützlich. Aber erstaunlicherweise niemand will solche Volks-LLM Leistung breit verfügbar machen. Obwohl es technisch ein Mid-Range Chip mit 24Gb VRAM in jedem 1200€ Laptop schaffen kann.

PS.
Ich nutze meine RTX3090 mittlerweile als reiner AI-Beschleuniger am Legion Go Handheld. Dank USB4 Hot-Plug external GPU. Es gibt ums verrecken keinen stromsparenden Ersatz mit ähnlichen 24GB.
 
Zuletzt bearbeitet:
Aber erstaunlicherweise niemand will solche Volks-LLM Leistung breit verfügbar machen.
Ja natürlich nicht. Ich zahle für ChatGPT Plus 23,17€ monatlich, also 278,04€ im Jahr. Aktuell ist der Onlinedienst natürlich noch sehr überlegen bei komplexen Aufgaben, aber es wird der Moment kommen, da reichen Midrange-GPUs mit entsprechendem Speicher, um auf die Onlinedienste zu verzichten.

Aktuell verdienen die Herausgeber sich damit noch dumm und dusselig.
Bei KI-Bildgeneration haben die Privatanwender mit ihren GPUs ja schon gewonnen. Man kann sich schon unfassbar hochwertige Bilder erstellen oder vorhandene Bilder bearbeiten, da braucht man schon fast keinen professionellen Dienstleister mehr.
 
Ja natürlich nicht. Ich zahle für ChatGPT Plus 23,17€ monatlich, also 278,04€ im Jahr. Aktuell ist der Onlinedienst natürlich noch sehr überlegen bei komplexen Aufgaben, aber es wird der Moment kommen, da reichen Midrange-GPUs mit entsprechendem Speicher, um auf die Onlinedienste zu verzichten.

Aktuell verdienen die Herausgeber sich damit noch dumm und dusselig.
Bei KI-Bildgeneration haben die Privatanwender mit ihren GPUs ja schon gewonnen. Man kann sich schon unfassbar hochwertige Bilder erstellen oder vorhandene Bilder bearbeiten, da braucht man schon fast keinen professionellen Dienstleister mehr.
Ja da hast du noch ein anderes Thema angeschnitten. Mich hat vor paar Tagen ein Telegram-Moderator wegen politisch brisanten AI Bildern gebannt... die lokal von meiner 3090 gemacht werden. Wenn ein einzelner Honk wie ich mit einer 3090 dermaßen gefährlich sein kann, was sollen sie mit Millionen fähiger AI Laptops machen?
 

Anhänge

  • 1000017935.jpg
    1000017935.jpg
    1,1 MB · Aufrufe: 67
Also irgendein Telegramm Moderator mit seiner Willkür würde ich jetzt nicht als Memscheitsmaßstab ansehen ;)
 
Nvidia macht es schon geschickt, irgendwann denkt sich manch einer wie ich gerade ich sehe es nicht mehr ein, als Tausende Euros für eine 16 GB Karte auszugeben, diesmal hole ich mir die mit mehr speicher. Gut ich kann sehr leicht meine 4080s verkaufen und mache dann nicht soviel Verlust, aber was ich mit jemanden, der nicht so eine Karte sein eigenen nennt oder nur eine 500 Euro Karte hat, der muss richtig zu langen. Ich wäre ja bereit mir eine 5080 zu holen, aber dann bitte mit mehr speicher bei AMD funktioniert es doch auch. Wäre AMD in Sachen RT, PT auf Augenhöhe mit Lederjacke so würde ich blind mir eine Radeon holen und Nvidia komplett ignorieren.
 
LOL ich verstehe den "Kommentar " nicht.
Jeder entscheidet selbst was er kauft.
Selbst wenn NV die 5090 nit 8 GB VRAM raus bringt, das ist dem Käufer seinen Entscheidung.
Es gibt alternativen und daher jeder entscheidet selbst was er kauft.
Ich muss keine Überteuerte GPU haben mit, LOW-BOB-RAM, einen Stromstecher, der für mich zu unsicher ist und eine Software + Treiber die ich nicht gut finde.
Des Weiteren mag ich Open Source und Linux, daher FAIL bei NV!
 
LOL ich verstehe den "Kommentar " nicht.
Jeder entscheidet selbst was er kauft.
Selbst wenn NV die 5090 nit 8 GB VRAM raus bringt, das ist dem Käufer seinen Entscheidung.
Es gibt alternativen und daher jeder entscheidet selbst was er kauft.
Ich muss keine Überteuerte GPU haben mit, LOW-BOB-RAM, einen Stromstecher, der für mich zu unsicher ist und eine Software + Treiber die ich nicht gut finde.
Des Weiteren mag ich Open Source und Linux, daher FAIL bei NV!

Ist eben die Wahl zwischen Pest und Cholera. Entweder du kaufst eine Leistungskrücke wie die 9070 oder eine Speicherkrücke wie die 5080. Zum Glück wird es ja die 5090 geben.
 
Das die 5000er gen auch wieder nur bei der 5090 "genug" VRAM hat, liegt halt am Monopol von Nvidia. Der Speicher ist eben die Sollbruchstelle,damit die Karten auch in angemessener Zeit ersetzt werden.

Ich hab meine 3080 Ti mit 12GB VRAM und komme damit in UWQHD noch gut zurecht, spiele aber auch nicht die aktuellsten Titel.

Man könnte auch die neue Gen einfach nicht kaufen aus Protest aber das wird natürlich auch wieder nicht klappen, auch wenn die Umfragen sagen werden, daß 90% der User hier es nicht tun würden.Denn sie tun es dann trotzdem.Ich hab aufgehört, immer aktuell zu sein, werde meine 3080 noch behalten bis ich entweder eine 40er zu nem guten Kurs bekommen oder Nvidia mal wieder den Spielern mehr Beachtung schenkt.
 
Es ist gut, dass auch Hardware-Redakteure das klar aussprechen, wobei es für jeden Menschen, der Benchmarks verfolgt, schon lange Allgemeinwissen ist, dass man mit 8GB bestenfalls eine Eintagsfliege kauft, und diese nicht viel wert sein darf. (Unterklasse, aber nicht einmal mehr untere Mittelklasse.) Wer das Ende 2024, Anfang 2025 noch nicht begriffen hat, der hat Probleme mit dem Begreifen oder ist relativ ignorant, was Grafikkarten angeht (bzw. denkt nur einer 2-Jahresblase, ohne Zukunft). Überdies liegt es im direkten Vergleich zu Angeboten anderer auf der Hand, wie Nvidia die Kunden an der Nase herumführt, ganz bewusst, um ihre abzockende Preispolitik noch ein Stück weit abzockender zu machen.
Bei einer 4060 mit 8GB kann man ja noch schweigen (wenngleich es preislich von anderen schon 16GB gibt), aber eine 4060Ti mit 8GB ist eine tote Karte, jedenfalls totes Potential. Man hat ja doch nur eine 4060 mit 8GB, was die Langlebigkeit angeht, wenngleich die GPU selbst langlebiger wäre. Und wenn dann in der nächsten Generation noch schnellere Karten rauskommen sollen mit 8GB oder für 600€ nur 12GB, dann macht Nvidia geradezu Witze. Aber sei's drum, wenn die Leute drauf stehen... Soll die sich mit ihren Ausflüchten begnügen und doppelt kaufen, erst einmal teuer und dann ein paar Monate später noch teurer (und dank den Schwankungen des Marktes nochmal mit einem Batzen obendrauf, juhu). So muss das sein.

Das ist ja nicht neu, das ist völlig typisch Nvidia, etwa mit den albernen 3GB (!) oder auch 6GB für eine GTX 1060. Rein gar nichts sprach für die im Vergleich zur guten RX480 mit 8GB, aber die Call of Duty Kiddies fanden's halt einfach "cool", die zu kaufen. Doch damals waren die Preise ja vorerst noch in Ordnung und die GTX 1070 war ein Preisleistungshammer. Doch das Wort ist Geschichte für Nvidia, es gibt nur noch verschärfte Preistreiberei.
 
Ich wünschte mir wieder mehr traditionelle Rechner, die man auch nach ein paar Jahren noch aufrüsten kann.
Also wieder mehr ein klassisches Sockel Layout.
Dass Grafikkarten mit den Lüfter-Boliden drauf schon mehr als 2 Sockelbreiten bis hin zu 3.8 haben und der Rest der Fläche mit NVMe zugepflastert wird, finde ich pervers.
Bei 2 (max 3) Sockelbreiten sollte mal langsam Schluss sein und warum mounted man nVMe nicht auf Steckkarten, so dass man selbst die Wahl hat, wie man seine PCIe Sockel verballern möchte.

Die ganzen teuren Mainboards mit gerade mal 2-3 "Söckelchen" sind doch einfach nur unzufriedenstellend.

Ich fänd auch externe Kühllösungen besser, die man irgendwo in eine Kammer stellen und die Tür zumachen kann und dann 1-2 Standard Anschlüsse hinten an ein Gehäuse, damit man mal endlich konsequent wegkommen von dem ganzen Gelärme von Lüftern.
Es ist gut, dass auch Hardware-Redakteure das klar aussprechen,
Jawoll .. und ..
@sven .. nimm Dir daran mal ein Beispiel für den Linux Bereich und beklatsche nicht jede neue Distri. Das (ein bisschen Kritik da wo es angebracht ist) fehlt leider bislang in der Online Magazin Berichterstattung üner Linx völlig. Damit könnte man sich von dem Gros der anderen Magazine qualitativ abheben.
 
Nvidia macht es schon geschickt, irgendwann denkt sich manch einer wie ich gerade ich sehe es nicht mehr ein, als Tausende Euros für eine 16 GB Karte auszugeben, diesmal hole ich mir die mit mehr speicher. Gut ich kann sehr leicht meine 4080s verkaufen und mache dann nicht soviel Verlust, aber was ich mit jemanden, der nicht so eine Karte sein eigenen nennt oder nur eine 500 Euro Karte hat, der muss richtig zu langen. Ich wäre ja bereit mir eine 5080 zu holen, aber dann bitte mit mehr speicher bei AMD funktioniert es doch auch. Wäre AMD in Sachen RT, PT auf Augenhöhe mit Lederjacke so würde ich blind mir eine Radeon holen und Nvidia komplett ignorieren.
Hm so jemand wartet wohl einfach. Überspringt RTX 5000 und schlägt bei 6000 zu wenn es in seinen Preis Bereich genug Speicher etc gibt.

Der ganze Post hat so ein mit schwingendes "man muss jede Gen mit gehen". Nein muss man nicht.

Wer heute glücklich und zufrieden ist mit seiner 4080 oder was auch immer. Wird es nächste Woche auch noch sein unabhängig davon was nV vorstellt.

Aber wer weiß. Vielleicht wartet meine 4080 nur drauf das die keynote ist und dann sehe ich wie die weiße Fahne kommt ;)

Woher der Druck?

Ich bin stets in allen lagern unterwegs und für nichts ein fanboy. Die 4080 ist es geworden weil sie mir von allen Karten am besten gefiel als Gesamtpaket. Aus heutiger Sicht hätte das auch eine 4070 super ti sein können.

Wenn da bei rtx 5000 nichts dabei ist und bei AMD auch nicht (gut das ist kommend von einer 4080 zumindest für diese gen leicht zu beantworten) dann gibt es keine 5000er Karte und wird trotzdem fleißig weiter gezockt.
 
Ich frag mich da immer wieder warum man sich eine 24GB VRam AMD Karte kauft, wenn man anpassen muss...oder bestimmte Einstellungen ungenutzt lassen muss, da einfach die Leistung fehlt.

So schaut es aus...es zählt nur was AMD kann....was anderes ist unnötig und nur Blendwerk.
also ich weis nicht wo man anpassen muss oder gar es an Leistung fehlt. aber okay. Muss ja nicht alles wissen. :ugly:
 
Hm so jemand wartet wohl einfach. Überspringt RTX 5000 und schlägt bei 6000 zu wenn es in seinen Preis Bereich genug Speicher etc gibt.
Da wird sich nichts ändern, der Speicher wird gleich bleiben bei der RTX 6080 davon gehe ich sehr stark aus.
Aber wer weiß. Vielleicht wartet meine 4080 nur drauf das die keynote ist und dann sehe ich wie die weiße Fahne kommt ;)

Woher der Druck?
Die Frage hast du selbst beantwortet. :D
 
Zurück