Für KI zählt nur, wieviel RAM du hast, um ein Modell zu laden. Wenn eine 9000€ teure Nvidia RTX Pro6000 "nur" 96GB hat, aber das KI Modell mehr RAM braucht, dann brauchst du eine Plattform die mehr RAM adressieren kann, nicht notwendigerweise mehr und höher getatktete CUDA Kerne.
Das ist der Auftritt von CPUs mit vernünftig vielen Grafikkernen (Strix Halo) und der Möglichkeit diesen Grafikkernen so viel DDR5 zur Verfügung zu stellen wie nur geht. Da kommen 128GB RAM Riegel gerade recht.
Plötzlich ist selbst Llama 4 Maverick mit seinen 800GB in Schlagdistanz von einem Heim-PC. Dieser Sprung mit 128GB Modulen auf 512GB ist irre. Je größer die Modelle werden, umso länger braucht man sie zu trainieren, was dem Heim PC erst recht die Zeit gibt technisch aufzuholen.
Unter dem Strich billiger als eine 9000€ teure Nvidia. Wie gesagt, die Karte muss sich bald damit abfinden, dass sie im Vergleich zu APUs nur relativ kleine Modelle laufen lassen kann, wenn auch mit Geschwindigkeitsvorteil. In die Kristallkugel geschaut behaupte ich auch Nvidia wird sich verändern und neben GPU Clustern mehr Produkte anbieten in die man einfach so viel DDR-5 RAM packt wie es nur geht und dann das größte Modell laufen lässt.
Wer als erster eine APU baut die genug Speicher-Controller hat um 6 oder gar 8 Riegel anzusprechen ist klar im Vorteil.
.
geizhals.de
