News 192 GiB RAM und 160 GiB VRAM: AMD Gorgon Halo ist offiziell

[PCGH_Sven]

AMD hat den Ryzen AI Max+ 495 alias "Gorgon Halo" offiziell bestätigt. Die neue Halo-APU bringt bis zu 192 GiB RAM mit, von denen sich 160 GiB als VRAM deklarieren lassen - genug für 300-Milliarden-Parameter-LLMs auf einem x86-Chip.

Was sagt die PCGH-X-Community zu 192 GiB RAM und 160 GiB VRAM: AMD Gorgon Halo ist offiziell

Bitte beachten: Thema dieses Kommentar-Threads ist der Inhalt der Meldung. Kritik und allgemeine Fragen zu Online-Artikeln von PC Games Hardware werden hier gemäß der Forenregeln ohne Nachfrage entfernt, sie sind im Feedback-Thread besser aufgehoben.

 

[BxBender]

Schnapper, wie immer von AMD
kann Keno von der C't ja mal wieder ein nettes Video zu drehen und mit seinen Testwerten aus dem NVidia Video vergleichen
ich bin zwar gegen KI, aber die Videos haben immer was an sich

 

[doedelmeister]

War Klar, dass da AMD auch mitverdienen will. Nvidias Sparx verkauft sich ziemlich gut.

 

[4thVariety]

• Die wichtigste Metrik ist nicht mehr ob ein Cuda Core oder ein RDNA Kern schneller ist (wie beim Gaming)
• Die wichtigste Metrik ist die Menge RAM die man ansteuern kann, damit das LLM geladen und verarbeitet werden kann.
• Der Preis entsteht daraus, welches andere Produkt solche großen LLMs laden kann.
• Aktuell sind das alles Nvidias ab 10.000€
• Das gibt AMD die Marge als Hersteller aufzutreten und den Status als Lieferant für OEMs langsam abzulegen.
• Der andere Preisdruck auf RAM ist entstanden, weil OpenAI einen Engpass beim Bau von Ki-Rechenzentren identifiziert hat und die Konkurrenz klein hält indem man ihr den RAM wegkauft.
• Der KI Markt träumt vom Zentralisieren der Rechenleistung, um sie pro Benutzung an den Endanwender zu verkaufen, weil dies das rentabelste Geschäftsmodell wäre.
• Davon haben Investoren schon einmal geträumt und es fiel das berühmte Zitat: There is no reason for any individual to have a computer in his home
• Der Markt braucht Zeit, um RAM Kapazität zu skalieren und zu versuchen lokal berechnete KI zu etablieren.
• Heim-KI wird den Siegeszug antreten, wie es einst Heim-PCs getan haben, weil es doch Gründe gab warum man die daheim haben wollte, hauptsächlich die Preis-Abzocke der damaligen Mainframe und Terminal Anbieter.
• Den RAM Schweinezyklus aktuell wird man aussitzen müssen, da unklar ist, ob zuerst da Kapazität des RAMs den Bedarf übersteigen wird, oder der durch die Ki-Branche verursachte Nachfrage einbrechen wird, weil es nicht genug Kunden gibt die für KI Zahlen.
• Das aktuelle FOMO-KI-Marketing gelangt definitiv bereits an seine Grenzen.

Die Ironie dabei ist, dass Ken Olsen mit seinem Zitat recht hätte, wenn man es von den reinen Kosten her betrachtet. Aber weil es dann immer auch von der Anbieterfirma wie eine Geiselnahme behandelt wurde und aus dem Kunden das Maximum herausgepresst wird, war es in der Vergangenheit immer am Ende billiger eine wahnsinnige Überkapazität zu produzieren und jeden auf dem Planeten mit irrer Rechenleistung auszustatten die 16/24 Stunden ausgeschalten bleibt und selbst wenn sie läuft nur mit 5%. Deswegen haben wir lokale PCs mit 20 Kernen zum Web-Email-Lesen und deswegen werden wir bei dezentralisierter Heim-KI landen und nicht bei Onlinediensten die ihr Oligopol für abartige Gewinnspannen missbrauchen.

Nur von der Machart, der Architektur und wer als Hersteller auftritt sieht man hier den PC der in 10 Jahren der Normalfall sein wird. Da steht AMD, Nvidia, Apple oder Intel drauf, nicht mehr Asus, Lenovo, Acer oder Medion.

 

[RobooeL]

Es gibt schon die Beta Version von den kompressionsverfahren um die KI dreimal kleiner zu machen das heißt 80 Gigabyte werden zu 30... Dann ist das nicht mehr so wild glaube ich

 

[DarkWing13]

Es gibt schon die Beta Version von den kompressionsverfahren um die KI dreimal kleiner zu machen das heißt 80 Gigabyte werden zu 30... Dann ist das nicht mehr so wild glaube ich

Ja, aber die Größe der Modelle steigt auch immer weiter an.
400B Modelle lokal auszuführen wird nicht das Ende der Fahnenstange bleiben.
Das Henne/Ei Problem ist auch hier präsent.
Wenn man komprimieren kann, dann will man auch mehr und dann werden die 80GB trotzdem gefüllt mit "240GB" Modellen.

 

[theGucky]

Den Preis glaubt doch keiner... 128GB RAM alleine sind doch schon mindestens 2000$...
Ich sage mindestens, weil 8000MT/s gibt es aktuell nicht mehr für Konsumenten mit 128GB.
6000MT/s kostet schon 1800€ aufwärts.

 

[dudellino]

Ich hoffe immer noch auf 512 Bit oder 1024 Bit Arbeitsspeicheranbindung wie beim Apple M5 Max oder M3 Ultra.

Der Bandbreiteunterschied merkt man schon extrem bei AI und anderen Applikationen die nicht computebound sind.

 

[Kerplunk]

NPU ("Neural Processing Unit"), von 50 auf 55 TOPS beschleunigt

wäre die NPU auf 1838 TOPS würde ich es ein AI PC nennen, Google TPU v8i hat 10100 und die 5090 hat 1676 TOPS (FP4)

 

[phoenixxl]

Es gibt schon die Beta Version von den kompressionsverfahren um die KI dreimal kleiner zu machen das heißt 80 Gigabyte werden zu 30... Dann ist das nicht mehr so wild glaube ich

Das dürfte lediglich dazu führen, dass die Modelle noch größer werden.
War bisher doch immer so, dass eingesparte Leistung direkt wieder ausgereizt wurde.

Denk Mal an Grafikkarten. Die Shrinks der letzten 20 Jahren haben dazu geführt, dass man die Leistung einer Voodoo 2 (damals High-End) heute mit wenigen Milliwatt Leistung bieten kann.
Die Voodoo 2 hat 15W geschluckt.
Eine 5090 braucht heute bis zu 600W.

Genau das wird auch mit AI Modellen passieren.
Der RAM Bedarf sinkt durch Optimierung und dann werden die Modelle angepasst und brauchen noch mehr RAM als vorher.

 

[ThirdLife]

Es gibt schon die Beta Version von den kompressionsverfahren um die KI dreimal kleiner zu machen das heißt 80 Gigabyte werden zu 30... Dann ist das nicht mehr so wild glaube ich

Was für ne Kompression ? Quantisierung wohl eher. Und Quantisierung ist keine Kompression. Auch MoE Architektur ist keine Kompression.

Ich hoffe immer noch auf 512 Bit oder 1024 Bit Arbeitsspeicheranbindung wie beim Apple M5 Max oder M3 Ultra.

Wo soll diese Anbindung bei der x86-CPU-Basis her kommen und einem entsprechend schlaffen DualChannel Mainboard ? Die Hersteller wollen allesamt nix tun und dafür maximal abkassieren, das ist die Realität.

 

[empy]

Wo soll diese Anbindung bei der x86-CPU-Basis her kommen und einem entsprechend schlaffen DualChannel Mainboard ? Die Hersteller wollen allesamt nix tun und dafür maximal abkassieren, das ist die Realität.

Was hat die Speicheranbindung mit dem Befehlssatz zu tun? Epyc-CPUs sind teilweise mit 768 Bit angebunden, die Plattform im Artikel dürfte analog zum Vorgänger auch schon mit immerhin 256 Bit arbeiten und DDR6 soll ja auch mit 96 Bit pro Modul angebunden sein. Ich wüsste auch nicht, warum man auf so einer Plattform nicht prinzipiell auch HBM nutzen können sollte.

 

[cx19]

Was für eine vertane Chance. Ich bin unendlich enttäuscht und mein Tag ist ruiniert.

Hätten sie das Ding Mal Gorgon Zola genannt!

 

[V3K1]

Aufjedenfall nice to have, zum rumspielen mit LLM's.

 

[Raffnek30000]

Aufjedenfall nice to have, zum rumspielen mit LLM's.

auf jeden fall, mit 16gb geht da schon was. aber es ist der anfang. wenn man das wirklich betreiben will sollte man deutlich mehr haben, da sind die 32gb der 5090 auch schon zu wenig.

 

[Neo_01]

Heim-KI wird den Siegeszug antreten, wie es einst Heim-PCs getan haben, weil es doch Gründe gab warum man die daheim haben wollte, hauptsächlich die Preis-Abzocke der damaligen Mainframe und Terminal Anbieter.

Definitiv, möchte auch schon lange meine eigene KI aufsetzen. Ohne tägliches Limit, Zensur und Abozwang.

Preislich kann man nicht meckern und mit 160GB VRAM lässt sich schon was ordentliches realisieren.

Apple scheint in der Krise zu sein? Das Mac Studio gibt es nur noch in der 96GB Ram Version. 256GB/512GB kann man nicht mehr bestellen.

 

[4thVariety]

Apple scheint in der Krise zu sein? Das Mac Studio gibt es nur noch in der 96GB Ram Version. 256GB/512GB kann man nicht mehr bestellen.

es fällt mir sehr schwer bei Apple von einer Krise zu sprechen, deren Aktie ist im letzten jahr um 50% gestiegen. Nennen wir es mal eine zwischenzeitliche Sortimentsanpassung vor einer Lieferkettenumstellung.

Wenn Apple was nicht passt und ich gehe davon aus, dass die Situation bei ihren RAM Lieferanten Apple gerade gar nicht passt, dann hat Apple traditionell immer sehr hart reagiert. Man denke nur daran wie knallhart Motorola im Jahr 2006 als Lieferant rausgeflogen ist und wie kanllhart Intel hinterher bei Apple rausgefflogen ist. Das waren zwei fundamentale Architekturumstellungen innerhalb von 10 Jahren. Dagegen ist eine Umstellung der RAM Lieferkette ein leichtes. Ich nehme an, Apple wird das einfach wie CPUs in Zukunft selber machen.

RAM den man nicht aufrüsten kann ist bei Apple nix neues. GPUs mit integriertem HBMA sind jenseits vom Consumerbereich fast schon Standard. Wenn Apple jetzt einen M6 oder M7 oder M8 anfängt zu entwerfen, dann werden das ein paar zusammengeklebte Chiplets sein und fertig. Einen Lieferanten für Steckmodule gibt es dann nicht mehr.

Die ganze Hardwarephilosophie hätte sich dann seit Commodore Amiga auch einmal komplett iM krei gedreht. Wir hätten dann wieder (wie beim Amiga) den Chipram der etwas höhere Latenzen hat aber als Unified RAm auch dem Sound und Grafikchips zur verfügung steht und wenn, dann ergänzt der User halt ein paar Riegel, wenn er meint die zu brauchen. Amiga Rentner haben das früher FastRAM genannt, weil reine CPU Leistung mit diesem RAM schneller war als mit dem Chipram. DDR RAM und GDDR RAM verhalten sich auch exakt so.

Muss Apple nur noch zurück auf 68000er Architektur gehen und wir hätten uns wirklich in 40 Jahren einmal im Kreis gedreht.

 

[N3xtrem86]

Wie viele Mods man wohl auf das Original Skyrim werfen müsste um den VRAM dieser Kiste voll zu bekommen?
Und das aller wichtigste!
„Can it run Crysis?“

 

[ThirdLife]

Was hat die Speicheranbindung mit dem Befehlssatz zu tun? Epyc-CPUs sind teilweise mit 768 Bit angebunden, die Plattform im Artikel dürfte analog zum Vorgänger auch schon mit immerhin 256 Bit arbeiten und DDR6 soll ja auch mit 96 Bit pro Modul angebunden sein. Ich wüsste auch nicht, warum man auf so einer Plattform nicht prinzipiell auch HBM nutzen können sollte.

Ich würds bei der Plattform so einfach nicht erwarten. Hat nix spezifisch mit x86 zu tun, was ich meinte war eher, dass es unüblich ist hier eine solche Anbindung zu bieten. Wir reden hier ja immer noch von Dualchannel oder ? Epyc ist was ? 8/12/16 Channel ? Dass man da nicht mit einem 128 Bit Bus kommen kann dürfte klar sein.

 

[empy]

Wir reden hier ja immer noch von Dualchannel oder ?

Wie gesagt, der Vorgänger kam schon mit 256 Bit, also quasi Quad-Channel.

Epyc ist was ? 8/12/16 Channel ?

12-Channel ist aktuell wohl die Spitze.