News AMD Instinct MI350P: CDNA 4 mit 144 GiB HBM3E im PCIe-Slot

[PCGH_Sven]

AMD macht seinen CDNA-4-Grafikprozessor mit der Instinct MI350P jetzt auch erstmals für Workstation-PCs und Systeme mit PCIe-Steckplatz verfügbar und schickt neben 8.192 FP32-Shadereinheiten auch gleich 144 GiB HBM3e-Speicher ins Rennen.

Was sagt die PCGH-X-Community zu AMD Instinct MI350P: CDNA 4 mit 144 GiB HBM3E im PCIe-Slot

Bitte beachten: Thema dieses Kommentar-Threads ist der Inhalt der Meldung. Kritik und allgemeine Fragen zu Online-Artikeln von PC Games Hardware werden hier gemäß der Forenregeln ohne Nachfrage entfernt, sie sind im Feedback-Thread besser aufgehoben.

 

[EM_EN]

Kein Thema welches mich als Gamer vom Hocker reißt. KI Beschleuniger, dann noch diese Preise und Einsatz im Server. Mir wäre der RX 9900 XT lieber gewesen für einen Bruchteil des Kosten. Gehe wieder schlafen und träume weiter.

 

[DrXen]

HBM Speicher schade das als Gamer wir solche Karten nicht (mehr) bekommen.

 

[Fiz316]

Die Platine sieht echt gut aus. Irgendwie hat die was.

 

[theklaus]

Ob Crysis darauf flüssig läuft?

 

[BxBender]

Ab damit in den Rechner, mit einer KI bespielen, Trump in die Klapse stecken, endlich mit dem richtigen "Instinct" regieren. ^^ ;-P

Ob Crysis darauf flüssig läuft?

Selbstläufer - dank KI spielt sich das nämlich wie von selbst. ^^

 

[twack3r]

Puh, schwierige Karte.

Einerseits wird sie in FP4 und FP6 stärker sein als eine H200NVL, die das Ganze dann in FP8 machen muss. Und es ist eine FP4 Karte mit ordentlich Bandbreite die PCIE unterstützt; damit ein extremer Pluspunkt ggü. Blackwell. SM100 gibts nicht per PCIE.

Andererseits bleibts halt leider auch bei PCIE was das IO angeht. Da ist selbst die alte H200 mit Dual oder Quad NVLink bei 900GB/s in einer komplett anderen Hausnummer unterwegs, sobald über mehr als eine Karte hinaus berechnet werden muss.

Damit ist es eine extreme Nische die bedient wird: mxfp4 und mxfp6 Modelle die samt weights und kv vollständig in 144GB passen.

Zum Vergleich: ein Modell das mit weights auch in 96GB VRAM passt, performt auf einer RTX6000 Pro (SM120) im
Prefill etwa 10-20% besser und in der Inferenz etwa halb so stark iVz der gut 3-fach so teuren MI350P.

Wild wird es dann bei einem Modell, das mit weights und kv cache die 144GB der MI350P belegt, verglichen mit 2 RTX6000 in TP=2: denn zu etwa 60% des Preises einer MI350P hat man dann die 1.5-1.6 fache pp Leistung und nur etwa 15% weniger Inferenz.

Das oben stehende gilt für dense Modelle. Bei sparse/MoE Modellen sieht es besser aus für die AMD Karte. Aber die sind dann typischerweise derart groß, dass auch FP4 nicht mehr auf eine Karte passen wird. Und dann schlägt das fehlende Infinity Fabric wieder zu.

Und da haben wir noch gar nicht ROCm vs CUDA diskutiert.

 

[Kell-Conerem]

tja, jetzt wissen wir wo Big Navi4 hingekommen ist.

das Teil hätte als RX 9090 xt
eine ernsthafte Konkurrenz für die 5090 bedeutet