Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

[scorplord]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Warum sollte das keinen Sinn machen? Wo liegt die Bandbreite von HBM3 pro Stack? Über 300GB/s? Vermutlich wäre eher die Latenz unzureichend, wenn ein derartiger L4 Cache über den IF angebunden wäre. Wenn hingegen alles auf einen Interposer wandert, macht es unbedingt Sinn.

Entschiedenes Nein. Ich finde HBM eine super Technik aber für CPUs ungeeignet. HBM hat einen massiven Datendurchsatz der aber über eine massive Anbindung erreicht wird. Eine CPU benötigt aber eine sehr niedrige Latenz welche durch einen hohen Takt erreicht wird. Also genau das gegenteilige Prinzip von HBM.

 

[Research]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Warum sollte das keinen Sinn machen? Wo liegt die Bandbreite von HBM3 pro Stack? Über 300GB/s? Vermutlich wäre eher die Latenz unzureichend, wenn ein derartiger L4 Cache über den IF angebunden wäre. Wenn hingegen alles auf einen Interposer wandert, macht es unbedingt Sinn.

Yup,der i5-5675C hat 128MByte ED-RAM mit 102GByte/s.

DDR4 3200 macht SC~25GByte/s, DC ~51GByte/s.
Einzig TR mit QC kann da mithalten.

Und die Latenzen zum RAM müssten höher sein. Man muss dafür aus der "CPU" raus.
Quasi wie OnBoard RAM für frühe OnBoard GPUs.

Denke das sich die 300GByte/s bemerkbar machen. Momentan ist scheinbar kein RAM zu schnell.
Mit 4/8/16 GByte Staffelungen kann man so viele Geräte erschlagen, wie Tablets, Falter, Subnotebooks, Ultrabooks, normale Notebooks...
Ryzen und HBM sind sehr sparsam.

Wenn man sich ein MacBook Pro anschaut, ist da kaum noch PCB übrig.

Unter den Lüftern ist nichts.
The next-gen MacBook Pro with Retina Display: SSD Analysis
.

 

[gaussmath]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Entschiedenes Nein. Ich finde HBM eine super Technik aber für CPUs ungeeignet. HBM hat einen massiven Datendurchsatz der aber über eine massive Anbindung erreicht wird. Eine CPU benötigt aber eine sehr niedrige Latenz welche durch einen hohen Takt erreicht wird. Also genau das gegenteilige Prinzip von HBM.

Wo liegen denn die Latenzen von HBM im Vergleich zu DRAM?

 

[gastello]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Es geht weniger um Latenz - sondern das man mit 8 Channel bis 80 Cores versorgen kann. Es müssten also nicht alle Milan Varianten auf ein Interposerdesign inklusive HBM setzen. Wozu braucht AMD sonst bis zu 15 Chiplets?

 

[scorplord]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Wo liegen denn die Latenzen von HBM im Vergleich zu DRAM?

Die Latenz die ich meine leitet sich 1:1 vom Takt ab. Nicht verwechseln mit irgendwelchen Latenzen bei Schaltungsvorgängen oder so.
HBM 2 hat bis zu 1,2 GHz (High Bandwidth Memory – Wikipedia)
Also effektiv 1,2 Mrd. Transfers pro Sekunde entsprechen 8,33ns für einen Transfer.
DDR4 RAM bei 3,2 GHz (was ziemlich als Standardtakt zumindest bei Gamingsystemen durchgehen dürfte) hat dementsprechend mit 3,13ns pro Transfer. Die längere Verdrahtungsstrecke dürfte zwar die Latenz etwas erhöhen aber bei elektrischen Signalen nicht wirklich drastisch.

Wo ich endlich HBM sehen möchte ist für APUs. Da dürften die ziemlich rein hauen können.

 

[BigBoymann]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Die Latenz die ich meine leitet sich 1:1 vom Takt ab. Nicht verwechseln mit irgendwelchen Latenzen bei Schaltungsvorgängen oder so.
HBM 2 hat bis zu 1,2 GHz (High Bandwidth Memory – Wikipedia)
Also effektiv 1,2 Mrd. Transfers pro Sekunde entsprechen 8,33ns für einen Transfer.
DDR4 RAM bei 3,2 GHz (was ziemlich als Standardtakt zumindest bei Gamingsystemen durchgehen dürfte) hat dementsprechend mit 3,13ns pro Transfer. Die längere Verdrahtungsstrecke dürfte zwar die Latenz etwas erhöhen aber bei elektrischen Signalen nicht wirklich drastisch.

Wo ich endlich HBM sehen möchte ist für APUs. Da dürften die ziemlich rein hauen können.

Aber hat Latenz (also nutzbare) nicht nur bedingt was mit den reinen Taktraten zu tun? Ist nicht meine Paradedisziplin, daher bitte nicht als Kritik, sondern als Frage verstehen. Aber neben der reinen Taktrate bestimmen doch noch andere Faktoren die "Antwortzeit" des RAMs. Wenn ich mich an meinen Wechsel von DDR auf DDR2 erinnere, dann habe ich vor allem in Erinnerung, dass trotz steigender Frequenz die Latenz zunehmend abnahm und mein "G.E.I.L" RAM Kit mit 2 GB DDR-400 mit Command Rate 1 betrieben wurde wesentlich schneller und besser war als die allermeisten DDR2 Kits zu der Zeit. Auch bin ich lange Zeit mit DDR3-1866 und CL6 unterwegs gewesen, weil die Performance zu schneller taktendem Speicher mit schlechteren Timings meist besser abschnitt und erst sehr viel später mit dann wesentlich besserem System und RAM (also jetzt 3600er mit CL15) von mir ersetzt wurde. Daher glaube ich nicht, dass die Rechnung des Speicherzugriffs so einfach ist. Außerdem hat man bereits HBM2E im Petto und da erhöht sich der Takt auch mal um geschmeidige 50%, würde immer noch nicht an deine obige Rechnung herankommen, aber ich denke mit HBM3 wird man diesen Takt auch nochmal deutlich stiegern müssen. Meines Wissens wird der Speicherbus nicht ausgebaut und eine nochmalige 50% ige Erhöhung der Bandbreite muss demnach durch den Takt geschehen, womit HBM3 schon an 2400Mhz anklopfen würde.

 

[scorplord]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Aber hat Latenz (also nutzbare) nicht nur bedingt was mit den reinen Taktraten zu tun? Ist nicht meine Paradedisziplin, daher bitte nicht als Kritik, sondern als Frage verstehen. Aber neben der reinen Taktrate bestimmen doch noch andere Faktoren die "Antwortzeit" des RAMs. Wenn ich mich an meinen Wechsel von DDR auf DDR2 erinnere, dann habe ich vor allem in Erinnerung, dass trotz steigender Frequenz die Latenz zunehmend abnahm und mein "G.E.I.L" RAM Kit mit 2 GB DDR-400 mit Command Rate 1 betrieben wurde wesentlich schneller und besser war als die allermeisten DDR2 Kits zu der Zeit. Auch bin ich lange Zeit mit DDR3-1866 und CL6 unterwegs gewesen, weil die Performance zu schneller taktendem Speicher mit schlechteren Timings meist besser abschnitt und erst sehr viel später mit dann wesentlich besserem System und RAM (also jetzt 3600er mit CL15) von mir ersetzt wurde. Daher glaube ich nicht, dass die Rechnung des Speicherzugriffs so einfach ist. Außerdem hat man bereits HBM2E im Petto und da erhöht sich der Takt auch mal um geschmeidige 50%, würde immer noch nicht an deine obige Rechnung herankommen, aber ich denke mit HBM3 wird man diesen Takt auch nochmal deutlich stiegern müssen. Meines Wissens wird der Speicherbus nicht ausgebaut und eine nochmalige 50% ige Erhöhung der Bandbreite muss demnach durch den Takt geschehen, womit HBM3 schon an 2400Mhz anklopfen würde.

Deswegen hatte ich gesagt bitte nicht verwechseln mit Latenzen von Schaltungen, Controllern etc. Das ist keine hundert Prozent genaue Rechnung von mir, dafür müsste ich auch deutlich mehr Zeit investieren um das zu können so genau. Aber vom Grundprinzip läuft es wie von mir angegeben ab. HBM wurde mit Blick auf Grafikkarten entwickelt. Da geht es darum große Datenmengen zu scheffeln und GB Bildinformationen zu schieben. Latenz ist da auch je niedriger desto besser aber vor allem für Professionelle Anwendungen ist die Datenmenge wichtiger (Stichwort GPUs mit TB SSD als Speicher).
CPUs dagegen brauchen im Idealfall RAM der mit derselben Taktrate wie die CPU läuft. Dann könnten bei jedem Cycle frische Daten vorrätig sein.

 

[gastello]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Es kann sich dabei einfach um eine redundante CPU handeln. Einfacher - in vielen Bereichen braucht es in der Industrie Ausfallsicherheit. Dazu muß man nach heutigem Standard zwei getrennte Systeme auf - zum Beispiel einer Anlage betreiben - also auch zwei CPUs inklusive Anbindung und Pheripherie bezahlen. Das zweite System wird dabei oft im Ruhemodus gehalten, ohne das es grundlegende Rechenaufgaben zu lösen hat (Rack). Wenn es eingebunden wird, geht ein Großteil der Ressourcen durch System-Kommunikationslasten verloren. Erhöhte Redundanz wirkt sich auf Systemen mit gemeinsamen Speicherzugriff also positiv aus. Rechenintensive Systeme profitieren eher von niedriger Latenz.

Milan würde so ermöglichen - das man eine CPU betreibt - die beides möglicherweise abdecken kann und ein eigenes Speicherherachienmodell mit Speicherstufen mitbringt.

Ein LDA-Modell kann Programme dabei sinnvoll beschleunigen - wenn unterschiedliche Latenzzeiten berücksichtig werden, ist aber nicht zwingend notwendig. SMP-Systeme profitieren bei gleichzeitig interagierenden Prozessoren von Intern-/Externspeichermodellen, wenn diese mit ihrer Sequenz auf gemeinsame Speicherbereiche zugreifen. Beim HBM auf einem Interposer sind die Wege kürzer, wobei das Interface breiter ausfallen könnte.

 

[TheNewNow]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Den Takt als Maßstab der Latenz zu nehmen ist schwierig. Denn intern taktet kein DRAM mit der angegeben Frequenz. 3200Mhz DDR4 hat eine Frequenz von 400MHz, wenn es um die Speicherzellen selbst geht. Durch einige schöne Tricks und technischen Eigenschaften wird der Takt mit 3200MHz bezeichnet.
Aufgrund von prefetching, wodurch mehr als nur ein Bit gleichzeitig gelesen und angefordert werden kann, kann die IO Geschwindigkeit erhöht werden (im Falle von DDR4 ist der IO Teil 4x so schnell wie der Speicherteil). Zusätzlich kommt noch der Double Data Rate Effekt dazu (Übertagung bei steigender Flanke und absteigende Flanke statt nur bei einen). Wodurch der effektive Takt letztlich 8 mal so hoch ist wie der Takt der Speicherzellen.

Aber selbst dieser Takt sagt noch nichts über die tatsächliche Latenz aus. Das hängt davon ab, wie straff die Timings sind. Die Latenzen sind die letzten Jahre nicht so stark gesunken, wie die Frequenz gestiegen ist.
Im den Sinne wäre HBM auch als Cache möglich. Da HBM auch DRAM ist, hat es auch ähnliche Vorteile wie eDRAM bei Broadwell, nur dass der Bus vielleicht noch breiter ist und es nicht auf den einen Die platzfindet. HBM hat allerdings den Nachteil, dass im Falle eines eigenen Dies ein Interposer benötigt wird.

 

[scorplord]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

1. Habe gesagt es ist das Grundprinzip... Effektiv ist es eine Milchmädchenrechnung und lasst es lieber Cycle Time nennen oder so. Latenz wäre Response Time.
2. Auch HBM arbeitet mit Double Data Rate soweit ich weiß

Finde leider auf die schnelle keine guten Angaben.

Bei Gelegenheit schaue ich noch mal nach, habe aber schon öfter auch hier im Forum fundierte Angaben zu gelesen das da der Hauptunterschied ist bezüglich Nutzen bei CPU. Deswegen entwickelt Intel auch einen anderen Speicher.

 

[TheNewNow]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Auch HBM arbeitet mit Double Data Rate. Zum verwendeten Prefetch weiß ich allerdings nichts. Und das ist besonders für Bandbreite wichtig (die bei HBM hauptsächlich aus der breite des Datenbus kommt). Aber auch die Latenz kann teilweise davon profitieren.
Allerdings bleibt DRAM DRAM. Egal ob er gestapelt ist, ein sehr breites Interface hat oder ein hohes prefetch hat. SRAM wäre schneller, allerdings ist der für große Caches zu groß und teuer. Eine wirklich neue Speichertechnologie,die schneller ist als DRAM aber nicht die Nachteile von SRAM teilt wäre ein großer Schritt

 

[gaussmath]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Ich hatte die Zweifel wegen der Latenzen auch weiter oben schon geäußert, aber ein entschiedenes Nein sieht für mich anders aus. ^^

 

[Casurin]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Grafik-Speicher (dazu gehört auch HBM) ist vom Prinzip her fundamental nicht für CPUs geeignet.
Zugriffszeiten auf HBM sind im vergleich zu DDR sehr hoch, die Daten Granularität ist auch sagen wir mal sehr bescheiden und die Übertragung ist auf höchsten Durchsatz ausgelegt - wie oft wird bei einer CPU 128/256 sequenzielle Bytes aus dem Speicher benötigt? Richtig - selten. Dazu kommt das HBM sehr viel Fläche am Die und am PCB frisst (vor allem am PCB - viele Layer, viel Platz, viele Komponenten und die Anschlüsse bei den CPUs sind sowieso schon knapp ). Für iGPU/Apu ists was anders - da wär ein bisschen HBM2 schon sinnvoll wenn direkt am CPU-PCB oder mit eigenem interconnect.

 

[scorplord]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Grafik-Speicher (dazu gehört auch HBM) ist vom Prinzip her fundamental nicht für CPUs geeignet.
Zugriffszeiten auf HBM sind im vergleich zu DDR sehr hoch, die Daten Granularität ist auch sagen wir mal sehr bescheiden und die Übertragung ist auf höchsten Durchsatz ausgelegt - wie oft wird bei einer CPU 128/256 sequenzielle Bytes aus dem Speicher benötigt? Richtig - selten. Dazu kommt das HBM sehr viel Fläche am Die und am PCB frisst (vor allem am PCB - viele Layer, viel Platz, viele Komponenten und die Anschlüsse bei den CPUs sind sowieso schon knapp ). Für iGPU/Apu ists was anders - da wär ein bisschen HBM2 schon sinnvoll wenn direkt am CPU-PCB oder mit eigenem interconnect.

Danke für die Begrifflichkeit. Ich kam einfach nicht auf Datengranularität und Zugriffszeit^^

 

[gaussmath]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Wenn man das universell betrachtet, dann kommt man nicht um das Manko der zu hohen Latenzen herum. Aber warum immer universell?

"Although today’s memory hierarchy design is already deep and complex, the bandwidth mismatch between on-chip and off-chipmemory, known as the off-chip “memory-wall”, is still a big obstaclefor high performance delivery on modern systems. This is especiallythe case when GPU modules or other manycore accelerators areintegrated on chip. As a result, high-bandwidth memory (HBM) becomes increasingly popular. Recently, as a good representative of HBM, on-package memory (OPM) has been adopted and promotedby major HPC vendors in many commercial CPU products, suchas IBM Power-7 and Power-8 [14], Intel Haswell [16], Broadwell,Skylake [28] and Knights Landing (KNL) [42]. For instance, fiveof the top ten supercomputers in the newest Top 500 list [1] have equipped OPM (primarily on Intel Knights Landing)."

Quelle: https://folk.idi.ntnu.no/weifengl/papers/hbm_li_sc17.pdf

 

[scorplord]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Da dürfte aber eher die Rede von Intels HMC sein als OPM für CPUs. HBM wird nur als beispiel für OPMs verwendet. Da steht nicht das HBM mit diesen CPUs verwendet wird. Ich habe auch noch nie ein solches Produkt gesehen.

Aber ja HBM ist zwar ein OPM, aber nicht der einzige.

Und ja das ist universell, weil das Problem einfach im generellen Funktionsprinzip von HBM liegt. HBM kannst du dir eher als parallele Schnittstelle vorstellen und RAM als serielle. Parallel passt super zu GPUs um große Datenmengen zu liefern da auch GPUs die Daten sehr breit und parallel abarbeiten. CPUs arbeiten die Daten seriell ab und benötigen relativ flott dann kleinere Datenmengen. Meist auch sehr spezifische Daten (Datengranularität).

 

[gaussmath]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Achso verstehe, das Einsatzgebiet von HBM fasst ihr ganz allgemein und universell, aber HBM ist nur der "Grafik-RAM" auf ner Vega...

 

[scorplord]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Achso verstehe, das Einsatzgebiet von HBM fasst ihr ganz allgemein und universell, aber HBM ist nur der "Grafik-RAM" auf ner Vega...

Ich habe von Universell im Sinne der Problematik die wir hier diskutieren gesprochen, da diese im Funktionsprinzip liegt und damit universell immer für HBM gilt.
Und ich habe mich aber nie auf Grafik-RAM festgelegt geschweige spezifisch für Vega! Also nichts unterstellen bitte.

HBM wurde aber nun mal mit Blick auf Grafikspeicher entwickelt. Wenn du andere realisierte und in Entwicklung befindliche Anwendungen findest gerne her damit. Ich weiß nur von Grafik-RAM.

Im Wikipedia Artikel (deutsch) zu HBM werden auch CPUs erwähnt, eine praktische Umsetzung davon ist mir aber dennoch noch nicht untergekommen.

Edit: Im Englischen wird CPU überhaupt nicht erwähnt und im deutschen wie englischen werden nur die bekannten GPUs von AMD/NVIDIA als Anwendungen erwähnt.

 

[Technologie_Texter]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

HBM wurde aber nun mal mit Blick auf Grafikspeicher entwickelt. Wenn du andere realisierte und in Entwicklung befindliche Anwendungen findest gerne her damit. Ich weiß nur von Grafik-RAM.

Virtex UltraScale+ HBM

Fujitsu spezifiziert seine A64FX-CPU
http://oss-tsukuba.org/wp-content/uploads/2018/09/2018-GFarmWS-Fujitsu.pdf

 

[scorplord]

AW: Zukunft von AMD Zen: Größtes Potenzial liege in Architektur, weniger der Fertigung

Virtex UltraScale+ HBM

Liest sich für mich komplett nach Zwischenspeicherlösungen ala zusätzlicher Cache bzw für Supercomputer.

Fujitsu spezifiziert seine A64FX-CPU
http://oss-tsukuba.org/wp-content/uploads/2018/09/2018-GFarmWS-Fujitsu.pdf

Brauchst keine 2 Links fürs selbe schicken. Ok ist tatsächlich ein Produkt aber wir reden hier (oder ich zumindest):
-über x64 CPUs
-privat PCs bzw professionelle Lösungen

Supercomputer haben generell einige Techniken mit verbaut, welche für den normalen Anwender keinerlei Sinn ergeben oder auch Leistung kosten würden, Beispiel Mesh bei Intel CPUs, und da reden wir nur von Server CPUs. Da ist aber auch der Punkt Daten in feiner Granularität und möglichst ohne Verzögerung zu bekommen wieder nahezu egal je nach Anwendung.
Die Teile haben brachiale Rechenleistung um riesige Simulationen zu stemmen oder Milliarden Anwendungen/Berechnungen für viele Leute gleichzeitig zu liefern. Die werden da nämlich garantiert auch keine 3200 MHz oder mehr beim RAM verbauen, allein wegen der Abwärme.

Du wärst auch sehr unglücklich auf einem Supercomputer zu zocken. Da würde kein zufrieden stellendes Spielgefühl aufkommen glaub mir.