Nvidia Volta oder doch Turing? GV102 und GV104 im Hwinfo-Tool

[gaussmath]

Wieso können die Tensor Cores jetzt plötzlich SP? Erst ging ich von 8bit Integer aus, dann sagt ihr, ne kann mehr, und ich las was von HP. Was denn nun?

 

[CL90]

un weiter gehts

VideoCardz.com auf Twitter: "Anonymous tip (NOT CONFIRMED).
But you asked for it.… "

Kann das jemand erklären?
die beiden Karten mit 4352 Kernen sind dann Quadro Karten? oder ist da die Titan dabei?

 

[Gurdi]

Kann das jemand erklären?
die beiden Karten mit 4352 Kernen sind dann Quadro Karten? oder ist da die Titan dabei?

Ich blick dass auch nicht so ganz.

 

[Locuza]

Wieso können die Tensor Cores jetzt plötzlich SP? Erst ging ich von 8bit Integer aus, dann sagt ihr, ne kann mehr, und ich las was von HP. Was denn nun?

Der Additionsschritt am Ende einer Matrixmultiplikation kann mit FP16 oder FP32 erfolgen, die Matrixmultiplikation erfolgt aber immer mit FP16-Inputs bei Tensor-Cores:
Programming Tensor Cores in CUDA 9 | NVIDIA Developer Blog

Neben den Tensor-Cores gibt es noch die ganz normalen CUDA/Shader-Cores, welche bei einem GV100 so ziemlich alles an unterschiedlicher Präzision ausführen können, was Nvidia bisher je verbaut hat.
2xFP16, 2xINT16, 4xINT8, ganz normale FP32 Performance und Half-Rate FP64 in Relation zur FP32-Leistung.

 

[gaussmath]

Der Additionsschritt am Ende einer Matrixmultiplikation kann mit FP16 oder FP32 erfolgen, die Matrixmultiplikation erfolgt aber immer mit FP16-Inputs bei Tensor-Cores:
Programming Tensor Cores in CUDA 9 | NVIDIA Developer Blog

Du meinst am Ende einer affinen Abbildung. Warum hat Nvidia Dim=4 gewählt für die Tensor Cores?

 

[Locuza]

Vermutlich um flexibler bei der Granularität der möglichen Berechnungen zu sein, denn mehrere Tensor-Cores können auch zusammenarbeiten für größere Dimensionen, wie z.B. 16x16x16.
Es sind auch andere Matrix-Größen verfügbar wie 32x8x16 oder 8x32x16:
A Shallow Dive Into Tensor Cores - The NVIDIA Titan V Deep Learning Deep Dive: It's All About The Tensor Cores

 

[gaussmath]

Diese Tensor Cores sind ziemlich sexy, da könnte ich wirklich schwach werden...

Und wer Lust hat kann sich Voltas neues Instruction Encoding im Detail anschauen, Citadel hat dazu, zu der Cache-Hierarchy, dem Scheduling-Schema usw. mehrere Analysen und Micro-Benchmarks durchgeführt:
https://arxiv.org/pdf/1804.06826.pdf

Gibt's von denen was Vergleichbares für Vega?

 

[Locuza]

Leider nicht, die scheinen im Finanzsektor und für Investmentstrategien tätig zu sein, je nach Interesse/Auftrag unterschiedliche Dinge zu untersuchen und zu beraten.
Aber bezüglich GCN ist die ISA dokumentiert, es gibt viele Präsentationen bezüglich der Architektur und Ergebnisse von Microbenchmarks.
Ich selber kenne aber keine Stelle, die alles schön zusammenfasst und im Vergleich zur Konkurrenz stellt.

Vom Interesse sind mögliche Präsentationen, ein Überblick über die GCN-Architektur:
GS-4106 The AMD GCN Architecture - A Crash Course, by Layla Mah
https://www.amd.com/Documents/GCN_Architecture_whitepaper.pdf

Empfehlungen für Spiele/Engine-Optimierungen, worauf man achten sollte etc. (es werden auch durchschnittliche hit/miss Latenzen für den L1/L2$ genannt):
https://32ipi028l5q82yhj72224m8j-wp...18_sponsored_engine_optimization_hot_lap.pptx

Fortgeschrittene Empfehlungen für das schreiben von Shadern:
http://32ipi028l5q82yhj72224m8j.wpe...DC2017-Advanced-Shader-Programming-On-GCN.pdf

Wenn dich etwas speziell interessiert ist die Möglichkeit relativ hoch das Google etwas dazu findet.

 

[projectneo]

NVidias Verwirrtaktik scheint aufzugehen, eigentlich weis niemand irgendwas, das finde ich super. Jeder neue News ist wie kleine Kino mit Popcorn (inkl. der Kommentare).

 

[KaneTM]

NVidias Verwirrtaktik scheint aufzugehen, eigentlich weis niemand irgendwas, das finde ich super. Jeder neue News ist wie kleine Kino mit Popcorn (inkl. der Kommentare).

...oder man weiß nichts und tut so, als ob! Und dann ärgern sich alle, weil man ihnen nicht verrät, was man nicht weiß ...also bei den letzten Generationen gab es wirklich ein vielfaches an informierteren Leaks. Das gro´ße Rätselraten diesesmal ist irgendwie lästig. Aber Respekt an NV - echt gute Geheimhaltung dieses mal. Andererseits eventuell auch genau so gute Geheimhaltung wie immer - bei den Leaks der vergangenen Generationen kann es sich auch immer noch um absichtliches Marketing gehandelt haben. So oder so: Bin gespannt, was die neuen Karten mit welchem Namen zu welchem Preis tatsächlich leisten.

 

[PCGH_Torsten]

Zahlreiche unbeabsichtigte Leaks und das jetzige Verwirrspiel könnten in direktem Zusammenhang stehen. Das letzte Mal gab es so ein Gerücht-Chaos bei der GTX 8800, ebenfalls nachdem die Spezifikationen der vorangegangenen Generationen beinahe vollständig im Voraus bekannt wurden. Zu den nachfolgenden Grafikkarten gab es dann quasi gar keine Vorabinformationen mehr.
Mehr: Die systematische Verbreitung von "vertraulichen" Falschmeldungen an kleine Kreise "verschwiegener" Leute sind ein bewährtes Werkzeug, um Leaker zu identifizieren.