Weil das viel langsamer wäre als DDR4 zu benutzen.
Bandbreite ist nicht alles. DDR4 und demnächst 5 ist für die Art von Last optimiert, die eine CPU braucht (viele kleine zufällige Datenschnipsel für zig verschiedene Threads mit möglichst kurzen Latenzen). Eine monströse Bandbreite hilft hier nicht besonders viel - vergleiche mal Quad-Channel Plattformen mit DualChannel - bei ähnlich schneller CPU bringt eine verdoppelte Speicherbandbreite in vielen Anwendungen kaum etwas.
GDDR-Speicher ist dagegen wie der Name schon sagt auf Grafikprozessoren optimiert - hier sinds meist keine kleinen Datenstückchen die besonders niedriglatent kommen müssen sondern vergleichsweise riesige Datenberge die, man verzeihe mir das technisch unsaubere aber anschauliche Wort, sequentiell aus dem Speicher gesaugt werden müssen. Hier bringen 800 statt 400 GB/s "sequentiell" noch massiv Leistung, während im CPU-Bereich 100 statt 50 GB/s nur in Anwendungen was bringen die deutlich speicherlimitiert sind.
Es ist eben bei der Hardware so, dass die Anwendungsszenarien die Optimierung ergeben. Siehe beispielsweise Miningperformance von GDDR5 gegen GDDR5X Karten. Im Mining ist der "langsamere" GDDR5 deutlich schneller weil er bessere Latenzen hat, im Gaming ist der GDDR5X deutlich schneller weil er höhere Bandbreiten hat.
Ich weiß, Autovergleiche sind verpönt aber das ist son bisschen der vergleich Formel1-Rennwagen gegen Traktorpulling. Jedes dieser Gerätschaften ist über Jahrzehnte auf das optimiert was es als Aufgabe hat und kann diese Aufgabe hervorragend erfüllen. Das eine gegen das andere auszutauschen endet dagegen in einer Katastrophe. Genauso wie man mit nem F1 schlecht nen Anhänger ziehen kann kannste mit GDDR6X nichts (schnelles) im Desktop als RAM anfangen - und genauso wie ein Traktor auf der Rennstrecke von nem F1 zersägt würde würde auch DDR4 auf einer Grafikkarte untergehen.
Letzteres wurde übrigens ganz früher mal bei lahmen Grafikkarten gemacht, also DDR2 statt GDDR auf die Grafikkarte löten (siehe GeForce7 Serie). Da war aber auchder Unterschied noch nicht so enorm wie heute. Da gabs dann ne 7600 GT mit GDDR und eine 7650GS mit DDR2 die SEHR viel langsamer war.