Albern ist, aus dem nichts zu unterstellen jemand würde etwas erfinden. Obwohl das ist nicht albern, eher unhöflich.
Ich hab doch das Wort "Latenz" gar nicht benutzt?

Das stimmt, die Latenzen der Speicherchips sind ähnlich, das macht GDDR5 durch den Takt wett. Probleme gibts da woanders:
GDDR5 ist nicht intern stapelbar und braucht wesentlich mehr Datenleitungen, was bedeutet du müsstest für beispielsweise einen 8GB-Riegel sehr viele einzelne GDDR5-Chips nebeneinander setzen, welche dann aber durch die iirc 288 pins einer DDR4-Bank nicht mehr vernünftig ansprechbar sind (oder nur mit viel geringerem Takt). DDR4 ist dahingehend optimiert (Blockzusammenfassung bei großen Riegeln, möglichst wenig leitungen).
Bei Grafikkarten hat diese Einzelbauweise/Einzelansprechen von GDDR5 ja Vorteile, denn dadurch kann man das Speicherinterface fast beliebig aufblasen und so extreme Bandbreiten erzielen - hier haste dann aber auch deine böse Latenz, denn ein Speichercontroller einer GPU der so viele Speichersteine parallel abarbeitet hat naturgemäß hohe Latenzen (ich weiß nicht wo wir uns da heute befinden, ich schätze 20-30) aber das macht hier nicht viel aus da es auf die Bandbreite ankommt.
Wenn du wirklich GDDR5 als normalen RAM benutzen wolltest kannst du entweder sehr schnelle 2GB-Riegel anbieten die zu klein sind oder heute übliche Größen die durch ihre Pinanbindung nicht sinnvoll angesprochen werden können und sehr lahm sind.
Die einzige Chance das sinnvoll und schnell zu nutzen wäre, kleinere GDDR5 Module in mehr Slots anzubringen oder die komplette Architektur entsprechend anzupassen (neuer Speichercontroller, neue Verbindungen, neue Slots, neues Protokoll), dann könnte es sehr gut funktionieren, sowas will aber der Markt nicht.
Wenn man das übrigens genau so macht UND es noch schafft dass der Speicher intern dabei stapelbar ist hat man gleich 3 Fliegen mit einer Klappe geschlagen. Diese Entwicklung ist heute unter HBM bekannt.
Es geht ja nicht darum, dass GDDR5 generell besser oder schlechter als DDR4 ist (das ist es nicht), nur ist der eine Speichertyp ohne massive Anpassungen an allem drumherum für den jeweils anderen Anwendungsbereich nahezu unbrauchbar. Deshalb hab ich ja "bei PC-Workloads" geschrieben oben - wenn du DDR4 auf en Grafikkarte lötest würde die auch den Bach runtergehen^^