Euer Feedback zur geplanten neuen DDR4-Testmethodik

[PCGH_Stephan]

Hallo Community,

derzeit arbeiten wir an einem neuen Vergleichstest für DDR4-RAM, der mit einem neuen Testsystem und damit auch einem überarbeiteten Wertungssystem durchgeführt wird. Wenn ihr möchtet, dann könnt ihr mich kurzfristig bei der Modernisierung unterstützen und eure Meinung/Vorschläge hier im Thread äußern.

Für Leser die es eilig haben - schaut euch die zweite der beiden folgenden Tabellen an und sagt mir, ob die alle Informationen enthält, die ihr euch von einem DDR4-RAM-Test wünscht.

Beispiel Testtabelle (fiktives Produkt) nach bisheriger Testmethodik:

Beispiel Testtabelle (fiktives Produkt) nach zukünftiger Testmethodik:

Für diejenigen, die das Thema PCGH-RAM-Tests interessiert und Zeit mitbringen gibt es im Folgenden meine Ausführungen zum Thema und dann abschließend noch einige Fragen.

Warum aktualisieren wir das RAM-Testsytem?
Das aktuelle Testsystem (Core i7-8700K, Asus Maximus X Apex/Hero) war seit 2018 erfolgreich im Einsatz und damit so lange wie meines Wissens noch kein RAM-Testsystem zuvor. Die Zeit ist allerdings nicht stehengeblieben, sodass wir mit der bisherigen Testmethodik die heutigen Ansprüchen nur noch bedingt erfüllen können. Aus meiner Sicht gibt es vor allem zwei Schwächen:

1. Die Plattform bietet weniger Spielraum für High-End-RAM als aktuelle Alternativen. Ein DDR4-4700-Kit konnte ich bereits nicht mehr stabil betreiben, das Limit ist (mit zwei Single-Rank-Modulen) bei ca. DDR4-4500 erreicht. Inzwischen sind Kits mit Freigaben für DDR4-5xxx verfügbar.

2. Die verwendeten Taktabstufungen für die Tuning-Tests sind für heutige Verhältnisse zu niedrig angesetzt, da aktuelle Plattformen und RAM-Kits mehr Spielraum als vor einigen Jahren bieten. Konkret handelt es sich um DDR4-2666/3000/3333 bei 1,20 Volt und DDR4-3333/3600/3866 bei 1,35 Volt. Für die Masse der Leser sind Taktraten unterhalb von DDR4-3200 heute nicht mehr relevant.

Worauf wechseln wir?
Nach langen Vergleichstests ist geplant auf einen Core i9-11900K und die Z590-Boards Asus Maximus XIII Apex/Hero umzusteigen. Diese Plattform bietet die mit Abstand höchsten Taktreserven für RAM, ich konnte z. B. ein High-End-Kit 100-prozentig stabil bei DDR4-5333 verwenden. Zwei zum Vergleich herangezogene Core i9-10900K waren mit dem gleichen RAM-Kit auf dem gleichen Mainboard bei DDR4-4800 am Limit (wobei erst DDR4-4700 zuverlässig bootete). Mit Ryzen 5000 habe ich bei früheren OC-Tests noch nicht einmal die Comet-Lake-Werte erzielt, der Spielraum ist hier also tendenziell noch etwas geringer.

Rocket-Lake-Besonderheiten
Der neue RAM-Controller des i9-11900K bringt dafür leider bei der Konfiguration stärkere Einschränkungen als noch Comet Lake mit sich. Das ist für einen Privatnutzer zu verschmerzen (es reicht schließlich, wenn man >eine< schnelle, stabile Konfiguration gefunden hat), für ein Testsystem aber etwas lästig, da man als Tester schließlich für eine möglichst große Vielzahl von Szenarien gewappnet sein möchte. Konkret betrifft das vor allem zwei Punkte:

1. Ich habe vor, für alle RAM-Tests durchgehend den Gear 2 Mode zu verwenden. Dieser ist in der Praxis zwar erst ab Taktraten im DDR4-4xxx-Bereich zwingend erforderlich, allerdings ist nur so eine faire Benotung für alle RAM-Kits möglich. Es wäre schlicht unfair, wenn ein Kit mit einer Freigabe für z. B. DDR4-3600/16-18-18-38 im automatisch genutzten Gear 1 Mode bessere Benchmark-Ergebnisse erzielen würde als ein baugleiches Kit mit einer Freigabe für z. B. DDR4-4000/16-18-18-38. Ein Kit mit einer Freigabe für einen höheren Takt ermöglicht es schließlich immer, bei Bedarf die Taktfrequenz zu senken und so den Anforderungen der einzelnen Plattform gerecht zu werden.

2. Ich habe vor, für die Tuning-Tests nur RAM-Multplikatoren auf der Basis von 100:133 zu nutzen, da diese tendenziell stabiler laufen. Die beliebte Takstufe DDR4-3600 fällt damit beispielsweise raus, allerdings sollte ein Test bei DDR4-3466 und DDR4-3733 sehr gut aufzeigen, was bei der Zwischenstufe möglich wäre. Wenn ein Kit standardmäßig für eine bestimmte Taktstufe auf 100:100-Basis freigegeben ist, werde ich allerdings die Standardleistung nach Möglichkeit damit ermitteln. Der Stabilitätsvorteil von 100:133 sollte nur im Grenzbereich relevant sein - und dorthin stoßen nur wenige High-End-Kits vor. Sollte sich ein Standardtakt allerdings doch einmal nicht stabil realisieren lassen, dann werde ich das Kit mit dem nächstgelegenen stabilen Multiplikator betreiben und die Timings proportional anpassen. Beispiel: Ein für DDR4-5600/21-26-26-50 freigegebenes Kit läuft mit dem Setup nur mit maximal DDR4-5333 stabil. Das entspricht einer Taktreduktion um 4,77 Prozent. Die Timings werden in dem gleichen (gerundeten) Maße justiert. Der Test würde dann bei DDR4-5333/20-25-25-48 stattfinden.

Zu den bisherigen Ausführungen würde mich schon einmal eure Meinung interessieren.

Ansonsten habe ich noch einige Fragen:
1. Welche Spannungs- und Taktkombination würde euch tendenziell besser gefallen?

Variante A:
1,20 Volt: DDR4-3200/3466/3733
1,35 Volt: DDR4-3466/3733/4000
1,50 Volt: DDR4-3733/4000/4266

Variante B:
1,20 Volt: DDR4-3200/3466/3733
1,35 Volt: DDR4-3200/3733/4266
1,50 Volt: DDR4-3733/4000/4266

Variante C:
Euer Vorschlag

2. Effektiv passe ich nur zwei Variablen bei den Hauptlatenzen an, nämlich die Latenz CAS auf der einen und die Timings RCD und RP (diese lassen sich bei Intel-Setups gar nicht getrennt justieren) auf der anderen Seite. RAS lote ich nicht einzeln aus, sie wird auf dem dreifachen Wert von RCD bzw. RP belassen um ein Limit an dieser Stelle ausschließen zu können. Beispiel: Läuft z. B. das RAM-Kit bei 15-15-15-45 stabil, würde ich als Nächstes testen ob es bei 14-15-15-15 oder bei 15-14-14-42 stabil läuft. Besteht das Kit beide Tests nicht, würde ich 15-15-15-15-45 als stabiles Maximum in die Testtabelle eintragen. Meines Erachtens erhält man bei dieser Vorgehensweise in Relation zur aufgewendeten Zeit ziemlich aussagekräftige Ergebnisse. Würdet ihr euch an dieser Stelle trotzdem ein anderes Vorgehen wünschen?

3. Gibt es Angaben in der Testtabelle, die euch bisher fehlen oder anders dargestellt werden sollten? Schaut euch hierfür bitte das Beispiel an.

4. Bei den Benchmarks ist bisher die Verwendung von Aida64 (Kopierrate und Latenz), 7-Zip, Cyberpunk 2077 (720p) und Kingdom Come Deliverance (720p) angedacht. Würdet ihr euch an dieser Stelle Änderungen wünschen? (Hinweis: Das System soll nach der Einrichtung für bestmögliche Konstanz offline laufen.)

5. Ist für euch der Temperaturtest relevant? Falls ja, möchtet ihr, dass er weiterhin bei 1,35 Volt (Taktstufe voraussichtlich DDR4-3200) durchgeführt wird?

6. Welche Rolle spielt für euch der Aufkleber auf den RAM-Sticks? Bisher werten wir RAM-Module etwas ab, wenn hier nicht alle relevanten Informationen - also Kapazität, Takt, Latenzen (CAS, RCD, RP, RAS und Spannung - enthalten sind.

7. Mir ist bewusst, dass ihr keinen direkten Einblick in die interne, sehr komplexe Bewertungstabelle habt. Gibt es dennoch bestimmte Ausstattungsmerkmale, Produkteigenschaften oder Leistungsaspekte, die für euch bisher gefühlt zu stark oder zu schwach bewertet waren? Falls ja, warum?

 

[H3rr7w3rg]

Ich setzte mich morgen intensiv mit der Thematik auseinander.
kurz: mir gefallen die Änderungen
zu 1: Variante B

 

[Gurdi]

Also testen mit Gear 2 halte ich für wenig sinnvoll, dann habt Ihr ein Testsystem dessen Werte sich nirgends übertragen lassen außer auf der selben Plattform.

1.Ein Verzicht auf 3600 scheint mir nicht sinnvoll, Anwender wollen sicher auch mal ganz simple die Timings übernehmen oder zumindest sich daran orientieren, zudem ist das die entspannteste Taktstufe auf allen Ryzen. Ihr testet so am Markt vorbei meiner Meinung nach.
2.Klingt sinnig, zu kompliziert sollte es nicht sein, die wenigsten knien sich in das Thema.
3.Mir fehlen da eindeutig die verbauten Chips auf dem Modul, eine wichtige Info für Tweaker. SingleRanked/DualRanked wäre auch noch eine Option. (Edit, habs übersehen)
4.Check
5.Ja relevant, vor allem in kleinen Rechnern spielt das schon mal eine Rolle und die Ampere Founders föhnen den Ram ja auch gerne.
6.Relevant, ich baue z.B. auch oft Fremdsysteme und schmeiß schon mal Komponenten zusammen.
7.Ich würde allgemein begrüßen wenn die Benotungen stärker von einander abweichen würden. Wenn bei 10 Kits sich alle zwischen 2,6-2,9 bewegen(Beispiel!) dann ist das wenig aussagekräftig.

 

[McZonk]

Erst einmal ein großes Dankeschön für diese Befragung @PCGH_Stephan !

Und geiles Kit in der Tabelle btw! Wo kann ich das denn kaufen? Diese Zuse-ICs sollen ja pures Gold sein. Es gab ja schon Meldungen mit DDR4-11337!

Zu den Fragen:

1) Ich sehe das für den Moment ähnlich wie @Gurdi: DDR4-3.600 ist (momentan) für Ryzen-Nutzer Pflicht. Wie das aber in naher Zukunft aussieht und ob hier DDR4-3.733(+) mehr Sinn macht... Da müsstet ihr mal die Glaskugel rausholen Ich gehe jedenfalls davon aus, dass die Methodik wieder ein Weilchen die Baseline sein soll.

2) KISS! Keep it super simple - das Ganze soll ja auch bewältigbar, nachvollziehbar, reproduzierbar und zügig zu brauchbaren Aussagen führen. Keine weiteren Wünsche.

3) Die Testtabelle V2 enthält alles was ich wissen möchte

4) Passt

5) Ja, definitiv. Die Frage wie gut so ein Kunststoff-Heatspreader funktioniert, bliebe ja ansonsten objektiv unbeantwortet.

6) Ich schau da fast nie drauf, da ich idR gezielt nach IC-Bestückung kaufe, diese per Software kontrolliere und dann selbst einstelle. Bei Aufbauten für Kollegen/Freunde kommt auch schon mal das XMP-Profil zum Einsatz.

7) Passt

 

[H3rr7w3rg]

Damit alle Kits untereinander verglichen werden können, halte ich den Gear 2 für erforderlich. Die Kombination aus Gear 1 und 2 würde die Ergebnisse verwässern und ggf. zu einem erheblichen Mehraufwand führen. Im Taktbereich des Gear 1 ist die Platzierung der Produkte im Gear 2 übertragbar. Diese Testmethodik bietet wieder erhebliches Diskussionspotenzial – analog der 720p-Diskussion in CPU-Benchmarks. Für ein wissenschaftliches Analysieren der einzelnen Produkte, ist diese jedoch unabdingbar.

Das Taktverhältnis 100:133 bietet einen schnelleren Arbeitsfortschritt, da sich ein stabiler Zustand wahrscheinlicher einstellt. Infolgedessen können in der gleichen Zeit mehr Produkte geprüft werden ?



Fragen:

1:
Wie oben angerissen B, da höhere Taktraten

2:
Erfahrung ist immer sehr wertvoll – warum sollte man diese nicht nutzen? Auch hier gilt mehr Kits in gleicher Zeit


3:
In meinen Augen nicht.

4:
Die Benchmarks sind gut.

5:
Mehr Messwerte sind immer gern gesehen ?
Ich bevorzuge Big-Tower und achte auf eine gut Luftzirkulation – daher ist dies in meinem Fall nicht entscheidend.

6:
Der Aufkleber ist für mich relevant. Ich schätze eine transparente Auflistung seitens der Hersteller.
Z.B. habe ich ehemalige Riegel in der Packung von den aktuellen aufbewahrt – ohne Aufkleber ist das Kaos komplett

7:
Ich finde die Wertungen sehr ausgewogen.

 

[PCGH_Stephan]

Vielen Dank für die bisherigen Rückmeldungen! Ich werde natürlich nicht alle Ideen umsetzen können, aber eure Einschätzungen sind auf jeden Fall hilreich, wenn es darum geht, die Vor- und Nachteile von Alternativen abzuwägen und zu sehen, welche Anpassungen bei der Testmethodik im Artikel eingehender erläutert werden sollten.

Ein paar Anmerkungen:
- Bei DDR4-3733 finde ich eigentlich ganz schick, dass man als Leser damit einerseits ganz gut einschätzen kann, was man inkl. Sicherheitsmarge für die Streuung zwischen Kits und Mainboards bei DDR4-3600 erwarten kann, andererseits auch nicht allzu weit von DDR4-3800/3866 entfernt ist, was nach meiner Erfahrung die typischen Limits sind, wenn man Ryzen 3000/5000 bzw. Rocket Lake manuell im synchronen Modus bzw. Gear 1 ausreizt.
- Ich finde es interessant, dass die Temperaturmessungen doch auf Interesse stoßen. Leider sind sie nicht so gut reproduzierbar wie ich das gerne hätte, da ich mit externen Fühlern arbeite, die unter die Kühlkörper geschoben werden. (Nur manche Module bieten auslesbare Sensoren und diese weisen dann auch noch unterschiedliche Eigenschaften auf.) Zwischen die Chips passen Foliensensoren heutzutage im Normalfall nicht mehr (bei modernen PCB-Layouts liegen meistens alle Chips eng nahe der Modulmitte beisammen, nicht mehr gleichmäßig verteilt wie früher), außerdem sind mal mehr und mal weniger klebrige Haftpads verbaut, sodass es nur näherungsweise möglich ist, die Fühler an den gleichen Messpunkten zu installieren. Ab und zu muss auch ein Fühler mal ersetzt werden (mechanischer Verschleiß). Daher fließen die Ergebnisse nur relativ schwach in die Wertung ein.
- Ich habe mal nachgesehen was die Wertungen betrifft: Beim bisher seit 2018 eingesetzten Wertungschema lagen alle Kits zwischen den Endnoten 1,76 und 3,75. Ich denke, dass das ein vernünftiger Bereich ist. Für eine sehr gute Note (<1,5) müsste ein Kit in nahezu jedem Aspekt sehr stark sein und im Normalfall ist es ja technisch bedingt so, dass die bestmöglichen Taktraten/Timings nur bei geringen Kapazitäten und die höchstmöglichen Kapazitäten nur bei gemäßigten Taktraten/Timings möglich sind. Mittlerweile gibt es allerdings ein paar (zumindest angekündigte) Kits, die in diesen Wertungsbereich vorstoßen sollten, weil sich seit 2018 viel getan hat; daher plane ich bei neuen Wertungssystemen auch immer Luft nach oben mit ein. Eine ausreichende Note (also ~4) halte ich für angemessen für günstige Standardkits ohne Extras und nennenswerte Tuning-Reserven. Ungenügend wäre meines Erachtens ein defektes Produkt und mangelhaft irgendwas dazwischen (also z. B. ein Low-Budget-Kit, das für den stabilen Betrieb etwas mehr Spannung benötigt als vom Hersteller vorgesehen oder dürftige Specs und überhaupt keine Reserven bietet).