Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Hallo liebe Community,

ich habe einige laienhafte Fragen bezüglich einer passenden Lösung für eine SSD-Cache für mein RAID 10.
Derzeit habe ich in meinem Desktop Rechner vier 4 TB HDDs in einer RAID 10 Konfiguration verbaut und würde gerne eine SSD-Cache verwenden. Als nebenberuflicher Hochzeits- und Stockvideographer verwende ich den Rechner primär zum schneiden von Videos in DR 15.
Alle meine Videos liegen stets auf den RAID-HDDs und werden auch von dort aus in DaVinci geladen und verwendet. Besonders beim ersten Verwenden von neuen Clips dauert es bis der jeweilige Clip anfängt abzuspielen. Außerdem dauert es ein paar Sekunden bis die Wiedergabeframerate auf den vollen respektiven Wert (24, 60, 120 FPS) hochgeht. Sobald die Clips ein paar Sekunden abgespielt haben oder in der Timeline sind, sind diese Verzögerungen weg. Ich habe Smart-Caching in DR 15 aktiviert, was meiner Vermutung nach die Probleme behebt nachdem der PC die verwendeten Daten dann automatisch auf meine Boot-NVME-SSD rüber zieht. Generell gibt es immer wieder in verschiedenen Szenarien im Programm Verzögerungen, die aber nur dann auftreten wenn etwas direkt vom RAID verwendet wird. Mir ist bewusst dass ein RAID 10 mit 7200 RPM HDDs natürlich nicht das schnellste Mittel der Wahl ist, um davon direkt zu arbeiten, aber von einem Upgrade auf ein SSD-RAID möchte ich im Moment absehen und deshalb dachte ich dass eine SSD-Cache eine gute Lösung wäre für mein Anliegen.

Nun meine Fragen diesbezüglich:

- Hilft eine SSD, die ich alleinig als Cache für das RAID bereitstellen würde überhaupt bei meinem beschriebenen Problemen?
- Und wenn ja, wie setze ich das ganze software- bzw. hardwaretechnisch am besten um?

ich habe schon einige Forumsbeiträge gelesen in denen häufig PrimoCache empfohlen wird. Ich wollte aber trotzdem noch weitere Meinungen hören, da in den Beträgen nie mein konkreter Fall behandelt wurde sondern nur ähnliche Fälle.

Vielen Dank im Voraus für eure Mühe und Zeit!

AW: Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Nach meiner Erfahrung aus der Anfangszeit der SSD's sind es beim Cahing im Endeffekt wieder dieselben Lade-"Problemchen", meist nur abgemildert, da auch die SSD nur jene Daten im "Cache" vorbehält, die schon mal abgerufen wurden oder grade frisch geschrieben wurden. Wenn man jeden Tag immer wieder die gleichen Sachen aufruft, verscheinden die Ruckler aber immer zuverlässiger.

Meine Vorgehensweise ist, dass ich mir eine SSD als "Arbeits-SSD" frei halte. Dort hin kopiere ich vor Arbeitbeginn alle für die Session benötigten Bilder, Clips und Audiofiles (Whatever), arbeite damit und kopiere am Ende alle Ergebnisse wieder zurück ins Datengrab. Um das ganze nochmal von schreibzugriffen zu befreien, wähle ich optional als Ausgabemedium eine 2. SSD. Wenn man schonmal weiter rumgucken will, während irgendwas rechnet, bringt das was, sonst begrenzt bei mir meist vorher die CPU oder sonst was.

Ich empfehle auch meist nicht, ein Raid10 zu benutzen, zumindet nicht, wenn es um Datensicherheit (und nicht Verfügbarkeit) geht. Stattdessen würde ich (mindestens) ein externes Backupmedium verwenden, was mindestens an einer anderen Sicherung im Haushalt hängt oder optimal irgendwo anders.

Meine Konfiguration mit deinen 4x4TB HDD's und minimalem finanziellen Aufwand sähe so aus:
1 TB SSD dazukaufen. Dort eine Partition für Windows und Programme, je nach Bedarf irgendwas zw 100 und 200 GB und eine weitere Partition für Nutzdaten.
Gibt es Programme, wie z.B. Spiele, dessen Daten im Falle einer Neuinstallation von Win auch gesichert werden könnten, damit sie nicht erneut geladen werden müssen, würde ich diese auch auf Partition 2 installieren.
Dazu 2 x 4TB HDD's wahlweise einzeln oder im Raid0. Den Geschwindigkeitsvorteil von Raid0 merkste jetzt nämlich nurnoch 2 mal am Tag. Ich würde da auf die Nachteile eines Raid verzichten und 2 mal am Tag 5 min länger warten. Sollten die ~800+- GB der SSD, die in Partition 2 übrig sind, für den täglichen Workload nicht reichen, dann käme eine 2. SSD dazu. Dann wäre immer SSD 2 der Input für jegliche Bearbeitungen undd SSD 1 der Output, bis wieder schneller Speichermangel herrscht.
Die 2 anderen 4TB HDD's würde ich in ein externes Gehäuse/NAS verfrachten und als Backupplatten einsetzen. Auch hier würde ich kein Raid0 verwenden, da ich für ein Backup nichtmals anwesend sein muss und man das auch selten mittendrin mal macht, sondern halt vor Feierabend.
Ein weiteres Problem ist, dass im Raid0 der Schreibcache der Festplatte deaktiviert wird. Zumindest ist das mein Stand vom z77 Chipsatz im Hardwareraid.

LG

AW: Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Ich gehe mittlerweile auch meistens so vor, dass ich auf eine meiner SSDs ein "Workspace" anlege. Da kopiere ich alle Dateien eines Projektes rein und wenn das Projekt fertig ist, bzw. jeden Abend, dann kommt es auf meinen Speicher (bei mir mittlerweile nur noch ein NAS, da ich ja auf der SSD arbeite und dann keine HDDs mehr im PC brauche)

AW: Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Statt Raid0 würde ich eher auf ein Raid1 oder 5 setzen. Denn Raid0 erhöht das Ausfallrisiko deutlich.

AW: Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Jooschka schrieb:

Ein weiteres Problem ist, dass im Raid0 der Schreibcache der Festplatte deaktiviert wird. Zumindest ist das mein Stand vom z77 Chipsatz im Hardwareraid.

Zum Vergrößern anklicken....

Z77 Hardware-RAID?
Dein Cache-Verhalten kann ich nicht bestätigen!
Beim Z77 zumindest mit RST ist der Schreibcache an.

Das Vor- und Nach-Kopieren mag sicherlich den Arbeitsfluß verbessern, die Wartezeit insgesammt, wag ich aber zu bezweifeln.
Ob ich vorher und Nachher warte oder zwischendurch immer ein wenig, wo ist der Unterschied? Dazu brauchts doch etwas mehr, z.B. zu Beginn nicht mit der eigentlichen Arbeit anfangen sondern irgendwas anderes machen und wenn‘s nur Kaffee holen ist.

Ich hab eine Zeit lang mit SSD-Cache über den RST-Treiber hantiert, mit mäßigem Erfolg. Nicht etwa wegen des Schreib- und Lesezugriffs, der war tatsächlich überwiegend grandios.
Mein System wurde aber instabil. Wär ja noch nicht so sehr das Problem, nur schmiß der Inteltreiber, bei jedem Absturz irgendeine der Platten aus dem RAID. Unschön, sehr unschön!
Heißt nähmlich, keine Ahnung = keine Daten mehr!
Nun, RAID löschen und neu erstellen, Partitionstabelle wiederherstellen, Daten wieder da, ist die Lösung, falls jemand fragen sollte.

Und dennoch, von der Geschwindigkeit her, ist SSD-Cache einfach nur geil! Nicht jedes System wird die gleichen Probleme haben wie meines.
Meine Platten legen sich schlafen, wenn sie nicht gebraucht werden. Das Aufwachen ist die Qual ansich. Intel läßt die Platten, ab einer gewissen Größe, schön eine nach der anderen aufwachen, dauert ca. 30 Sekunden. Die SSD kompensierte das oft. Schade!

AW: Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Also SSD Cache bringt meistens nur was, wenn du die Daten wiederholt verwendest.
Der Cache muss ja wissen, welche Daten er laden muss und Sie vorher von den HDD´s abrufen.
Kann meistens auch so eingestellt werden, dass die neusten Daten auf den Cache gespeichert werden und dann später verschoben werden.
Das hilft dann sehr nach einem Shooting, denn das sind ja neue Daten die du wahrscheinlich gleich verwendest.

Ich würde aber auch auf einer normalen SSD alles neue bearbeiten und dann rüber schieben.

Ich hoffe mal, dass du Backups fährst auf externe Geräte?
Falls nicht, schaff dir da bitte noch was an, das RAID gibt dir nur Datenverfügbarkeit, keine Datensicherung.

AW: Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Quat schrieb:

Z77 Hardware-RAID?
Dein Cache-Verhalten kann ich nicht bestätigen!
Beim Z77 zumindest mit RST ist der Schreibcache an.

Zum Vergrößern anklicken....

Hast recht, Schreibcache lässt sich aktivieren, egal, ich bleib trotzdem dabei kein Raid0 zu empfehlen und auch kein Raid1, wenn es nicht um Verfügbarkeit sondern um Sicherheit geht, bei gleicher Anzahl an HDD's. und damit auch kein Raid 10 oder 01

Quat schrieb:

Das Vor- und Nach-Kopieren mag sicherlich den Arbeitsfluß verbessern, die Wartezeit insgesammt, wag ich aber zu bezweifeln.
Ob ich vorher und Nachher warte oder zwischendurch immer ein wenig, wo ist der Unterschied? Dazu brauchts doch etwas mehr, z.B. zu Beginn nicht mit der eigentlichen Arbeit anfangen sondern irgendwas anderes machen und wenn‘s nur Kaffee holen ist.

Zum Vergrößern anklicken....

Morgens entfällt das in den meisten Fällen, da man ja noch die Daten von gestern auf der SSD hat. Das kommt nur wenn man irgendwas neues anfängt oder hinzufügt. Und es ging dem Postersteller schließlich um den Workflow ...

shadie schrieb:

Ich hoffe mal, dass du Backups fährst auf externe Geräte?
Falls nicht, schaff dir da bitte noch was an, das RAID gibt dir nur Datenverfügbarkeit, keine Datensicherung.

Zum Vergrößern anklicken....

Genau das.

AW: Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Vielen Dank für eure Antworten!

Dann werde ich wohl von der Idee einer SSD Cache absehen und mir eine SSD als einen separaten Workspace zulegen. Die Daten werde ich dann wie beschrieben zwischen SSD und RAID je nach Bedarf verschieben.

Jooschka schrieb:

Meine Konfiguration mit deinen 4x4TB HDD's und minimalem finanziellen Aufwand sähe so aus:
1 TB SSD dazukaufen. Dort eine Partition für Windows und Programme, je nach Bedarf irgendwas zw 100 und 200 GB und eine weitere Partition für Nutzdaten.
Gibt es Programme, wie z.B. Spiele, dessen Daten im Falle einer Neuinstallation von Win auch gesichert werden könnten, damit sie nicht erneut geladen werden müssen, würde ich diese auch auf Partition 2 installieren.
Dazu 2 x 4TB HDD's wahlweise einzeln oder im Raid0. Den Geschwindigkeitsvorteil von Raid0 merkste jetzt nämlich nurnoch 2 mal am Tag. Ich würde da auf die Nachteile eines Raid verzichten und 2 mal am Tag 5 min länger warten. Sollten die ~800+- GB der SSD, die in Partition 2 übrig sind, für den täglichen Workload nicht reichen, dann käme eine 2. SSD dazu. Dann wäre immer SSD 2 der Input für jegliche Bearbeitungen undd SSD 1 der Output, bis wieder schneller Speichermangel herrscht.
Die 2 anderen 4TB HDD's würde ich in ein externes Gehäuse/NAS verfrachten und als Backupplatten einsetzen. Auch hier würde ich kein Raid0 verwenden, da ich für ein Backup nichtmals anwesend sein muss und man das auch selten mittendrin mal macht, sondern halt vor Feierabend.
Ein weiteres Problem ist, dass im Raid0 der Schreibcache der Festplatte deaktiviert wird. Zumindest ist das mein Stand vom z77 Chipsatz im Hardwareraid.

Zum Vergrößern anklicken....

Meine verbaute M.2 NVME SSD ist groß genug um alle meine Programme und sonstige Anwendungen ohne Speichermangel darauf zu installieren. Sollte ich dann trotzdem meine zukünftige Workspace-SSD in die beiden Partitionen aufteilen und alles drauf installieren oder ist dieser Schritt dann nicht mehr nötig?
Außerdem werde ich dann mein RAID 10 anders konfigurieren und auf den Geschwindigkeitsvorteil vom RAID 0 verzichten. Wäre eine RAID 1 dann keine sinnvolle Option zur Redundanzgewährleistung innerhalb der Workstation? Unabhängig von den Geschwindigkeitseinbußen, dass das zweimalige kopieren am Tag mit sich bringt. Mit dieser Art der Verzögerung hätte ich absolut kein Problem, da es wie bereits richtig erwähnt den Workflow nicht wirklich behindert.

Backups auf externe Geräte mache ich durchaus in regelmäßigen Abständen (Immer nach dem Import größerer Mengen an Daten). Einmal auf lokale aber nicht verbaute HDDs und ein zweites (nicht ganz so regelmäßiges) Offsite-Backup auf ebenfalls HDDs.

Dankeschön und Liebe Grüße

AW: Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Nein, du brauchst dann keine zwei Partitionen.
Nur das Teilen des System-Datenträgers würde ich als sinnvoll ansehen.
Aus mehreren Gründen; z.B. Windows neu installieren, ohne vorher allzuviel Daten sichern zu müßen. Und ein System-Backup ist dann genau nur das, ein System-Backup, frei von zusätzlichen Daten.

@ Jooschka, wenn es - und da hast du natürlich Recht - Morgens entfällt, wär es genau das Szenario, wo ein SSD-Cache ansetzt. Nicht war? Ausnahmen davon greifen auch bei beiden Vorgehensweisen.
Was du dann beschreibst, ist eine tägliche Backup-Lösung. Nicht falsch verstehen; das macht schon Sinn und wenn die jeweiligen Projekte nicht überhand nehmen, auch überschaubar.
Und ja, Stripe ist gefährlich und nicht ratsam und eine Spiegelung ist noch keine Datensicherheit.
Anderen würd ich sowas auch nie empfehlen!
Nur, damit fängt man nunmal an, falls man anfängt ... bis was passiert.

AW: Setup einer SSD-Cache für ein 4 HDDs im RAID 10

Insbesondere sollten die Daten nicht auf der Windowspartition sein, weil dort gerne mal was verloren geht. Windows 10 Version 1809: Datenverlust-Probleme waren bekannt | heise online