NAS Platten planung

reeneex

Komplett-PC-Käufer(in)
Moinsen,

Ich habe für mein neues NAS ein Gehäuse mit 8 hot-swap schächten gekauft. Nicht nur will ich die nicht alle auf einmal bestücken.
Jemand einen Vorschlag wie ich das aufbauen kann damit ich nach und nach die Festplatten dazu stecken kann?

OS soll OMV sein. Bin noch in der Planung. Also flexibel.
 
Hast du Präferenzen bezüglich der Datensicherheit, Geschwindigkeit oder Plattenplatz? Ein guter Allrounder wäre z.B. ein Raid5 oder 6.

Plane mit Platten gleicher Größe und fang mit z.B. drei Platten im Raid 5 an. Da kannst du dann munter Platten dazuschieben und ab der 5. oder 6. auf ein Raid 6 wechseln.
 
Überleg dir gut was du vorhast. Ich hab aktuell nen Raid5 mit 3x4 TB laufen und das building hat schon recht lang gedauert.
Wenn es nur ums Datengrab geht (sprich Videos, etc) macht eventuell eher sowas wie SnapRaid Sinn...

Bedenke auch, dass du beim Zustecken einer neuen Platte und Raid 5 jedes mal umverteilen musst (klar geht das automatisch). Das dauert mit jeder Platte aber auch länger ;-)
 
Es ist geplant dort Fotos für Lightroom abzulegen. Also RAW Dateien. Zusätzlich wird Amazon als Backup benutzt. Ich wollte mit einer WDRed pro mit 10tb starten und dann bei Bedarf zukaufen. Aktuell ca 7tb an Fotos. Also raid mit einer Platte möglich daß ich dann erweitern kann?
 
Nein für RAID 5 brauchste min 3platten, raid 1/10 2platten.
Ich würde aber nur RAID 5 empfehlen.
 
Willst du hohe Verfügbarkeit? (Daten dürfen keine 5Min nicht zugreifbar sein)
Oder
Willst du hohe Sicherheit? (Daten dürfen bloss nicht weg sein)

Je nachdem ändern sich die Ratschläge und auch die passende Systeme...

Grundsätzlich hat ein RAID mehere Platten und erhöht die Datenverfügbarkeit nicht zwangsläufig die Datensicherheit (einem Blitz ist dein RAID egal, kaputt ist kaputt)
 
Sicherheit habe ich über das Amazon Backup. Es gibt auch halbjährlich ein Spiegelbackup auf ein externes NAS. Verfügbarkeit ist auch nicht das Problem. die RAW's werden auf dem MacBook zwischen geschpeichert zur Bearbeitung. Raid muss eigentlich nicht sein. Würde es halt gerne im Netzwerk als ein großes Laufwerk einbinden das ich sukzessive mit weiteren Platten erweitern kann.
 
Von der Theorie her sollte sich mit OMV und JBOD auch mehrere Platten zu einem großen Laufwerk zusammen fügen lassen. Ob man das im Nachhinein einfach erweitern kann, musst Du wohl in der Anleitung nachlesen (oder es weiss hier einer).

In OMV 2 musste man dazu wohl einen passenden Laufwerkspool erstellen. Das ist dann mit Sicherheit auch schon beim ersten Laufwerk zu bedenken/durchzuführen:
Easiest way to Jbod in OMV? - RAID - openmediavault
In Kombination mit einem passenden Dateisystem, sollte sich dann bei einer weiteren Platte zunächst der Pool und danach auch das Laufwerk erweitern lassen.

Ich würde aber sehr genau prüfen, wie sich das System verhält, wenn eine Platte ausfällt. Sind dann "nur" die Daten weg, die ganz (oder teilweise) auf dieser Platte lagen, oder ist der gesamte Verbund weg. Theoretisch sollte nur ersteres passieren. Aber ich habe leider auch schon bei größeren Storage-Systemen Dinge erlebt, die mich an jedem Euro zweifeln ließen, die jemand dafür ausgegeben hat.

Selbst mit einem GBit FTTH Anschluss macht ein >10 TB Restore aus der Cloud keinen Spaß.

Dazu kommt dann die Erkenntnis, dass Bilder eher kleinere Dateien sind (selbst als viele hundert MB große PS-Dateien) und sich das ildarchiv in der Regel auch irgendwie logisch unterteilen lässt.

Daher habe ich grundsätzlich mit einzelnen Laufwerken gearbeitet und zur Not mit ein paar dutzend GB an Verschnitt gelebt (Bilder des nächsten Wettkaampfes passten nicht mehr auf die alte, fast volle Platte). Die Platten muss man noch nicht einmal unter Windows als einzelne Laufwerke ansprechen, sondern bindet sie als (Unter)Verzeichnisse ein. Dann liegen auf Platte 1 z.B. die Bilder von 2003-2018, und auf Platte 2 die Bilder von 2019 bis ....

So lange man keine Dateien ablegen will, welche die Laufwerksgrenze sprengen, finde ich das angenehmer und ich weiss auch ohne Studium des Handbuches, was bei einem Laufwerksdefekt geschieht.
 
@fotoman
Das war am Anfang auch mein Plan, nur schimpft jeder den ich Frage und meint ich soll unbedingt RAID machen. Hattest du bereits Ausfälle bei den Laufwerken? Oder mal Dateien verloren? Ich habe darauf geachtet das Mainboard, RAM und CPU ECC unterstützen. Dann sollte das doch mit dem onlinebackup reichen als Sicherheit.
 
Ich würd Seagate Ironwolf empfehlen, bei so vielen Festplatten sollten Vibrationssensoren Pflicht sein. (was die Ironwolf Serie ab 4TB alle haben)
Das bietet die Konkurrenz von WD erst bei der teureren Red Pro.
HGST und Toshiba haben von den NAS, bzw. 24h Laufwerke auch Vibrationssensoren.
Toshiba begeistert mich von den div. Testberichten nicht unbedingt, sind aber OK.
HGST ist auch gut, kostet aber mehr.
 
@reeneex
Ich hatte in den letzen 20 Jahren keinen HDD-Ausfall, der sich nicht vorher angekündigt hat (vor vielen Jahren eine ext. Platte, die schrecklichen Krach gemacht hat). Einzig ein paar SSDs sind mir schon ohne Vorwarnung ausgefallen (Elektronikfehler der Controller, Dank Bakups aber kein Datenverlust). Ich habe auch schon Platten wieder in Betrieb genommen und erfolgreich ausgelesen, die vorher nachweislich 10 Jahre stromlos im Schrank lagen.

Bis vor knapp einem Jahr habe ich ein QNap TS-412 (von 2012) mit 4 einzelnen HDDs genutzt, die allesamt aus ext. USB2/3 Gehäusen entnommen und keine NAS-Platten waren. Da sie alle unterschiedlich groß waren (zwischen 1 und 3 TB) war ein RAID schon technisch nicht sinnvoll. JBOD wollte ich aus obigen Gründen nicht nutzen.

Mittlerweile nutze ich einen alten PC als NAS/Server, mit zwei 8 TB Platten (beide einzeln, eine langsame Seagate Archival II SMR und eine WD RED). Das ganze mit BtrFS und der Hoffnung, dass mir Linux damit Mitteilt, wenn es Datenfehler findet.

Derzeit komme ich auf ca. 3 TB an Bildarchiv, dazu nochmal soviel Videoarchiv (alte TV-Aufnahmen oder euerdings Aufnahmen von Live-Steams) und sonst die üblichen Daten.

Die Backups das Archivs liegen einmal auf einer USB3 HDD und einmal auf mehreren (teils bis zu 10 Jahren alten) USB2 HDDs. Diese sind bei meiner Mutter gelagert (falls meine Wohnung abbrennt).

Meine Bild-DB (nicht LR) erstellt Prüfsummen für jedes Bild, womit ich auch das ext. gelagerte Backup auf 100 % Korrektheit prüfen kann. Das mache ich einmal jährlich und habe auch auf Platten, die zum Teil seit 7 jahren nur noch einmal jährlich zur Prüfung aktiviert werden, bisher noch keine Datenfehler gefunden. Die Bilder auf dem QNap und jetzt auch dem NAS haben bisher auch keine Datenfehler gezeigt, weshalb ich von dem Gedanken an ECC bisher wieder abgekommen bin.

Da für mich die Verfügbarkeit meines Archivs zweitrangig ist, habe ich mich von dem Gedanken an RAID im Privatbereich verabschiedet. Fällt das NAS aus, kann ich zur Not auf die USB3-Platte mit dem Backup zurück greifen. Ist diese gleichzeitg auch tot, habe ich halt verloren. Als Hobbyfotograf muss ich der Zeitung dann halt Absagen, Sportler werden vertröstet und ich habe zur Not letztmalig etwas von ihnen gehört. Irgendwann komme ich dann wieder an das ext. Backup und hoffe, dass nicht dieses auch noch defekt ist.

RAID wollte ich früher als kurzzeit-Sicherung gegen einen HW-Ausfall nutzen. Das wäre dann ein RAID 0 geworden, mit dem vollen Wissen, dass gelöschte Dateien weg wären. Ein RAID 5 war mir damals zu teuer für den Zusatznutzen. Es hilft zwar gegen defekte HW oder defekte Daten durch HW-Fehler. Organisiert man das Archiv aber nicht als Read-Only, dann nützt es nichts gegen einen Trojaner, der die Daten verschlüsselt. Genauso ist nur dadurch ein versehentliches Löschen des Archivs abgesichert.

Ich habe mir einfach eine andere Arbeitsweise angewöhnt, die zu 95% auch die langsame Netzwerkverbindung zum NAS umgeht:
alle aktuellen Bilder (das sind bei mir mind. die der letzten 6 Monate) liegen zusätzlich lokal auf dem PC auf einer 1TB SSD. Bevor ich diese Bilder lokal lösche stelle ich (manuell) sicher, dass sie nicht nur im Archiv sind (da landen sie meist sofort nach dem Import) sondern das es auch ein aktuelles Backup dieses Archivs gibt.

Online-Backup habe ich keins. Ich habe hier nur VDSL 100 mit real 35 MBit/s Upload. Das wären im Idealfall 210 Stunden (fast 9 Tage) für einen Initial-Upload von 3 TB. Real mind. doppelt so viel, da das nur Nachts/während der Arbeit mit voller Geschwindigkeit geht. Mir ist das zu lang, außerdem habe ich noch keinen bezahlbaren Anbieter gefunden, der mir auch ein Restore meiner Daten garantiert oder der mir schon nur zusichert, dass er in 5 Jahren noch zu ähnlichen Preisen ohne Datenlimit arbeitet. Crshplan und MS haben ihn unlimitiertes Angebot ja einfach mal zugemacht, da sind dan die nächsten 20 Tage Upload fällig, in denen das eigene Archiv auch überleben muss.

Mir ist das alles zu lästig, meine HDDs fallen dafür zu selten aus und ich lebe mit dem Restrisiko, spare mir dazu über die Jahre aber einiges an Geld. Außerdem wüsste ich erst seit dem PC als NAS, wie ich die Bilder vor dem Upload effizient verschlüsseln könnte.

Daten habe ich bisher nur durch eigene Dummheit verloren. Entweder, indem ich meinen Wortkflow nicht eingehalten/überprüft habe oder indem ich sogar noch viel früher auf eine Sicherung der Bilder während einer Veranstaltung blind vertraut habe. Das war aber zu Zeiten, als 512 MB CF-Karten noch >200 Euro gekostet haben und ich noch keinen Laptop hatte.

Ach so, Elektronik- oder Datenausfälle wegen Überspannung, Brand oder Wasserschäden hatte ich noch nie. Die extrem wenigen male, wo hier in Bayern der Strom ausfällt, haben das QNap und mein PC (mit NTFS) ohne Datenfehler überlebt.
 
@fotoman
Ja, so ähnlich Stelle ich mir das auch vor. Bissl gesunden Menschenverstand muss man schon haben. Meine onlinesicherung ist bei Amazon. Da kann ich unbegrenzt Bilder speichern als Prime Kunde. Unterwegs werden volle Karten auf eine 3tb HDD mit integriertem Akku und Kartenleser gesichert. Zu Hause dann auf die Festplatte und zum bearbeiten auf den Laptop kopiert. Also 3 originale und die bearbeitete Version auf dem Laptop die dann natürlich auch noch 2 Backups bekommt. Deine Erfahrungen sind sehr hilfreich. Vielen Dank. Ich nehme jetzt die beste aktuell verfügbare hardware, WD Red Pro, und baue dann nach und nach aus. ECC ist als zusätzlicher Schutz dabei.
Dan. Werde ich mich Mal einlesen wie das unter OMV mit Platten hinzufügen läuft.
 
@fotoman
Das war am Anfang auch mein Plan, nur schimpft jeder den ich Frage und meint ich soll unbedingt RAID machen.

Ja, das sagt jeder weil es jeder kennt und es als DIE Lösung für Ausfallsicherheit gilt.
Und in vielen Fällen ist das auch so korrekt.

Ich möchte aber auch noch was einwerfen, denn Raid ist bereits relativ alt und and der zugrundelegenden Technik hat sich quasi nichts mehr getan seit dem es auf dem Markt ist, (lange eben.)
Raid 5 war konzipiert für Laufwerke bei denen man so etwas wie Fehlertoleranz und automatische Korrekturen quasi noch nicht kannte.
Das Problem heute; je größer ein Laufwerk ist desto größer die Anzahl an Sektoren darauf, desto größer der %-Anteil an Fehlertoleranz.

Raid 5 duldet aber keine Fehlertoleranz, ist in der Prüfsumme ein Fehler geht die Wiederherstellung der Originaldaten nicht mehr auf und das Raid ist kaputt und die Daten weg.
Gerade jenseits der 4TB HDDs steigt das Risiko an.

Raid ist kein Backup, es soll die Verfügbarkeit gewährleisten.

Ab einer gewissen Datenmenge kommt man nicht mehr um ein Raid 5 für ein laufendes System drum rum, keine Frage. Aber darauf verlassen das es auch immer funktioniert kann man sich bei großen Festplatten leider nicht mehr.

Wenn du Datensicherheit willst wirst du um einen vernünftigen Backup Plan nicht drum rum kommen.
Die gängige Methode sind hier Generationen Snapshots auf (ein mit Raid ausgestattetes 2. System [meist ein NAS]), so viele Generationen wie der Speicher erlaubt. Üblicherweise sind das 2-5. Wobei man schon eher auf die 5 gehen sollte, so kann man wenigstens eine Arbeitswoche rückwärts.
 
Zurück