Mysterium ZFS für NAS-Einsteiger (Kaufberatung/Fragen)

[Basti1904]

Hallo liebe PCGH-Community,

nach langem rumgeeier möchte ich mir endlich ein NAS anschaffen und würde mich über etwas Aufklärung eurerseits wirklich freuen.

Was habe ich mit dem NAS vor?

1. regelmäßige Sicherung wichtiger Dokumente
2. regelmäßige Sicherung meiner uralten, aber immer wieder erweiterten mp3-Datenbank
3. unregelmäßige Sicherung meiner Smartphone Fotos
4. Ablage meiner alten MKV-Video-Sammlung (kein 4K bisher, max. 1080p)
5. Ablage meiner Retro-Rom-Sammlung

Was ist wirklich am wichtigsten für mich?

• das die Dateien möglichst lang fehlerfrei bleiben
• dass die Dateien einmal gespiegelt sind, also kein Datenverlust wenn eine Platte ausfällt

Was könnte in der Zukunft noch wünschenswert seien?

• das die Datein (Fotos, mp3s, MKVs) auf einen noch nicht vorhandenen Smart-TV wiedergegeben werden können

Warum steht ZFS im Titel und was will der Typ hier eigentlich?

Also, weshalb ich nicht einfach ein Einsteiger-NAS kaufe und ein Datengrab anlege hat folgenden Hintergrund: mir ist meine mp3-Sammlung (ca. 40GB) ein wenig heilig, da ich mit der Musik viele Erinnerungen verknüpfe. Diese Sammlung kopiere ich seit ungefähr 18 Jahren immer wieder hin und her, von allen Endgeräten die man sich vorstellen kann. Leider hatte zwischenzeitlich einmal eine SD-Karte den Geist aufgegeben und ich hatte kein Back-Up. Nach Wiederherstellung mit entsprechenden Tools gibt es beschädigte mp3-Files, die teilweise im mp3 Player des Handys erst laufen, aber mitten im Lied dann zum nächsten Lied skippen. Ich meine wahrzunehmen, dass es immer mehr Dateien betrifft und die Dateien neue Fehler bekommen.

Ein Arbeitskollege hat mir dann vom ZFS-System erzählt, dass sich automatisiert selbst bereinigen soll. Da war ich natürlich direkt Feuer und Flamme. Jedoch finde ich dazu keine Informationen in Kombination mit Einsteiger-NAS Systemen, die meine Ansprüche bereits abdecken. Fertige NAS-Lösungen die ZFS unterstützen habe ich bisher nicht wirklich gefunden, außer das neu vorgestellte QNAP TS-H686-D1602-8G NAS System 6-Bay, welches aber bereits 1,6k€ kostet und für meine Ansprüche wahrscheinlich etwas überdimensioniert ist.

Was ist mir ein NAS wert?

• ich wollte inkl. Festplatten max. 500€ ausgeben
• das NAS überlege ich gebraucht zu kaufen
• bei den Festplatten dachte ich bisher an Neukäufe: 2x jeweils 4TB -> aber von unterschiedlichen Herstellern, evtl. 1x Seagate Ironwolf 1x WD Red

Welche Fragen hab ich?

1. Gibt es hier jemanden, der ZFS auf einem Synology DS220j oder ähnlichem ans Laufen bekommen hat?
2. Was haltet ihr von ZFS im Bezug zu meinen Anforderungen?
3. Was für ein NAS würdet ihr mir bei meinen Ansprüchen empfehlen?
4. Habt ihr sonst noch Anmerkungen, Hinweise oder gute Quellen zum schlauer machen für mich?

Ich wünsche euch allen ein schönes Wochenende und beste Gesundheit!
Basti

 

[Mahoy]

Bei NAS-Geräten von der Stange bin ich selbst nicht auf dem Laufenden, aber zur Anwendung von ZFS kann ich dir hoffentlich weiterhelfen.

Grundsätzlich gilt: Die Integrität von Dateien hängt nicht primär an der Ablage, sondern an der Integritätsprüfung beim Kopiervorgang. Es ist davon auszugehen, dass die korrumpierten Dateien nicht die Folge einer (korrekt durchgeführten) Archivierung, sondern eines versemmelten Speicher- oder Kopiervorgangs sind, bei dem nicht geprüft wurde, ob die abgelegte Kopie auch der Quelle entspricht. Gerade bei SD-Karten, unterschiedlichen schreibenden/lesenden Geräten etc. treten solche Fehler auf.

ZFS als solches hilft dir nur bedingt weiter. Im Prinzip sind dort lediglich viele Funktionen integriert, die sonst über externe Controller oder Organisationsysteme abgewickelt werden. Aber auch ZFS weiß ohne Referenz, also eine garantiert einwandfreie Version der Datei, nicht, ob diese in Ordnung ist.
Sprich, wenn ein Datenträger physisch beschädigt ist, also wie besagte Speicherkarte, dann kann es immer Dateien geben, die ebenfalls physisch beschädigt sind - und kein Dateisystem der Welt kann daran etwas ändern, dass diese Lücken nicht wiederherstellbar sind. Bestenfalls kann es dir mit Gewißheit sagen, dass es Schäden gegeben hat.

Ich schleppe meine inzwischen knapp 60 GByte große Musiksammlung sogar schon ein paar Jährchen länger über zig verschiedene Systeme mit mir herum, sie lagen auf FAT, CDFS, UFS und seit geraumer Zeit nur noch NTFS. Allerdings wurden sie immer sicher kopiert und es gab immer eine externe Sicherung.

Der langen Rede kurzer Sinn: Wirklichen Schutz verschaffen nur Redundanz und ein externes Backup. Du brauchst also de facto mindestens drei Datenträger: Zwei für die Spiegelung im NAS (Ausfallschutz) und einen für ein externes Backup (Datensicherung). Letzteres naheliegenderweise in einem externen Gehäuse, welches zwischen den Backups stromlos sicher gelagert wird.

Bei besonders wichtigen Daten ist zu überlegen, diese zusätzlich komplett extern abzulegen, beispielsweise in einem (zuverlässigen) Cloud-Speicher. Dann gibt es eine Sicherung auch dann, wenn beispielswiese ein Brand dein NAS und dessen Backup verzehrt.

 

[fotoman]

[*]ich wollte inkl. Festplatten max. 500€ ausgeben
Gibt es hier jemanden, der ZFS auf einem Synology DS220j oder ähnlichem ans Laufen bekommen hat?

Selbst wenn es irgendwie mit verringertem Funktionsumfang läuft, macht es damit nicht viel mehr Sinn wie das von Dir geplante RAID1 (welches nur einen Schutz gegen HW-Ausfall bietet).

Was haltet ihr von ZFS im Bezug zu meinen Anforderungen?

Viel, wenn man bereit ist, auch recht viel Geld dafür zu investieren und/oder wenn alles automatisiert ablaufen soll. Was aber, da ein offline-Backup m.M.n. zwingend nötig ist, sowieso nicht für das Budget realisierbar ist.

Von daher halte ich im Bezug auf Deine Gesamtanforderungen inkl. dem Budget von ZFS nicht viel.

Hintergrund:
Das, was Du vom Dateisystem (hier ZFS) möchtest, ist wohl nicht nur die Erkennung von fehlerhaften Dateien, sondern auch die Behebung von Fehlern. Diese können immer auftreten (BitRot ist bis heute nicht ausgestorben, siehe, die Angaben der HDD-Hersteller zur BER oder bei WD "Non-recoverable errors per bits read" genannt), obwohl sie mittlerweile für mich persönlich recht unwahrscheinlich sind (mal sehen, ob ich nach 15 Jahren auf teils >10 Jahre alten Backup-HDDs sowas mal real erlebe).

Prinzipiell muss man m.M.n. zwei Dinge unterscheiden:
(1) erkennt das NAS Datenfehler, die sich bei der Lagerung oder beim Lesen der Daten ergeben, welche also die interne Fehlerkorrektur der HDD nicht beheben konnte.
(2) kann das NAS solche Fehler nicht nur erkenne sonder auch korrigieren.

(1) schafft jedes RAID1, allerdings mit Pech ohne dabei zu erkennen, welche der beiden Dateiversionen die korrekte ist.
ZFS speichert auch ohne Redundanz zusätzlich Prüfsummen für jede Datei /genauer für jeden geschriebenen Datenblock) und überprüft diese beim Lesen der Datei. Auch damit lässt sich also ohne ein RAID1 erkenne, ob eine gelesene Datei noch korrekt ist.

(2) schafft dann nur ZFS (oder andere Bateisysteme) mit Redundanz.
In der üblichen Konfiguration macht ZFS diese Prüfung auch regelmäßig im Hintergrund und korrigiert gefundene Fehler. Genau das kann zum Problem eines einfachen NAS werden. Gibt es dabei andere unerkannte HW-Fehler (z.B. defekter Hauptspeicher), dann sind nach einer solchen Korrektur (Scrubbing) alle Dateien defekt.

Da ich persönlich schon mehr unerkannt defekten Hauptspeicher wie unerkannt defekte Dateien auf ansonsten noch lauffäigen HDDs hatte, würde ich ein solches System nur mit ECC-Speicher auf einem passenden Mainboard/CPU nutzen. Das gibt es aber nicht für ein paar Euro. Außerdem kostet das ganze natürlich Rechenleistung.

ZFS könnte, wenn es nicht explizit nur mit Datenintegrität beworben wird, noch viel mehr. Das sind allerdings Dinge, für die auch entsprechend viel Ram und Rechenleistung benötigt wird, wenn es vertretbar schnell funktionieren soll (z.B. Deduplikation oder Kompression).

Was für ein NAS würdet ihr mir bei meinen Ansprüchen empfehlen?

Persönlich kenne ich kein Fertig-NAS, das sowas kann. Auf den Geräte mit Intel-CPU kann man zwar auch FreeNAS (o.Ä.) laufen lassen und dort dann ZFS nutzen, aber die günstigen haben kein ECC-Ram, womit sich für mich dort nur die Prüfung als sicheres Feature vo ZFS aktivier ließe.

Habt ihr sonst noch Anmerkungen, Hinweise oder gute Quellen zum schlauer machen für mich?

Persönlich würde ich eher auf eine Lösung aus mehreren Dingen setzen:
- ein NAS mit interner Sicherung gegen HW-Ausfall UND versehenlichem Löschen/Überschreiben der Dateien. Das ist für mich und meine Daten kein RAID1 sondern ein automatisches (u.U. inkrementalles) Backup auf eine zweite interne HDD, die von außen nicht zu erreichen ist.
- 1 bis X externe offline Backups
- die Erstellung von Prüfsummen (leider mit einem ext. Tool), um jederzeit die Datenintegrität der Dateien prüfen zu können.

Das ganze basiet dann auf der Hoffnung, dass im Fehlerfall mind. eines der Backups noch die korrekte Datei enthält. Für mich ist die Wahrscheinlichkeit mind. so hoch wie die, dass einem niemals beider HDDs mit ZFS oder RAID1 gleichzeitig ausfallen.

Ich lebe seit über 10 Jahren mit diesem System und kann damit jederzeit die Datenintegrität aller Dateien auf dem NAS und den Backup überprüfen. Dies auch bei den offline gelagerten Backups ohne eine zweite Dateiversion zur Hand zu haben.

sondern eines versemmelten Speicher- oder Kopiervorgangs sind, bei dem nicht geprüft wurde, ob die abgelegte Kopie auch der Quelle entspricht.

Ich lese also zweimal die Datei von der Quelle mit exakt dem selben Fehler, vergleiche sie mit der schon fehlerhaft übertragenen ersten Kopie und denke danach, dass alles ok ist? Das mag besser wie garnichts sein (Performance lassen ich dabei mal einfach weg), um Fehler des Zielspeichers zu erkennen (falls da nicht dummer weise noch ein Caching des OS hinzu kommt), aber nicht, um systhematische Fehler der Quelle oder des Übertragungsweges zu erkennen.

Die Integrität von Dateien hängt nicht primär an der Ablage, sondern an der Integritätsprüfung beim Kopiervorgang.

Was nützt mir eine korrekte Kopie, wenn dann nachher auf der HDD im NAS ein Bit kippt und ich das noch nicht einmal erkennen kann?

Aber auch ZFS weiß ohne Referenz, also eine garantiert einwandfreie Version der Datei, nicht, ob diese in Ordnung ist.

Genau dafür hat ZFS, genauso wie BTRFS, Prüfsummen, die zwar Plattenplatz kosten, aber bei jedem Lesen der Datei die Integrität der Datei prüfen.

Nachtrag:
Anstatt ZFS könntest Du BTRFS nutzen. Das unterstützt Synology wohl mittlerweile ab Werk:

Welche Synology NAS-Modelle unterstützen das Btrfs-Dateisystem? - Synology Knowledge Center

Das Synology Knowledge Center bietet umfassenden Support mit Antworten auf häufig gestellte Fragen, Problembehebungen, Anleitungen zu Software und allen möglichen technischen Dokumentationen.

www.synology.com

Also u.A. mit der

Synology DiskStation DS220+, 2GB RAM ab € 399,99 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Synology DiskStation DS220+, 2GB RAM ✔ Bewertungen ✔ Produktinfo ⇒ Festplatte: N/A • Intern: 2x 2.5"/3.5", SATA 6Gb/s, Hot-Swap • Extern: 2x Gb LAN • Zusätzliche Anschlüsse… ✔ NAS-Systeme ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Und hier eine kleine Aufstellung von Synology, was BTRFS kann

So schützt Btrfs Ihre Unternehmensdaten | Synology Inc.

Btrfs ist das Dateisystem der nächsten Generation, das ein hohes Maß an Datenintegrität bietet und flexible, effiziente Tools zum Schutz und zur Wiederherstellung von Daten nutzt. Btrfs ist auf ausgewählten Synology NAS-Modellen verfügbar.

www.synology.com

Ob und wie das ganze dann auch mit RAID1 funktioniert, weiss ich nicht.

 

[Mahoy]

Genau dafür hat ZFS, genauso wie BTRFS, Prüfsummen, die zwar Plattenplatz kosten, aber bei jedem Lesen der Datei die Integrität der Datei prüfen.

Deshalb ja der Hinweis, dass ZFS allein nichts bringt. Wenn die Journal-Daten (nur) auf dem selben Datenträger liegen, auf dem gerade wegen ausfallender Sektoren Daten korrumpiert werden, hat man auch nichts gekonnt.

 

[razzor1984]

Kleiner Input zu ZFS – gegen Bitrod zb gibt es einen Scrubbing job. Hier werden die Daten auf Integrität geprüft. Snapshots sind auch sehr hilfreich wenn man einen gewissen Datenstand bewahren möchte. Default komprimiert ZFS schon mehr als zb EXT4 oder BTRFS.ZFS ist momentan eines der sichersten Dateiensystem die wir haben, BTRFS kommt diesem schon sehr sehr nahe, aber braucht noch einen Ticken um das gleiche Level zu haben.

Wenn man Raid 0/1 möchte, kann man BTRFS oder ZFS nehmen. Beim Raid 5 und BTRFS gibt es noch einen Bug der zu Datenverlust im worst case führen kann.

Was man auch noch erwähnen sollte, wenn man es richtig machen will, sollte man ZFS mit EEC Memory betreiben (nur das Sprengt den Geldbeutel leicht) Dimensioniere den Ram ausreichend, Pro TB Mindesten 1 Gigabyte ram.Billige Lösung - Job am Nas aktivieren der dir alle 4 Tage einen sauberen reboot durchführt, ist nicht super sauber aber es minimiert das Risiko.

Wenn du dir ein Nas aus herkömmlichen PC-komponenten zusammenbaust, dann gibt es zwei sehr gute Distros dazu:
Für ZFS = Truenas (früher Freenas) - bei BTRFS würde ich zu Openmediavault greifen.
Raid level – wenn sollte man zum 6er greifen oder einfach spiegeln 1. Das Risiko bei Raid5 ist zu groß, dass dir beim Resilvern eine Platte eingeht. Deswegen ist Raid auch kein Backup

Aja und ein USV schaden auch nicht (reicht ein günstiges, soll einfach dem “Server“ kontrolliert herunterfahren)

EDIT: Verbaue nur non SMR HDDs.Nutze HDDs die CMR als Aufzeichnungsverfahren nutzen.Ich war leider ein WD Opfer und habe mich über die grottige performanc und Problemen gewundert. Wenn man solchen "Schrott" schon hat, dann mein Tipp, Btrfs + Raid1, das ist ertragbar. Wenn eine HDD in raid 1 Verbund stirb braucht es ~ 3 bis 5 Tage zum Resilvern(4Tb raid 1 Verbund). Bei über 4 TB kann man Raid und SMR vergessen, die Schreibraten sind zu langsam und die Dauer des rebuilds ist extrem lange.....

 

[Basti1904]

Vielen Dank schon einmal für die ausführlichen und informativen Antworten, hab mich sehr gefreut.

Aktuell tendiere ich dazu nicht selbst etwas zu bauen, sondern ein Consumer NAS zu kaufen.

Ich schaue mir BTFRS noch einmal genauer an, ich habe das Gefühl die vorgeschlagene Synology D220+ könnte meinen Anforderungen bereits genügen und ich auf ZFS verzichten.

Der Traum, dass die bereits "beschädigten" mp3 Dateien nachträglich wieder "bereinigt" werden könnten, ist schon länger vorbei... aber so bleibt der Rest dann wenigstens erhalten . ^^