Backup: Wie gegen Bitrot + korrupte Dateien schützen?

[Mr_Peanut]

1.) Wie schützt ihr eure Backups/Archive gegen Bitrot und korrupte Dateien bzw. defekte Sektoren auf den HDDs?

2.) Wie regelmäßig sollte man seine Backups prüfen und welche Tools sind dafür empfehlenswert? Ohne Hashwerte geht's nicht, oder?

3.) Reicht bei einer (Archiv)HDD regelmäßige Stromzufuhr aus (wie lange? in welchem Intervall?), um die Magnetisierung aufzufrischen oder müssen die Daten alle paar Jahre komplett neu geschrieben werden?

4.) Sollte man alte HDDs stur nach einer bestimmten Zeit (z.B. 5 Jahre) austauschen oder einfach bis zum Ausfall benutzen? Nach der 3-2-1 Regel hätte ich dann immer noch 2 Backups. Nur wie engmaschig muss dann das Überprüfungsintervall ausfallen?

Danke

 

[HisN]

3) Überlege was eine HDD macht oder machen kann, wenn sie 5 Minuten am Strom hängt.
Einfach drüber nachdenken, was mit den Daten passiert, für die Du 5h gebraucht hast, um sie auf die HDD zu schreiben.
NICHTS

 

[MyticDragonblast]

Zu 1.: Redundanz hilft dir dabei, physikalische Probleme mit dem Backup zu umgehen. Damit ist Punkt 4 auch abgedeckt. Wenn die Platten aus unterschiedlichen Chargen kommen hat man da das möglichste getan.*

2.: Ermessen. Viel hilft da viel, aber nur noch backups prüfen macht auch keinen Sinn. Stichproben sind hilfreich und Fullbackups/Clones würde ich sofort prüfen. Die Inkrementellen regelmäßig, da da eher die Frage ist, ob der Prozess noch problemlos läuft.

zu 3.: Zum Magnetisieren müsstest du die Platte komplett kopieren. Das Auffrischen geht nur bei SSDs, die müssen aber oft an den Strom und sind als Backup wegen des Single-point-of-failure namens Controllerchip ungeeignet. Für wirklich lange Verwahrung greift man nach wie vor zu Bändern (LTO etc.). Für den normalen Gebrauch sind Festplatten aber vollkommen in Ordnung und wenn die in Rotation genutzt werden ist das selbst das älteste Backup nie wirklich zu alt, dass die Magnetisierung da ne Rolle spielt. Da sind Headcrashes wegen unsachgemäßen Umgang, Motorprobleme oder Softwarefehler wahrscheinlicher.

*wenn es da wirklich eine technische Möglichkeit gäbe das auszuschließen, dann könnte man damit sehr, sehr, sehr viel Geld verdienen...

 

[Shinna]

Vorab sollte man sich erstmal andere Frage stellen: Welchen Wert stellen die Daten dar. Und wie sind die Kosten in Relation dazu für eine Backup Strategie. Es gibt KEINE pauschal zutreffende Antwort. Nur eine Fallabwägung.

 

[Mr_Peanut]

3) Überlege was eine HDD macht oder machen kann, wenn sie 5 Minuten am Strom hängt.
Einfach drüber nachdenken, was mit den Daten passiert, für die Du 5h gebraucht hast, um sie auf die HDD zu schreiben.
NICHTS

zu 3.: Zum Magnetisieren müsstest du die Platte komplett kopieren.

Mir war das bis jetzt tatsächlich nicht bewusst.
Muss ich wohl mit SSDs verwechselt haben.

Stimmt denn trotzdem die Empfehlung HDDs alle paar Monate mal laufen zu lassen, um Verhärtungen von Schmiermitteln im Lager vorzubeugen? Da sollten die 5min ja reichen.

 

[Shinna]

Jede meine HDDs wird so oder so regelmäßig genutzt. Und sei es eben auch nur um ein Backup zu aktualisieren. Das was man für den "Hausgebrauch sichert" unterliegt ja ständigen Veränderungen. Eine digitale Rechnung für ein Produkt wo die Garantiezeit abgelaufen ist wird nicht mehr benötigt. Dafür kommen neue Unterlagen hinzu.

Einzig die HDD welche im Bankschliessfach liegt wird nur alle 2-3 Monate mal abgeholt und aktualisiert. Wobei in dem Zeitraum eigentlich auch keine neuen wirklich lebensnotwendigen Daten anfallen. Und sollte das doch der Fall sein erledigt man das eben kurz "außerplanmäßig".

 

[LastManStanding]

Mehrere Speicherorte, und speicher arten....! Soll heißen Ich verlasse mich nie nur auf eine Sache!

Im Detail bei mir wäre das
Eine USB- SSD wird automatisch nach Zeitplan "täglich" neu beschrieben mit nem System Backup und Privaten Daten
Die Zweite ausgelagert aufbewarte SSD etwa alle 2- 3 Wochen. Und eine Dritte (HDD) so alle 2 Monate
Zusätzlich habe ich wichtige Daten auf dem PC zum Teil mehrfach auf Serperaten SSDs falls "nur" eine abraucht!, o.ä

 

[CoLuxe]

Bitrot vermeidest du vergleichsweise einfach, wenn dein Produktivsystem mit einem Filesystem wie z.B. ZFS/BTRFS läuft (mind. RAID 1 vorausgesetzt).
Am besten noch in Kombination mit ECC RAM und du bist an sich gut mit dabei.
Wenn deine Daten im Produktivsystem zu hoher Wahrscheinlichkeit stimmen, passt auch dein Backup eher.
Darfst nur nicht den scrub vergessen. Wie oft hängt von der Relevanz der Daten ab

Du könntest natürlich auch deinen Backup-Drives als ZFS/BTRFS im RAID 1 betreiben.
Ob das sinnvoll ist und es das in deinem Fall wirklich braucht, kannst du dir nur selbst beantworten.

Nr 4.:
HDDs kündigen ihren Tod fast immer an.
Solange du regelmäßig die SMART-Werte überprüfst, ist ein unvorhersehbarer Tod nahezu ausgeschlossen.
Machst du dein Backup auf ein NAS? Dann kannst du einfach täglich einen Short-Test macht und z.B. einmal die Woche alle Sektoren einmal scannen lassen.

 

[Mr_Peanut]

Ich habe RAM mit "on-die ECC". Ist das nicht eh Standard bei DDR5?

D.h. bei jedem Kopiervorgang wird jedes Bit schon automatisch mit dem Original verglichen?

Darfst nur nicht den scrub vergessen.

Was meinst du damit?


Ein NAS habe ich noch nicht. Bin mit meiner Backupstrategie noch nicht zufrieden, ist etwas messy.
Ich schaffe es 3 Kopien von allem anzulegen, aber mit der regelmäßigen (möglichst automatischen) Überprüfung der (langfristigen) Backups bin ich noch etwas überfordert.

Nochmal zum Verständnis:
Wenn ich die Files regelmäßig auf Konsistenz überprüfen will, muss ich direkt nach dem Kopiervorgang Prüfsummenwerte erstellen? Dauert das dann nochmal genauso lange oder geht das flotter?

 

[Incredible Alk]

1.) Wie schützt ihr eure Backups/Archive gegen Bitrot und korrupte Dateien bzw. defekte Sektoren auf den HDDs?

2.) Wie regelmäßig sollte man seine Backups prüfen und welche Tools sind dafür empfehlenswert? Ohne Hashwerte geht's nicht, oder?

3.) Reicht bei einer (Archiv)HDD regelmäßige Stromzufuhr aus (wie lange? in welchem Intervall?), um die Magnetisierung aufzufrischen oder müssen die Daten alle paar Jahre komplett neu geschrieben werden?

4.) Sollte man alte HDDs stur nach einer bestimmten Zeit (z.B. 5 Jahre) austauschen oder einfach bis zum Ausfall benutzen? Nach der 3-2-1 Regel hätte ich dann immer noch 2 Backups. Nur wie engmaschig muss dann das Überprüfungsintervall ausfallen?

Danke

Kurz:
1.) Physische und zeitliche Redundanz
2.) Verify bei jedem Backupvorgang
3.) HDDs benötigen (im Gegensatz zu SSDs) keine Auffrischung und die Magnetisierungen halten Jahrzehnte. HDDs die unbenutzt rumliegen sterben nach vielen Jahren daran dass die Mechanik klemmt wenn sie nie bewegt wird.
4.) Die Frage nach der Nutzungszeit von Datenträgern stellt sich bei einem guten Backupsystem nicht, da spontan ausfallende Datenträger für letzteres kein Problem bzw. sowieso eingeplant sind.

Lang:

Alkis Blog #48 - Der Backup Blog

Hallo liebe PCGHXler, erschreckt musste ich feststellen, dass der letzte Blogeintrag von mir schon über ein Jahr alt ist (und deutlich über 10.000 Aufrufe hat?! Ich verspüre einen gewissen Qualitätsdruck^^). Mangels passender bzw. im Forum sehr häufig nachgefragter neuer Themen hatte sich da...

extreme.pcgameshardware.de

 

[Mr_Peanut]

Habe gerade noch einen interessanten Beitrag auf reddit gefunden. Jetzt weiß ich auch, was oben mit "scrub" gemeint war.

Bit rot is real but so rare that you don't need to worry about it.

Filesystems like ZFS have checksums and every time you read the file it checks to see if anything corrupted it.

ZFS and Snapraid both have "scrub" features where you can get the system to read files and compare checksums to make sure nothing has been corrupted.

I use this program to create SHA256 checksums and store as ext4 extended attribute metadata. When you run it a second time it checks the timestamp and compares the checksum again.

https://github.com/rfjakob/cshatag

I run a full scrub about every 6 months. In 10 years of doing this I have found 2 files that I could legitimately say got corrupted and that is over about 50TB of data. Both were video files and the files played just fine. I had 2 different backups and 2 of the 3 sets matched so I updated the bad file with a correct copy.

Der untere Teil hat mich dann doch erstaunt. Auch Bitrot ist quasi vernachlässigbar. Ich mache mir wohl zu viele Sorgen. Werde das jetzt auch so ähnlich handhaben. Bis jetzt hat es ja auch irgendwie geklappt, hatte noch keinen Datenverlust

Danke allen Helfern!

 

[Incredible Alk]

Auch Bitrot ist quasi vernachlässigbar.

Für Privatpersonen sind derartige Schreibfehler, gekippte Bits usw. meist irrelevant. Harte Maßnahmen musste da nur ergreifen wenns wirklich auf jedes Einzelbit ankommt was bei den allermeisten Privatdateien einfach nicht der Fall ist - bei Musik, Videos, Bildern etc. was die Leute so sichern ist ein einzelnes gekipptes Bit meist (wenn man nicht das Pech hat dass ein "ungünstiges" Bit kippt auf dessen Basis der Rest der Datei aufgebaut wird in manchen Kompressionsverfahren...) völlig belanglos.
Und es ist SELTEN. Festplattenhersteller geben Werte an von 1 pro 10^16, bedeutet ganz grob weniger als ein gekipptes Bit pro Petabyte (!!) geschriebenen Daten. Da musste schon extremes Pech haben dass dir sowas ne Datei kaputtmacht - und dafür haste ja dann ein redundantes Backup wenns wirklich passieren sollte.

 

[Shinna]

Ich habe RAM mit "on-die ECC". Ist das nicht eh Standard bei DDR5?

Hier ist eine gute Erklärung zum Unterschied von "On DIE ECC" zu nennen wir es mal "echtes ECC".

Eingebundener Inhalt

Youtube

youtube.com/watch/?v=XGwcPzBJCh0

An dieser Stelle findest du externe Inhalte von Youtube. Zum Schutz deiner persönlichen Daten werden externe Einbindungen erst angezeigt, wenn du dies durch Klick auf "Alle externen Inhalte laden" bestätigst: Alle externen Inhalte laden Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt.
Für mehr Informationen besuche die Datenschutz-Seite.