Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

Guten Abend

In eine anderen Thread hier, wollte ich kürzlich wissen, wie das mit der Austauschbarkeit von Raidcontrollern der gleichen Serie ist. Nun ist die Frage geklärt, es stellt sich mir aber eine neue, nicht ganz unwichtige Frage bzgl. dem Raidlevel. Erst gestern las ich, dass Raid5 im Jahre 2009 bereits als nicht mehr Zeitgemäss erachtet wurde. 8 Jahre später scheint dies durch die teils sehr grossen Festplatten wider ein Diskussionsthema zu sein. Mein vorhaben ist es, 4x 6TB zu verbauen, anfänglich als Raid5 geplant. Nachdem ich nun aber auf mehreren Seiten las, dass bei einem Plattendefekt / Ausfall, der Rebuild bei so grossen Platten dermassen lange dauern würde und dabei die intakten Platten so heftig strapaziert werden und dabei das Risiko eines Defekts einer weiteren Platte sehr hoch sei, wollte ich einmal eure Meinung darüber hören. Jetzt mal abgesehen ob SW oder HW Raid, macht ein Raid5 überhaupt Sinn, dass man bei einem Defekt tatsächlich etwas Sicherheit hat, oder geht das ganze eher in die andere Richtung? So langsam weiss ich nämlich nicht mehr, ob ein Raid, ohne dabei zu viel Platz zu verlieren, in meinem Fall überhaupt Sinn macht.

Freundliche Grüsse

AW: Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

Ich würde sagen das kommt darauf an was du dir von dem Raid versprichst bzw. wofür es gedacht ist.
Wie du schon festgestellt hast ist ein RAID5 als einziger Speicherplatz für wichtige Daten ungeeignet. Gleiches gilt in gewissem Umfang auch für andere RAID-Varianten. 5€ ins Phrasenschwein: ein RAID ersetzt kein Backup.
RAID5 ist für sich genommen vor Allem dazu geeignet die Verfügbarkeit zu erhöhen so dass du auch dann noch in gewohnter Weise auf die Daten zugreifen kannst wenn eine Platte ausfällt. Für Datensicherheit ist zusätzlich ein Backup nötig. Das minimiert dann auch die Chance auf kompletten Datenverlust beim Rebuild.
Um die Frage im Titel aufzugreifen: für den richtigen Zweck eingesetzt ist ein RAID5 auch heute noch vernünftig. Einziger Speicherplatz für wichtige Daten ist kein solcher Zweck.

AW: Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

Danke amdahl. Bzgl. Backup, das ist mir bewusst. Der Punkt ist der, dass ich die Platten zum speichern von grossen Datenmengen brauche. Der Verlust von Daten wäre zwar nicht schön, es handelt sich aber nicht um ganz wichtige Daten. Wie im Eingangspost erwähnt, kam bei mir die Frage zum Sinn eines Raid5 Arrays auf, da der Rebuild in nicht wenigen Fällen scheinbar weitere Platten bei diesen Grössen zerstört hat.
Anhand meiner Anforderung, grosse aber nicht lebenswichtige Datenmengen zu speichern, wäre hier ein Raid5 (Kompromiss zwischen Kapazität und Redundanz) für mich eine gute Option gewesen. Ein Raid1 mit jeweils zwei Platten, bzw. Raid10 ist für meinen Zwecl doch eher Verschwendung.
Wie ist es eigentlich bei einem JBOD, wenn eine Platte aussteigt?

AW: Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

Mit etwas Aufwand und Glück lässt sich bei JBOD ein Großteil dessen wieder herstellen was auf den nicht defekten Platten war. Im Gegensatz zu RAID0 gibt es ja hier kein striping. Nicht dass ich je selbst das Vergnügen hatte. In Sachen Ausfall(un)sicherheit steht es einem RAID0 in nichts nach. Ein RAID5 wäre mir da schon lieber.
Man sollte übrigens nicht vergessen das Gejammer mit fehlgeschlagenen RAID5-rebuilds richtig einzuordnen. Die 99% bei denen es ohne Probleme ging melden sich natürlich nicht im Internet.
Mein Tipp für Festplatten in einem Raid ist übrigens kein Geheimtipp: WD red. Von den ~25 Platten mit 3-8TB die ich bisher angeschafft habe ist in all den Jahren noch keine ausgefallen oder auch nur durch schlechte SMART-Werte aufgefallen. Die Seagate und Toshiba die sie nach und nach ersetzen hingegen schon. Zudem sind sie bis einschließlich 6TB sehr leise.
Gerade wenn du dir nicht den "Luxus" von Raid+backup leisten kannst solltest du die HDDs zu Beginn vollständig testen. Das beugt bösen Überraschungen gleich zu Beginn der Lebenszeit vor:
[How To] Hard Drive Burn-In Testing | FreeNAS Community

AW: Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

Bisher hatte ich mit den WD Reds auch nur gute Erfahrungen sammeln können und werde daher mein 4x6TB Setup auch wieder mit den Reds erstellen. Dass sich Leute, bei welchen ein Rebuild erfolgreich war, nicht melden, kann ich nachvollziehen. Es ist ja eigentlich fast überall so, man findet zu diversen Themen fast ausschliesslich Infos, wenn etwas nicht geklappt hat. Trotzdem fand ich einige Aussagen, dass ein Raid5 nicht wirklich empfehlenswert sei, wenn Festplatten dieser Grössen zum Zug kommen, gerade weil eben nur eine Platte aussteigen darf. Wenn im Endeffekt eine Platte aussteigt, ich diese ersetze und der Rebuild fehlschlägt, hat mir das Raid auch nicht geholfen. In Anbetracht, dass heute Platten, wie eben die WD Red, welche für den 24/7 Betrieb ausgelegt sind, eine meist doch sehr hohe Langlebigkeit haben, kam mir die Idee mit dem JBOD. Mein aktuelles Setup besteht aus drei einzelnen 4TB Red HDD's mit NTFS Dateisystem, gemountet in einem Debian. Sollte eine Platte so langsam den Geist aufgeben, habe ich so die Möglichkeit, diese an meinem Windowsrechner anzuhängen und via TestDisk (mit welchem ich bisher sehr gute Erfahrungen und Ergebnisse erzielt habe), die Daten soweit es geht auszulesen.
Wenn mir also eine Platte in einem JBOD ausfällt, frage ich mich daher, wie sich das mit den restlichen, funktionierenden Platten genau verhält. Als Möglichkeit habe ich dabei ein JBOD via Raidcontroller (Adaptec 6805) oder via Software in Debian (mdadm) zu erstellen, den Unterschied der beiden Möglichkeiten in Bezug auf einen Plattendefekt würde mich daher auch sehr interessieren.

AW: Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

Egal: Ein JBOD ist kein RAID sondern ein "Hintereinanderschalten" mehrerer Festplatten. Man hat keine Redundanz. Fällt ein Platte aus so nimmt das OS die Partition offline. Mit viel Glück kann man Teile der Daten manuell wiederherstellen. Das sollte aber niemals für den Produktiveinsatz installiert/ geplant werden.
Hardware/ Softwareraid Gemeinsamkeit: proprietärer Algoritmus zum Speichern der Daten mit Redundanz; Nettokapazität < Bruttokapazität;
mit der gleichen (kompatiblen) Hardware/ Software kann man das Raid auf Fremdsystemen wiederherstellen.
Hardware/ Softwareraid Unterschiede:
Hardwareraid- die Raidberechnungen werden von spezialisierten Controllern durchgeführt und das Raid Array wird als physisches Laufwerk an das OS übergeben. Alle Arrayoperationen finden auf dem Controller statt (keine separate CPU Belastung des Rechners)
Softwareraid- die Raidberechnungen werden von der CPU durchgeführt und das Raid Array als physisches Laufwerk durch das OS verwaltet. Alle Arrayoperationen finden auf der CPU statt (separate CPU Belastung des Rechners).
on Board Raid auf Mainboardcontrollern: eingeschränkte Kompatibilität (meist nur dieselbe Chipsatzklasse/ Generation); keine CPU Entlastung;
Vorteil: bootfähiges Raid1; die Festplatten werden ohne Raid meist als Einzelplatten erkannt;
Geschwindigkeit der Platten zwischen 50 - 350 MByte/s (abhänging von Größe, Baujahr, Hersteller/ Baureihe); typisch ca. 100 MByte/s für SATA Einsteigerplatten (> 400 MByte/s für SSD); Anschluss: SATA2/3 (300/ 600 MByte/s) ist ausreichend für HDD.
Exportgeschwindigkeit der Controller liegt bei 100...1000 MByte/s (höhere Burstraten möglich); PCIe 4/8 Lanes typisch.

Empfehlung: Harwarecontroller (immer); Raid6 (man "verzichtet" auf 2 Laufwerke);
bis 4 Platten und abhängig von Wiederherstellungszeit- Raid5 (z.B. 4*4 TByte Seagate 5900rpm Wiederherstellung dauert an 3ware 9650 ca. 19h bei mittlerer Priorität

Aktuelle Raidcontroller schreiben die Raidinformation auf die Festplatten (incl Passwort); um die Platte an anderen Rechnern nutzen zu können muss die Raid information gelöscht werden.

AW: Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

rschwertz schrieb:

Mit viel Glück kann man Teile der Daten manuell wiederherstellen.

Zum Vergrößern anklicken....

Das ist halt die große Frage, die auch vom genutzten System abhängen dürfte.

Nutze ich 3 HDDs als einzene Platten/Partitionen, so habe ich den Kapazitätsverlust bei recht vollen Platten und mehrere Mount-Points (oder Laufwerksbuchstaben), dafür ist klar, dass bei einem Defekt einer Platte garantiert nur die Daten dieser Platte weg sind.

Nutze ich JBOD, weiss ich zunächst einmal garnichts. Wird die FAT redundant auf allen Platten gespeichert oder nicht? Kümmert sich irgendein "passendes" Dateisystem darum, dass Dateien möglichst zusammenhängend auf einem Laufwerk liegen? Kann der "Controller" mit dem Ausfall einer beliebigen Platte umgehen und auf alle Daten, die sich nicht auf der defekten Platte befinden, noch problemlos zugreifen.

Technisch wäre das alles kein Problem (vom JBOD, das nahezu bis an den Rand gefült ist, mal abgesehen), aber wie lösen Linux, Windows oder andere Systeme dies. Für mich wäre sowas heutzutage so selbstverstädnlich von einem nutzbaren Dateisystem, dass ich dies einfach als gegeben voraus gesetzt hätte.

Das ist aber wohl etwas, das QNap (oder Synolog und damit Linux) nicht tut:
JBOD: Volume Komplett- oder nur Teilverlust bei HDD Ausfall - Turbo Station Installation & Einstellungen - QNAP - NAS Hilfe und Support Forum
Gut, dass ich so ein Zeug nicht genutzt habe und lieber mit dem Platzverlust der Einzelplatten und mehreren Mount-Points lebe.

Wenn Du mehr Kapazität "am Stück" benötigst, wie eine Platte liefern kann, dann doch lieber RAID5 und hoffen, dass man keine Platten aus unterschiedlichen Chargen kauft, um die Gefahr eines gleichzeitigen HW-Fehlers mit mehreren Platten zu reduzieren. Alternativ könnte man bei einem passend potenten Server noch auf ZFS (oder vieleicht BtrFS) setzen, sollte sich vorher aber sehr genau informieren, ob einem die Zusatzkosten (Ram und CPU-Leistung des Servers) den Nutzen wert sind.

endy66 schrieb:

Mein aktuelles Setup besteht aus drei einzelnen 4TB Red HDD's mit NTFS Dateisystem, gemountet in einem Debian. Sollte eine Platte so langsam den Geist aufgeben, habe ich so die Möglichkeit, diese an meinem Windowsrechner anzuhängen

Zum Vergrößern anklicken....

Es gibt auch Programme für Windows, die EXT3/4 lesen können oder man bootet halt eine Live-CD. NTFS unter Linux ist und bleibt ein Krampf, der mit Glück einigermaßen "performant" funktioniert.

AW: Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

Wie fotoman schreibt, fände ich auch, dass ein Dateisystem, welches genau die Probleme von JBOD in Grenzen halten könnte, für Zeitgemäss. Sprich bei einem Plattenausfall nicht das gesamte Volume, sondern nur den einen Datenträger "auszuhängen" bzw. eben die intakten Platten aufrufbar halten. Ich sehe das Problem natürlich schon, über alle Platten hinweg erstreckt sich ein Dateisystem, fehlt ein Teil davon, ist dieses erstmal korrupt.

Wie in meinem Eingangspost erwähnt, ist die Redundanz bei mir keine wirkliche Anforderung, bzw. handelt es sich bei den Daten um nicht sonderlich wichtiges, sondern mehr um ein Datengrab. Die Frage nach dem Raid5 kam daher, weil es kosteneffizient ist, allerdings bei heutigen Plattengrössen und einem eventuellen Rebuild genau gar nichts bringt. Wenn man sich die Idee eines Raid-Arrays anschaut, ist Sinn und Zweck davon, das System Redundant zu halten und gegen eventuell auftretende Ausfälle der Hardware zu schützen, bzw. einem Zeit zu verschaffen, um die defekte Platte zu ersetzen. Heutzutage sehe ich das bei einem Raid5 aber als kritisch an, bin ich da der einzige? Ein Raid6 ist hier sicherlich sinnvoller, da toleranter. Aber auch da kann man Pech haben. Aus meiner Sicht wäre es wohl die beste Möglichkeit, um die höchst mögliche Ausfallsicherheit zu erhalten, ein höheres Raid-Level zu benutzen, was im Umkehrschluss natürlich deutlich teurer wird -> z.B. Raid60.

Bzgl. NTFS unter Linux (speziell Debian), habe ich bisher mit meinem aktuellen Setup sehr gute Erfahrungen machen können. Die Platten lassen sich, dank dem "ntfs-3g" Packet, problemlos einhängen, die Schreib- und Leseraten sind schneller, als mein Gbit/s LAN, sprich kopieren läuft am Anschlag mit 110-112MB/s. Bei Plattendefekten bin ich bisher mit dem Tool "TestDisk" sehr gut gefahren und konnte in fast allen fällen die Daten Retten, ein weiterer Grund für mich, auf NTFS zu setzen. An sich ist mir das FS nicht sonderlich wichtig, bzw. mir egal, welches ich benutze, ich möchte einfach nur auf den Fall der Fälle vorbereitet sein und wissen, was zu tun ist und das bin ich so aktuell.

@rschwertz, danke für deinen ausführlichen Post. Leider musste ich feststellen, dass meine beiden Adaptec Raidcontroller kein Raid5 & 6 beherrschen (nur Raid0 / 1 / 10 / 1E / JBOD. Damit hat es sich für mich mit dem HW Raid erledigt.

Was ich aber noch tun kann, ist die Platten einzeln in Verzeichnisse, welche sich in einem Ordner befinden, zu mounten. Dieses Hauptverzeichnis dann als Freigabe definieren und somit bei den Clients nur noch ein Netzlaufwerk verbinden muss - Nachteil ist dabei halt, dass man dann wohl keine Anzeige des aktuell genutzten Speichers der einzelnen Platten mehr hat.

AW: Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

Man kann die Platten als Einzellaufwerke über den Adaptec (sind dann 6805E Controller) importieren und die Redundanz durch das Filesystem darstellen (z.B. ZFS). Das bedeutet aber Umformatieren und für gute Performance evtl. mehr Arbeitsspeicher .
Raid 60 ist ein Raid0 über mdst 2* Raid6 also kein "höheres" RAID Level.

AW: Ist ein Raid5 bei heutigen Kapazitäten noch vernünftig?

Für Einzellaufwerke ist aber nicht zwingend ein Controller notwendig, bzw. schonfast Verschwendung.
ZFS ist für mich keine Alternative, bzw. wenn Redundanz, dann über einen Controller.
Ah ok, dann habe ich mich da vertan. Raid60 wäre aber wohl eine gute Sache, man braucht halt aber entsprechend viele Platten.