Komplettes (großes) RAID klonen

[Jimini]

Komplettes (großes) RAID klonen

Aloha,

da mir im Laufe dieses Jahres wohl der Speicherplatz auf meinem Fileserver ausgehen wird, bin ich zur Zeit am herumspinnen, wie ich das Problem lösen kann - es wird wohl darauf hinauslaufen, dass von 3TB- auf 4TB-Festplatten umsteige.
Allerdings ist das System nahezu perfekt konfiguriert, weswegen ich es nicht nochmal aufsetzen, sondern einfach auf einen neuen Festplattenverbund übertragen möchte. Die Frage ist daher: wie kopiere ich am besten den Datenbestand eines Arrays 1:1 auf ein anderes Array?

Bisher sind mir zwei Möglichkeiten eingefallen:
1) Ein neues System zusammenbauen und die Daten auf Sektorenebene übers Netz kopieren. Nachteil: Kosten für Mainboard und CPU, den Rest habe ich. Zudem dauert es ewig, so viel übers Netz zu kopieren.
2) Einen SATA-Port-Multiplier einbauen und die Daten lokal kopieren. Vorteil: viel schneller geht es nicht, zudem ist ein Port Multiplier günstiger als Mainboard und CPU.

Any ideas?

MfG Jimini

 

[caligula3741return]

AW: Komplettes (großes) RAID klonen

Hallöle.

Mal ne ganz dumme Idee....sagt dir Acronis True Image was?

Gruß

 

[System_Crasher]

AW: Komplettes (großes) RAID klonen

Hallo Jimini
Kannst du genau beschreiben, welches Raid du hast: Raid 1, Raid 5 oder Raid 10.
Und welchen Raid-Controller hast du?
Linux oder Windows Server?

Es ist eigentlich sehr gut machbar aber es braucht etwas Planung.
Eine grobe Vorgehensweise, aber je nach dem muss man auch anders vorgehen. Kommt auf das System drauf an.

1. Das Raid auf eine Festplatte clonen. z.B. mit Acronis Live CD. Wichtig KEIN komprimiertes Back Up. Sondern ein unkomprimiertes Back Up erstellen
2. Alte Festplatte aus dem Raid herausnehmen.
3. Neue Festplatten einbauen.
4. Die neuen Festplatten als neues Raid einrichten.
5. Mit Acronis das Back Up zurück auf das Raid bringen (Recovery)
6. Größe des Partition vergrößern z.B mit Paragon Festplatten Manager 14 Professional

 

[Jimini]

AW: Komplettes (großes) RAID klonen

Mal ne ganz dumme Idee....sagt dir Acronis True Image was?

Ja, allerdings habe ich damit noch nie gearbeitet, sondern immer auf CloneZilla zurückgegriffen.

Hallo Jimini
Kannst du genau beschreiben, welches Raid du hast: Raid 1, Raid 5 oder Raid 10.
Und welchen Raid-Controller hast du?
Linux oder Windows Server?

Es handelt sich um ein verschlüsseltes Software-RAID5 unter Linux.

Es ist eigentlich sehr gut machbar aber es braucht etwas Planung.
Eine grobe Vorgehensweise, aber je nach dem muss man auch anders vorgehen. Kommt auf das System drauf an.

1. Das Raid auf eine Festplatte clonen. z.B. mit Acronis Live CD. Wichtig KEIN komprimiertes Back Up. Sondern ein unkomprimiertes Back Up erstellen
2. Alte Festplatte aus dem Raid herausnehmen.
3. Neue Festplatten einbauen.
4. Die neuen Festplatten als neues Raid einrichten.
5. Mit Acronis das Back Up zurück auf das Raid bringen (Recovery)
6. Größe des Partition vergrößern z.B mit Paragon Festplatten Manager 14 Professional

Okay - ich hätte das im Eingangsposting detaillierter beschreiben sollen - wir reden hier von aktuell >12TB Daten
Ich habe auch schon darüber nachgedacht, die Festplatten einzeln zu klonen und die Partition, die über dem Array liegt, später einfach zu vergrößern. Bin mir aber aktuell nicht sicher, ob das reibungslos hinhaut. Eine zusätzliche Festplatte einbauen, das Array anpassen und die Partitionen vergrößern ist jedenfalls im laufenden Betrieb problemlos machbar.

MfG Jimini

 

[norse]

AW: Komplettes (großes) RAID klonen

nen Backup machen. Mit Acronis kannst du es zwar recht gut komprimieren aber ein paar TB sind das dann immernoch. aber wer solche Datenmengen hat / braucht, macht doch eh Backups ........ ?

Alles andere wäre zu Risikohaft und sehr aufwendig, vorallem wenn die Kopiererei zwischendurch mal abbricht o.Ä.

Verschlüsseltes Softwareraid? nicht schlecht, viel spaß .... und erfolg

Ansonsten halt die neuen Platten anschließen und rüber kopieren und sich das Raid evtl nochmal überlegen.

 

[Jimini]

AW: Komplettes (großes) RAID klonen

nen Backup machen. Mit Acronis kannst du es zwar recht gut komprimieren aber ein paar TB sind das dann immernoch. aber wer solche Datenmengen hat / braucht, macht doch eh Backups ........ ?

Ich habe ein Backup auf einem zweiten System, allerdings kein 1:1-Image (sowas regelmäßig anzulegen ist schlichtweg nicht praktikabel). Wie ich eingangs schrieb, ist der Knackpunkt, dass ich das Ursprungssystem nicht neu aufsetzen möchte, daher muss ich den kompletten Datenbestand 1:1 auf das neue Array kopieren.

Ansonsten halt die neuen Platten anschließen und rüber kopieren und sich das Raid evtl nochmal überlegen.

Kannst du den Punkt noch etwas erläutern?

MfG Jimini

 

[ruyven_macaran]

AW: Komplettes (großes) RAID klonen

Mein eher komplexes Hardware-Raid (Intel-Matrix RAID, erste Hälfte der Platten als RAID0, zweite Hälfte als RAID1. Beide Hälften mit einer primären und einer erweiterten Partition, in der erweiterten des RAIDs auch noch mehrere Laufwerke - eins davon ist das Systemlaufwerk.) habe ich seinerzeit Festplatte für Festplatte mit "dd" bit für bit kopiert. Das sollte auch bei dir und ohne zusätzliches System klappen, schließlich müssen nicht alle Laufwerke zeitgleich angeschlossen sein.
Die Partitionsgröße sollte sich anschließend mit z.B. Gparted anpassen lassen. (einfachere Setups lassen sich auch direkt damit klonen, entweder Laufwerks, Partitions oder Verbundweise. Aber zumindest bei mir führte diese Option dazu, dass die Laufwerksbuchstabenzuordnung von Windows hinüber war und Windows die Nutzerordner nicht mehr gefunden hat)
Ob dass dann auch gleich ins Softwareraid übernommen wird, weiß ich aber nicht - keine Erfahrung. Ich würde eigentlich erwarten, dass man da ziemlich viel direkt in der Software machen kann. (Warum sollte man sonst auch ein OS-abhängiges Softwareraid nutzes???)

 

[Jimini]

AW: Komplettes (großes) RAID klonen

Mein eher komplexes Hardware-Raid [...] habe ich seinerzeit Festplatte für Festplatte mit "dd" bit für bit kopiert. Das sollte auch bei dir und ohne zusätzliches System klappen, schließlich müssen nicht alle Laufwerke zeitgleich angeschlossen sein. Die Partitionsgröße sollte sich anschließend mit z.B. Gparted anpassen lassen.

Stimmt, das könnte funktionieren. Erst die Daten "roh" von Festplatte zu Festplatte kopieren, dann die einzelnen Partitionen resizen, dann das Array zusammensetzen und hoffen, dass alles da ist

Eine andere Idee war, das Array um mehrere 4TB-Platten zu erweitern, die Partition über dem RAID zu vergrößern, danach die Partition wieder zu verkleinern und die 3TB-Platten zu entfernen.

So oder so muss ich das irgendwann mal an einem freien Wochenende in aller Ruhe in einer VM durchspielen, ich habe nämlich keine Lust, 2 Tage lang das Array syncen zu lassen, nur um dann ein kaputtes System zu haben

MfG Jimini

Nachtrag: es ist natürlich auch möglich, eine Platte aus dem Array zu entfernen, eine größere reinzusetzen, neu zu syncen und das Ganze dann zu wiederholen. Der Vorteil ist hierbei, dass das System weiterläuft, der Nachteil ist die extreme Dauer sowie das erhöhte Risiko eines Ausfalls. Zudem muss ich dann wohl die gleiche Anzahl an 4TB- wie an 3TB-Platten haben.

 

[ruyven_macaran]

AW: Komplettes (großes) RAID klonen

Der Einzelplattenumzug wäre sicherlich sehr zeitaufwendig - schließlich müssen die Paritäten einmal pro Platte neu berechnet werden, was mindestens solange dauern dürfte, wie der Kopiervorgang selbst. Mit dd hast du nur den Kopiervorgang und imho dürfte es sogar möglich sein, mehrere Kopiervorgänge parallel laufen zu lassen, so dass du an einem gängigen 6er Chipsatz 3 Platten zeitgleich kopieren könntest.
"Hoffnung" ist dabei auch kein großes Problem, denn im Gegensatz zum syncen dienen die alten Platten hier ja als reines Leselaufwerk. (davon abgesehen ist das Ganze derart systemtransparent, dass nicht einmal ein Hardwarecontroller mitbekommt, dass die Konfigurationsinformationen auf einem neuen Laufwerk liegen. Ein Softwareraid, dass seine Konfiguration in die Dateistruktur schreibt, sollte noch wesentlich unempfindlicher sein.) Nachteil ist halt, dass du alles auf einmal machen musst - syncen könntest du auch eine Platte nach der anderen über einen längeren Zeitraum.

Über wieviel Platten reden wir hier eigentlich? Und wäre es softwartechnisch möglich, das ganze vorrübergehend zum RAID6 erweitern? Dann würde zwar auch ewig gesycnt, aber die Ausfallsicherheit die gesamte Zeit über erhalten.

 

[Jimini]

AW: Komplettes (großes) RAID klonen

Das Problem ist, dass jede Downtime der Kiste ziemlich nervig ist, da dort sehr viele Daten zentral gelagert werden. Ich würde die Ausfallzeit daher gerne so gering wie nur irgend möglich halten - beim "Hotswappen" würde alles nach wie vor verfügbar sein. Allerdings beansprucht dieses Vorgehen die Platten stark und dauert natürlich sehr lange.
Diese Methode habe ich heute mal in einer VM durchgespielt und es funktionierte reibungslos.

Die alternative Methode, die Platten einzeln mittels dd zu klonen, werde ich demnächst mal testen - mal schauen, wie das hinhaut.

Insgesamt beherbergt mein Array aktuell 6 Festplatten, bis zum Wechsel auf 4TB kommen sicherlich noch eine oder zwei hinzu.

MfG Jimini

 

[System_Crasher]

AW: Komplettes (großes) RAID klonen

Hallo Jimini
Wie seht es aus? Hast du eine Lösung für dein Problem gefunden?
Falls du ein Raid-Controller vom LSI oder Adaptec kannst du sicher auch dem Kundenservice eine Mail mit deinem Problem schreiben.
Ich habe oft gute Erfahrungen mit den Kundensupport gehabt. Fragen kostet ja nichts

 

[Jimini]

Ich bin momentan auf einer Konferenz im Ausland und kam deswegen leider bislang nicht dazu, mich des Problems weiter anzunehmen. Am Wochenende werde ich aber mal das Szenario in einer VM durchspielen.
Bei meinem RAID handelt es sich um ein Software-RAID, welches direkt am Mainboard hängt.

MfG Jimini

 

[norse]

AW: Komplettes (großes) RAID klonen

Ich habe ein Backup auf einem zweiten System, allerdings kein 1:1-Image (sowas regelmäßig anzulegen ist schlichtweg nicht praktikabel). Wie ich eingangs schrieb, ist der Knackpunkt, dass ich das Ursprungssystem nicht neu aufsetzen möchte, daher muss ich den kompletten Datenbestand 1:1 auf das neue Array kopieren.

Kannst du den Punkt noch etwas erläutern?

MfG Jimini

1:1 Backups anzufertigen ist kein aufwand und ganz praktikabel einrichtbar.

also das OS bleibt beibehalten? dann wird's doch ganz easy oder steh ich auf dem Schlauch? Und ein PCIe Sata Controller kostet ja auch nur 15€.

1. Neue Platten anklemmen
2. neue Platten im OS passend Konfigurieren (RAID notwendig / sinnvoll hier?! vorallem ein Software Raid?)
3. Daten von den alten Platten auf die Neuen Kopieren
4. alte Platten rausschmeißen
5. Freigaben anpassen / Datenträgerbezeichnungen anpassen, sodass die Freigaben automatisch wieder funktionieren

Bzw ... mit Acronis z.B. könntest du das ganze direkt Klonen und die Partitionsgrößen direkt anpassen beim Klonen fällt mir da gerade so ein, wäre auch ganz easy.

 

[uka]

AW: Komplettes (großes) RAID klonen

Die Vorteile von Acronis zu Clonezilla - außer das es Geld kostet - konnte mir noch keiner zeigen? Aber wenn du eh Linux Software-RAID hast sollte das doch auch mit DD gehen.

Platten einzel tauschen wäre noch ne Möglichkeit, allerdings erhöhtes Risiko (obgleich auch nicht so hoch wie angenommen, da die alte Platte ja noch vorhanden ist).

Ich (faul) würde wohl die Platten nach einander tauschen und den Controller das machen lassen, aber Software-RAID nutze ich nicht (wenn die Software das kann würde ich aber genauso vorgehen).

 

[Jimini]

AW: Komplettes (großes) RAID klonen

1:1 Backups anzufertigen ist kein aufwand und ganz praktikabel einrichtbar.

Da das System für das Erstellen eines Images heruntergefahren werden muss und es sich um >12TB Daten handelt, würde ich hier schon von einem gewissen Aufwand sprechen
So langsam überlege ich aber wirklich, ob ich mir nicht mal irgendwann BTRFS anschauen soll, damit ist sowas meines Wissens im lufenden Betrieb möglich. Aber noch ist es mir zu heikel, meine Daten einem Filesystem anzuvertrauen, welches noch recht experimentell ist.

also das OS bleibt beibehalten? dann wird's doch ganz easy oder steh ich auf dem Schlauch? Und ein PCIe Sata Controller kostet ja auch nur 15€.

1. Neue Platten anklemmen
2. neue Platten im OS passend Konfigurieren (RAID notwendig / sinnvoll hier?! vorallem ein Software Raid?)
3. Daten von den alten Platten auf die Neuen Kopieren
4. alte Platten rausschmeißen
5. Freigaben anpassen / Datenträgerbezeichnungen anpassen, sodass die Freigaben automatisch wieder funktionieren

Hm - liest du meine Postings? *g*
Ich habe momentan insgesamt 6 Platten in dem System, da ist es mit einem 15€-SATA-Controller nicht getan. Da das System ohnehin nicht laufen darf beim Kopieren, kann ich dann auch die Platten nacheinander klonen und dabei munter an- und abstecken.

Die Vorteile von Acronis zu Clonezilla - außer das es Geld kostet - konnte mir noch keiner zeigen? Aber wenn du eh Linux Software-RAID hast sollte das doch auch mit DD gehen.

Ja, ich werde es dann höchstwahrscheinlich mit dd machen, da ich da dann mehrere Platten parallel kopieren kann.

Platten einzel tauschen wäre noch ne Möglichkeit, allerdings erhöhtes Risiko (obgleich auch nicht so hoch wie angenommen, da die alte Platte ja noch vorhanden ist).

Falls du dich auf das Tauschen im laufenden Betrieb beziehst, ist der Knackpunkt, dass bei 6 Platten insgesamt 6mal resynct werden muss. Dies lastet die Festplatten jedes Mal über (wenn ich mich recht entsinne) rund 2 Tage aus, so dass einige der Platten mehr als eine Woche lang extrem belastet werden. Daher sind häufig ausgerechnet Resync-Vorgänge der Zeitpunkt, zu dem Platten ausfallen - was fatal ist, da das Array dann ja besonders empfindlich ist.
Ein weiterer Nachteil an der Methode ist, dass ich dann ebenso viele 4-TB Platten kaufen müsste wie ich jetzt 3TB-Platten habe - ich brauche aber auf absehbare Zeit keine 20TB Speicherplatz. Da muss ich mir noch was überlegen.

MfG Jimini

 

[norse]

Ah tschuldige, war gestern doch schon etwas spät

Aber die Maschine runterfahren für ein vollständiges Backup? Das wäre ja fatal! Geht doch alles im laufenden Betrieb... Deswegen mein ich ja das das kein Aufwand ist. Klar 12Tb dauern, aber bei solchen Datenmengen wird nicht jeden Tag ein Füll Backup gemacht.

Ih les mir das nachher nochmal genau durch bin schon neugierig wie es gelöst wird am besten

 

[Jimini]

AW: Komplettes (großes) RAID klonen

Ah tschuldige, war gestern doch schon etwas spät

Kein Thema

Aber die Maschine runterfahren für ein vollständiges Backup? Das wäre ja fatal! Geht doch alles im laufenden Betrieb...

Kannst du erläutern, wie ein vollständiges Backup (und damit meine ich wirklich ein sektorgenaues 1:1-Image) des kompletten Systems im laufenden Betrieb angelegt wird? Abgesehen von BTRFS-Snapshots, die kommen bei mir dankt ext4 bislang nicht in Frage. Meines Wissens ist sowas bisher nicht möglich.

Klar 12Tb dauern, aber bei solchen Datenmengen wird nicht jeden Tag ein Füll Backup gemacht.

Absolut, daher sichere ich bisher inkrementell. 12 TB übers Netz zu schaufeln dauert bei durchgehender Auslastung der Leitung rund 24 Stunden. Das ist für mich so oder so nicht praktikabel, da 1) die Kiste gleichzeitig die Internetverbindung herstellt, 2) ich an einige der Daten täglich ranmuss, 3) der Vorgang nicht automatisiert werden kann, da ich spätestens beim Reboot das Passwort eingeben muss, um die Datenträger zu entschlüsseln.

MfG Jimini

 

[Jimini]

AW: Komplettes (großes) RAID klonen

So, ich habe das Szenario gerade mal mit einer VM durchgespielt. Ich verwendete 4 HDD-Images à 2GB, diese sollten durch 4 Images à 3GB ersetzt werden. Jede 2GB-Festplatte enthielt je eine Partition à 200MB (RAID1 für /boot) und eine Partition mit dem Rest fürs RAID5.
Ich bin wie folgt vorgegangen:

1) Booten eines Livesystems (Gparted Live) und Klonen der einzelnen HDDs (ich habe aus Bequemlichkeit CloneZilla genommen, dd täte es aber auch).
2) Vergrößern der Partitionen - da ich die Partitionen, aus welchen sich die Arrays zusammensetzen, nicht formatiert hatte, konnte ich hier nicht einfach auf resize2fs zurückgreifen. Ich musste stattdessen die jeweilige Datenpartition löschen und eine neue erstellen. Die Daten blieben erhalten.
3) Herunterfahren der VM und "Ausbauen" der 2GB-HDDs.
4) Booten des eigentlichen Betriebssystems der VM und Vergrößern des RAID5 mittels mdadm --grow /dev/md1 --size=max
5) Überprüfen der Arraygröße durch mdadm -D /dev/md1
6) Vergrößern des /-Dateisystemsmittels resize2fs
7) Überprüfen der Dateisystemgrüße durch df -h

Das klappte soweit super. Meine andere Vorgehensweise, nämlich die Platten nach und nach zu ersetzen und das Array nach jedem Tausch resyncen zu lassen, scheiterte daran, dass ich vergaß, den Bootsektor zu klonen. Ich werde aber wahrscheinlich auf die Methode zurückgreifen, welche ich hier beschrieben habe - auch wenn das Klonen von 6 ziemlich vollen 3TB-Platten eine Weile dauern dürfte

MfG Jimini