Viel Workload gefaehrlich fuer die Platten

[Knogle]

Moin moin


Aktuell entpacke ich viele Archive auf meinen NAS, jedoch ist das mega mega langsam, sowas habe ich noch nicht erlebt
Der Kopiervorgang der Archive (ca. 120GB) ging extrem schnell, aber nun ist der schon seit Stunden am Entpacken

Scheint so als wuerde meine Platte beim Entpacken nichtmal die 110MB/s auch CrystalDiskMark schaffen


Wenn das Ding jetzt ueber Wochen hinweg und immer wieder extrem viel entpackt, kann das die Platte kaputt machen?

Habe mir extra dafuer so eine Seagate Constellation ES Platte gekauft, da ich gehofft habe das diese laenger halten

Limitiert hier auch das Gigabit Interface?

 

[HisN]

Ist Mechanisch ne?
Wird kaputtgehen ne?
Früher oder später, is ganz normal.
Benutz das Ding wofür es gebaut ist.

Und klar werden da keinen 110MB/sec erreicht. Die Platte muss beim Entpacken ja lesen und schreiben gleichzeitig. Das ist nun mal Worst Case für Platte, weil dabei der Kopf wie beknackt hin und her fahren muss und der Kopf ist hierbei das Limit.

Und jetzt der magische Trick.
Benutz zwei Platten (Quelle mit Archiv, Ziel mit entpackten Daten). Und schon sind die nicht unter "Heavy Load", sondern die eine ließt gemütlich, die andere schreibt gemütlich.

 

[Knogle]

Also meine Seagate Barracuda ist nach gerademal 50000 Stunden nun bei 48 Stunden Entpacken abgeraucht.
Toll

Will ein 1TB grosses Archiv entpacken, aber habe das bisher nicht richtig geschafft

 

[xSunshin3x]

Entpacke doch von deinem PC direkt als Ziel auf die NAS?!
Dann liest er von deiner PC-Platte, schiebt die entpackten Daten übers Netzwerk direkt auf die NAS und die muss nur noch ein bisschen schreiben.
Klar musst du dann mehr Daten übers Netzwerk übertragen (da entpackt), sollte insgesamt allerdings trotzdem 1. schneller und 2. laufwerksschonender von Statten gehen.

 

[Knogle]

Mach ich ja

Nur das Problem ist:

Das 1TB Archiv liegt auf dem NAS, muss jedoch auch aufn NAS entpackt werden

Habe leider nicht genug Speicher um es auf meine PCs zu transferieren, da ich da nur SSDs habe

 

[HisN]

2. Platte ins Nas

 

[Knogle]

Die ist ja abgeraucht, also besser ne neue 2te Platte kaufen, um dann von der 1ten Platte auf die 2te zu entpacken?

 

[Penman]

Ich hinterfrage einfach mal nicht, wieso das Archiv so groß ist.

Was du aber mal überprüfen kannst, ist die CPU-Load deines PCs beim Entpacken (wird vielleicht nur ein Kern benutzt und dieser staut?) oder lärmt die Festplatte wie wild im NAS (Fragmentierung oder viele kleine Dateien, die geschrieben werden, können das Problem sein).
Dass du beim Entpacken von dem NAS auf den NAS nur noch theoretisch 500 GBit/s bekommst, sollte dir bewusst sein. Sofern es geht würde ich deshalb dafür sorgen, dass die Datei nicht erst über das Netzwerk transferiert werden muss sondern direkt auf dem NAS entpackt wird (außer dein NAS ist ein Raspberry Pi o.Ä. da könnte das eventuell deutlich länger dauern; würde aber auch nicht schaden, wenn du auf die Daten warten kannst).

 

[Knogle]

Ich hinterfrage einfach mal nicht, wieso das Archiv so groß ist.

Was du aber mal überprüfen kannst, ist die CPU-Load deines PCs beim Entpacken (wird vielleicht nur ein Kern benutzt und dieser staut?) oder lärmt die Festplatte wie wild im NAS (Fragmentierung oder viele kleine Dateien, die geschrieben werden, können das Problem sein).
Dass du beim Entpacken von dem NAS auf den NAS nur noch theoretisch 500 GBit/s bekommst, sollte dir bewusst sein. Sofern es geht würde ich deshalb dafür sorgen, dass die Datei nicht erst über das Netzwerk transferiert werden muss sondern direkt auf dem NAS entpackt wird (außer dein NAS ist ein Raspberry Pi o.Ä. da könnte das eventuell deutlich länger dauern; würde aber auch nicht schaden, wenn du auf die Daten warten kannst).

Problem ist ja
Das ganze Entpacken scheint ja ueber die GBit Leitung zu laufen, weshalb mein Netzwerk immer ausgelastet ist (Wollte das ganze ueber Infiniband machen, aber leider laeuft das iwie nich so)

Ich entpacke das Image auf dem NAS , sendet Daten an PC --> PC sendet Daten wieder an NAS
Ist halt FreeNAS

Die CPU Load meines PCs liegt bei 8%, und beim NAS auf 40% bei 2 Kernen

Ja, es sind extrem viele Dateien, etwa 3,5 Millionen Dateien, die meisten Dateien davon sind nur einige kb gross, oder kleiner
Ja die neue Enterprise Platte die ich drinnen habe ist mega laut

WinRAR zeigt mir noch etwa 200 Stunden an
Also das packen hat nicht solange gedauert


/edit: ist das Image, bzw. Abbild eines Laufwerks in Form eines Archivs

 

[Jimini]

Warum um alles in der Welt erstellst du 1TB fette Archive?
Du kannnst stattdessen doch zumindest das Archiv splitten - wobei ich bei Festplattenbackups ohnehin mit den "rohen" Imagedateien arbeiten würde, da diese einfach viel handlicher sind.

Wenn du dennoch ein so großes Archiv entpacken willst / musst, würde ich das direkt auf dem System machen, auf dem das Archiv auch liegt. Wenn die CPU deines Desktops die Datei entpackt, dauert das schon allein durch den Protokolloverhead bei der Übertragung im LAN tierisch lange.

MfG Jimini

 

[Knogle]

Warum um alles in der Welt erstellst du 1TB fette Archive?
Du kannnst stattdessen doch zumindest das Archiv splitten - wobei ich bei Festplattenbackups ohnehin mit den "rohen" Imagedateien arbeiten würde, da diese einfach viel handlicher sind.

Wenn du dennoch ein so großes Archiv entpacken willst / musst, würde ich das direkt auf dem System machen, auf dem das Archiv auch liegt. Wenn die CPU deines Desktops die Datei entpackt, dauert das schon allein durch den Protokolloverhead bei der Übertragung im LAN tierisch lange.

MfG Jimini

Ist nun fertig entpackt nach etwa 8 Tagen

Kann man Unrar denn auf FreeNAS installieren?