Unraid Alleskönner Server und weiteres

[chris-gz]

Hallo zusammen,

heute mal eine andere Anforderung wie Gaming oder Arbeitsrechner. Bei mir stehen aktuell viele Projekte in der Planung. Motorradführerschein... dafür werde ich den Server wohl nicht brauchen , Jobwechsel und Nebentatigkeit (alles in der IT), wofür er sich natürlich als nützlich erweisen kann, und wenn es nur ist, um Dokus etc. über verschiedene Tools abzulegen. Dazu kommt, dass wir gerade in die Planung unseres Hauses gehen. Hier wird es spannend, den was ich automatisieren kann, werde ich auch automatisieren. Gerade hier plane ich schon vorraus und suche die Ideale Lösung für einen stabilen Homeserver. So viel wie möglich, sollte am besten über den Server gesteuert werden können. So fern zeitlich möglich, werde ich alles in einem Blog zusammenfassen (Hausbau auch, aber da wird es hier wenig Interessenten geben), wenn ihr das wollt und eure Ideen zum Besten geben möchtet.

So viel zum Vorwort, kommen wir mal zu den Anforderungen . Bitte nicht böse sein, dass ich hier ausfühlicher über alle Vorhaben schreibe. Muss auch nicht alles umsetzbar sein.

1. Was soll der Server alles übernehmen.
   
   - Das typische NAS Speicherung von Filmen, Dokumenten, Musik und allem was man so speichern kann. Backups erstellen, sichern und Verwalten.
   - Webserver zum Testen von Websites, Nutzung einiger Webtools die ich gerne mit euch auswähle wie z.B. einer Dokumentenverwaltung.
   - OpenVPN Server über eine kleine LinuxVM, Docker wenn möglich etc., möchte nicht unbedinght noch einen Raspi usw. laufen lassen, wenn alles an einer Stelle passieren kann. Dadurch und durch weitere Kniffe, möchte ich auch von unterwegs auf meine Umgebung und Daten zugreifen, als wäre ich eben daheim.
   - VM's Linux und Windows. Eher zum testen, da ich am liebsten alles mögliche über Docker abwicklen möchte, auch wenn ich mit Docker noch nicht wirklich gearbeitet habe.
   - Haussteuerung Wenn möglich! Alles was ich am Server erledigen kann, bedarf schon keiner extra Software und Geräte. Alles was ich also den Server übernehmen lassen kann, und sei es nur ein Monitoring dazu, freut mich. Dazu kommen 2 oder 3 Außenkameras, die hier auf den Server schreiben sollen. Wenn möglich automatisiert Zeitgesteuert und die Löschung der Aufnahmen, oder das Überschreiben, soll ebenfalls automatisch passieren.
   - Medienserver in Form von Kodi oder Plex. Transcoding ist nicht wichtig. Ich habe eigentlich keine Geräte, die das benötigen.
   - Mounts bereitstellen, für Linuxreceiver (als Aufnahmepfad z.b.) und Macbook, sowie eben Datenshares für Winddows, Linux etc.
   
   Letztendlich ein Datangrab und Helferlein im Alltag, der mich bei meinen IT Tätigkleiten, egal ob es um Dokumentation, kleinere Tests, oder sonst irgendwie unterstützt, der mein Intranet steuert und überwacht, meldet wenn was nicht stimmt und wenn möglich sogar in der Haussteuerung mitspielen kann.
   
   
2. Software und OS.
   
   Die meisten Anforderungen die ich habe, lassen sich wohl mit Unraid erfüllen. Ein NAS der von den beiden Großen SYN und QNAP, können viel, sind teuer und können eben nicht alles. Wie gesagt, möchte ich später den Aufwand an Gerätewartung so gering wie möglich halten. Deswegen alles in einem Server was geht und sinnvoll ist.
   
   
3. Wie soll auf den Server zugegriffen werden.
   
   So weit es möglich ist Headless. Auch hier kann Unraid ja einiges. Auch die VMs über einen Browser streamen.
   
   
4. Wird es ein Eigenbau?
   
   Joa ich schätze schon, wenn nicht jemand mit ner unfassbar guten Fertigidee kommt.
   
   
5. Platzansprüche.
   
   Erst mal nicht so wichtig, ein kleines Raid mit effektieven 3-4 TB Platz am Ende, sollte erst mal reichen. Eweiterbar ist eher das, was zählt.
   
   
6. Welche Platten?
   
   HDD's so lange etwas anderes nicht unfassbar sinnvoller wird. Hier ist es immer noch so, dass ich es privat nutze und nicht jeden Tag 100te an GB's über die Leitung jage. Ich denke mit SSD Cachemöglichkeiten, sind alle Andforderungen erfüllt. Auch 10er Netzwerk muss nur dann sein, wenn preislich vertretbar.
   
   
7. Ausfallsicherheit - Performance - Sicherheit - Stromverbrauch
   
   Sagen wir so. Ich brauche keine USV, aber wer weis, wie ich in 5 Jahren darüber denke. Performant soll es notürlich sein. Ich möchte, wenn eine VM zum Einsatz kommt, dass diese auch ordentlich läuft. Sicherheit in Form von Raid ja. Backup der wichtigsten Daten soll dann noch mal extern gelagert werden. Ein kleines Billignas vielleicht, dumm wie 100 Meter Feldweg reicht aus. Gut wäre, wenn der Server dieses am Ende Zeitgeplant starten und stoppen kann, um wiederum Strom zu sparen. Und hier sind wir bei einem wichtigen Punkt. Das System soll sehr wenig Strom verbrauchen. Klar gemessen an der Leistung, die es bringen muss. Platten die nicht genutzt werden, sollen sich im Standby befidnen. VM's werden nicht dauerhaft laufen.
   
   
8. Optik und Geräuschkulisse
   
   Es wird kein 100TB System, so viele Daten erzeuge ich einfach nicht. Das meiste sind Bilder, Filme und Dokumente. Die VM's werden nie sehr groß sein. Letztendlich reicht dann auch ein kleiner Cube. Alles aber unter dem Aspekt, so unhörbar zu sein wie möglich, im Ausgleich zu einer notwendig guten Kühlung.
   
   
9. Budget
   
   1000€ und wenn es mehr wird, auch ok. Wenn es weniger wird, auch ok xD. Es soll aufrüstbar sein, dann kann man auch kleiner anfangen.
   
   
10. Hardware
    
    Jetzt seid ihr gefragt. Ich werde sicher auch noch Vorschläge bringen. Wichtig ist einfach, dass wenn es Unraid oder sonst was wird, Soft und Hardware harmonisieren.

Ich bedanke mich schon einmal für eure Vorschläge, egal ob zu Hard oder Software. Da ich vorerst mit Familie noch in unserer Wohnung sind, den Server aber jetzt schon möchte, fällt Haussteuerung zwar erst mal raus... auch Cams... aber für die Zukunft im neuen Heim, möchte ich eben schon gewappnet sein. Freu mich auf euer Feedback.

Liebe Grüße Chris

 

[chris-gz]

Hat sich erledigt... System ist bestellt

 

[chris-gz]

Wer das ganze noch mal genauer wissen möchte, hier eine kurze Zusammenfassung:

Anforderungen waren:

Server mit:
1 bis 2 VM's (für Tests und Software wie BlueIris Camsteuerung und weitere Hausautomatisierungssoftware)
Webserver alla Apache
Pi Hole Werbeblocker
Open VPN
NAS Funktionalität (Datengrab uvm.)
Alexa Steuerung (Alexa starte VM xyz)

Das ganze sollte stromsparend sein, so das Platten zum einen wenig laufen und das System Stromressourcensparend läuft.

Umgesetzt wird alles mit dem sozusagend "Hypervisor" UNRAID.

Also Hardware kommt folegendes zu Einsatz:

2 * Toshiba Enterprise Capacity MG06ACA 8TB, 512e, SATA 6Gb/s (MG06ACA800E) 313,62 €
2 * Western Digital WD Blue SN550 NVMe SSD 500GB, M.2 (WDS500G2B0C) 112 €
1 * Intel Core i3-9100, 4C/4T, 3.60-4.20GHz, boxed (BX80684I39100) 106 €
2 * Kingston Server Premier DIMM 16GB, DDR4-2400, CL17-17-17, ECC (KSM24ED8/16ME) 150 €
1 * Gigabyte C246M-WU4 204€
1 * Pure Base 600 (Bis ich ins Haus ziehe, dann wird umgebaut in was Rackfähiges) 67,90 €
1 * 400 Watt be quiet! Pure Power 11 CM Modular 80+ Gold 62 €

+ Lizenz für UNRAID (Basic 6 Platten im Array) 60 Dollar
+ USB Stick für OS

Als Backup kommt eine USB Platte an den Server (Extern sozusagend) um die wichtigsten Daten dort hin zu sichern.

Somit erhalte ich ein NAS mit 8 TB Datenplatz (Andere Platte ist Raid und zudem Paritätsplatte). Die beiden NVMe dienen als Cache. Die Daten werden alle auf den Cache geschrieben und per Mover, einmal oder so oft man will, auf die Datenplatte weiter geschrieben. Alles was geht, wird als Docker direkt auf dem Cache betrieben. Somit sind die Datenplatten, die meiste Zeit des Tages im Standby. Das spart Strom im 24/7 Betrieb und zwar ne Menge. Für die VM wird eine extra SSD angehängt, die sich nicht im Hauptarray befindet, falls diese durchgehend laufen muss. Die CAM's schreiben auf eine RAM Disk. Von hier aus, wird alle 2-4 Stunden (Datenmenge erst mal beobachten) der Speicher auf die Platte geleert. Dies schont wiederum die SSD's.

Falls ihr so was vor habt... einfach mal anschreiben. Ist ne tolle Sache. Geht natürlich günstiger und kleiner, aber auch größer. Bin in letzter Zeit nur nicht so oft hier, also sry schon mal, falls Antworten etwas dauern dann.


Gruß Chris

 

[Mahoy]

Somit sind die Datenplatten, die meiste Zeit des Tages im Standby. Das spart Strom im 24/7 Betrieb und zwar ne Menge.

Ohne dir die Freude rauben zu wollen: Die Differenz zwischen Leerlauf und Standby beträgt pro Datenplatte lediglich 2,7 Watt, also insgesamt 5,4 Watt. Diese Differenz wäre selbst unter Idealbedingungen zu vernachlässigen, im konkreten Fall geht sie komplett im Wirkungsgrad des Netzteils unter.

Ferner ist zu beachten, dass die Platten keineswegs die ganze Zeit im Standby bleiben, nur weil sie gerade nicht beschrieben werden. Sowohl ihre eigene Firmware als auch das OS weckt sie dann und wann für diverse Operationen auf.

Die CAM's schreiben auf eine RAM Disk. Von hier aus, wird alle 2-4 Stunden (Datenmenge erst mal beobachten) der Speicher auf die Platte geleert. Dies schont wiederum die SSD's.

Für die Lebensdauer der SSDs ist es komplett unerheblich, ob sie linear oder alle paar Stunden mit einer bestimmten Datenmenge beschrieben werden; entscheidend ist die Datenmenge selbst. Sofern Aufzeichnungen nicht bereits in der RAM-Disk verworfen, also gar nicht auf SSD geschrieben werden, ist dieser Schritt als überflüssig - und möglicherweise sogar kontraproduktiv, denn bei Aufzeichnungen von Sicherheitskameras geht es ja gerade darum, dass sie schnellstmöglich auf Festspeicher landen und auch nach etwaigen System- oder Stromausfällen (insbesondere vorsätzlich herbeigeführten) verfügbar sind.

Was mich interessieren würde:
1.) Bilden die SSDs ein eigenes Array mit Ausfallsicherheit? Falls nicht, wäre das Konzept an dieser Stelle lückenhaft, da zwischen dem Schreiben auf die SSDs und dem Verschieben auf die HDDs keine Ausfallsicherheit bestünde.
2.) Ist keine Datensicherung vorgesehen oder lediglich nicht erwähnt?

Das sind die möglichen Knackpunkte, die mir spontan aufgefallen sind.
Ansonsten ein interessantes Projekt. Mir gefällt besonders dein Vorhaben der Haussteuerung. Ich trage mich selbst schon länger mit dem Gedanken, konnte mich aber noch nicht durchringen, das Ganze anzugehen.

 

[chris-gz]

Zu Punkt 1.
In der kleinen Konfiguration mit 2 Platten ist das korrekt. So wird es weder bei mir bleiben, noch unbedingt bei anderen und ab ner gewissen Menge an Platten würde ich sagen, lohnt sich das auf alle Fälle. Soll auch Leute geben, die nen Raspi immer wenn er nicht gebraucht wird, runterfahren um Strom zu sparen hehe.

Von die ganze Zeit war ja auch keine Rede, sondern von der meisten Zeit des Tages.

Die Aufnahmen der Cams würde ich am liebsten nur in der RAM Disk haben. Was ich damit sagen wollte, ist das ich diese nicht auf den Cache SSDs will. Zudem nein... ich möchte die Aufnahmen nicht lange speichern. Wozu auch, ich weis ja wie es in meinem Garten aussieht . Solange ich nicht in den Urlaub fahre, reichen mir die Aufnahmen vom Vortag noch zu haben. So groß ist leider mein RAM nicht hmpf. Es sei denn ich arbeite mit Bewegungsmeldern, dann wirds einfacher.

Ja die beiden SSDs sorgen für Ausfallsicherheit.

Als Backup kommt eine USB Platte an den Server (Extern sozusagend) um die wichtigsten Daten dort hin zu sichern.

Das ist mein Backup + eine 3 TB WD RED, die in meinem Receiver ist. Bisschen RSYNC halt. Extern ist mir too much. Wenn mir später mal die Bude mit Garage abfackelt, sollte es wohl so sein. Aber ich denke es kommt dann noch ein billig NAS dumm wie 100 Meter Feldweg her .

Ja das mit der Haussteuerung kommt natürlich auf die verwendete Hardware an. Mir fallen auch noch nicht alle Dinge ein, die umgesetzt werden können, denke ich ^^. Im Kopf habe ich, Heizungssteuerung (Temps), Licht, Garage, Strom, Rolladen und so weiter. Kommt erben später auf die Schnittstellen, oder die Herstellersoftware, der eingesetzten Hardware an. Das ganze ist zumindest mal ein Plan.

 

[chris-gz]

Hi zusammen,

ich würde jetzt schon am liebsten ein Feedback geben, nur leider sind nicht alle Komponenten da. Amazon und Jakob haben es noch am gleichen Tag geschafft "kostenlos" zu versenden, während es Mindfactory wie so oft, nicht ein mal geschafft hat, ein Lieferdatum zu nennen. Trotz meiner Meinung nach hoher Versandkosten bei 580€ Bestellwert. Werde da weder noch mal bestellen, noch hier jemanden mit MF einen Warenkorb zusammenstellen. In 3 Werktagen sollte man einen kostenpflichtigen Versand schon hin bekommen. Alles was sie geschafft haben ist, dass nun der RAM nicht mehr als lieferbar angezeigt wird und somit auch heute kein Versand statt finden wird. Finde ich in der heutigen Zeit beschämend, aber ok. Warte ich eben noch ne Woche.

Sobald ich endlich mal testen kann, berichte ich aber über das Projekt.

 

[chris-gz]

Hallo zusammen,

so nun ist es so weit und ich kann noch kurz ein Feedback da lassen. Meinen Server habe ich zusammengebaut und was soll ich sagen. Unraid... ich bin echt begeistert. Es ist wirklich die All in One Lösung, die ich mir vorgestellt habe.

Die verwendete Hardware, habe ich oben ja bereits geschrieben (Bis auf das der Cache nun 2 Gigabyte NVMe's mit deutlich höherer Lebensdauer wurde). Kurz noch was zur Software:

OS: Unraid 6.8.3 stable

Ich bin begeistert von der einfachen Handhabung von Unraid und den unbegrenzten Möglichkeiten. Von Dockern, über VM's und einfachen Fileshare aufgaben. Einfach mega. Aufgrund der Art wie Unraid seine Parität berechnet und der Tatsache, eine Datei nicht über mehrere Platten zu verteilen, wird für mich auch eine USV hinfällig. Die Nachteile einer USV sind da deutlich größer.

Die Geschwindigkeit (ohne Cache) ist recht mager, reizt in einem 1Gbit Netzwerk aber die Möglichkeiten fast voll aus. Im Privatbereich, wo man jetzt nicht jeden Tag 100te GB Daten erzeugt, merkt man so oder so keine Geschwindigkeitsabhängigkeiten.

Die Art über die Community Apps mit Plugins, VM's und vor allem Dockern umzugehen, ist ungeschlagen. Einfacher geht es nicht. Auch wenn ich einen Rechner Virtualisieren möchte. Beispiel: Ihr wollt euren Rechner in eine VM verwandeln. Dazu müsst ihr lediglich die Platte des Rechners als unassigned Device in eurem Unraid Server integrieren, erstellt eine neue VM mit passendem OS und weist dieser VM hart die Festplatte zu. Treiber installieren, fertig!

Auch das problemlose Mixen von unterschiedlichsten Platten ist in Unraid ohne weiteres möglich. Nur die Paritätsplatte muss dabei die größte im Array sein. Auch das bringt mir viele Vorteile, da ich noch 4 * 4TB WD Red bei mir rum liegen hatte.

Ich versuche hauptsächlich mit Dockern zu arbeiten und diese lege ich auf den Cache. Damit sind meine HDD's fast dauerhaft im Standby. Daten werden übrigens per Mover einmal in der Nacht vom Cache auf die HDD's geschrieben. Hier nimmt man die Docker natürlich raus ^^ indem man die Systemordner ausschließlich auf dem Cache verankert.

Was ebenfalls noch als Nachtrag zu erwähnen ist, ist die unfassbar gute Oberfläche von Unraid. Dagegen finde ich, kackt auch das hoch gelobte DSM ab.

So... welche Docker und Plugins nutze ich:

Typ	Name	Bezeichnung
Docker	Heimdall	Verknüpfungssammlung zu allen möglichen Webservices und co.
Docker	Pi Hole	DNS Werbeblocker.
Docker	WikiJS	Wiki zu Dokumentationszwecken.
Docker	Open VPN	VPN Sever.
Docker	OwnCloud	Eigentlich nur damit ich für Enpass WebDaV habe. Noch nix besseres gefunden.

Typ	Name	Bezeichnung
Plugin	Unassigned Devices	Diskshare für Speicherplatten, die nicht im Array-Pool enthalten sind. Z.B. USB Laufwerke.
Plugin	Community Applications	Fügt Unraid den Punkt Apps hinzu (unfassbar gut ^^).
Plugin	Dynamic SSD Trim	Führt nach Zeitplan TRIM auf den SSDs aus.
Plugin	Fix Common Problems	Analysiert alle Einstellungen in Unraid und weist auf Fehler hin.
Plugin	Theme Engine	Ermöglicht die Auswahl einiger Themes in Unraid.
Plugin	User Scripts	Einfaches Ausführen von Skripten inklusive Zeit Planung.

Eigentlich wollte ich noch einen Webserver installieren. Momentan kein Bedarf, da ich in den Dockern alles gefunden habe, was ich benötige.

Was ich noch einrichten werde ist Paperless (muss mich noch einlesen wie ich wo die Files ablege, damit die Platten nicht dauernd anspringen), BlueIris (voll gut das es das jetzt sogar als Docker da gibt) für die Camsteuerung und wenn es dann so weit ist, muss ich mich noch für die passende Heimautomatisierung entscheiden. Hier gibts auch massig zu spielen.

Fazit:
Ich habe bereits vieles genutzt... Synology, Xpenology Selbstbau, FreeNAS, QNAP usw. und ich war wirklich von nichts so begeistert, wie von Unraid. Die deutsche Community im Forum, ist sehr hilfsbereit und auch verfügbar. Für mich waren die knapp 1000€ Investition, die besten die ich je in einen Server oder ein NAS getätigt habe.

EDIT: Es sollte noch erwähnt werden, dass Unraid sicher kein solch potentes System benötigt. Bei mir ist es wegen VM und Heimautomatisierung einfach schon mal so potent ausgelegt. Aber Unraif läuft echt auf fast jedem noch so schwachen Kübel.

Gruß Chris

 

[shadie]

Mosche, mangels 2. funktionierendem Arm (Arm beim Radeln gebrochen) ? kurz und knapp.

Schönes Projekt bei mir läuft seit mehr als 4 Jahren Unraid und mit dem System in meiner Signatur habe ich im Leerlauf trotz HBA grad mal 20W Verbrauch ☺️?

Noch par Empfehlungen an Apps für dich:

CA Auto Update Applications Automatisches Updaten der Plugins
CA Backup / Restore Appdata Für Backup deiner Docker Container
CA Cleanup Appdata Vollständiges Löschen von Dockern und Plugins
Dynamix Cache Directories musst du mal gucken ob der RAM da ausreicht aber damit wird quasi eine Ordnerübersicht deiner Datenordner erstelllt und im RAM abgelegt. damit startet dann deine HDD echt nur noch wenn du eine Datei öffnest
Fix Common Problems
VM Backup

Bei docker ist crusader und luckybackup noch interessant

VG
Marc