Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

Re(4): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

gunnarh — Tue, 11 Mar 2014 22:10:56 GMT

Gegen die Putzfrau den Serverschrank zusperren.
Wild gelaufene Programme kann man killen, dazu muss man doch hoffentlich nicht den Reset-Knopf drücken?
STONITH-Device? => Das heißt das Teil ist in einem Cluster-Verbund? Ist Datenkorruption dann überhaupt ein Thema, lässt sich das nicht mit dem anderen Cluster-Node abfedern?

Re(5): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

Sysiphus1981 — Mon, 10 Mar 2014 12:14:48 GMT

wenn ich das richtig verstanden habe brauchst du 1GB/s ca für die 10Gbit/s Nic, ja wo is das Problem, PCIe SSD oder m.2, selbst eine normale SataSSD kommt auf 500MB/s

Re(5): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

Sysiphus1981 — Mon, 10 Mar 2014 12:14:48 GMT

wenn ich das richtig verstanden habe brauchst du 1GB/s ca für die 10Gbit/s Nic, ja wo is das Problem, PCIe SSD oder m.2

Re(4): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

Sym — Sun, 09 Mar 2014 22:39:06 GMT

Switch, NIC und Kabel für 10GBit/s um 400 Euro?
Um 300 Euro bekommst gerade mal eine Netzwerkkarte. Ein Switch mit mehreren 10GBase Ports zur Verbindung der Server, sowie einen 1Gbase Switch mit 10Gbase Uplinks wirst du wohl brauchen. Sind nicht so billig, wenn du dann was Brauchbares möchtest. Daher verwenden viele lieber Port-Trunks (z.B. 4x 1GBase) als Alternative zu 10GBase, da 1GBase managed Switches ziemlich günstig sind.

Die Gleichzeitigkeit einer Schulklasse mag ja stimmen. Aber nicht jeder versucht gleichzeitig unkomprimierte Videodaten auf die Platte zu schreiben, denke ich. Text, Office usw.. ist ja (ausreichend RAM in den Rechnern vorausgesetzt) keine besondere Anforderung.

Re(3): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

MG — Sun, 09 Mar 2014 21:46:18 GMT

Sehe ich genauso. Wenn man allerdings (wie oben erwähnt) das Netz nun bereits
auf 10 GBit/s umgebaut hat, sind die paar Hunderter mehr für einen RAID
Controller mit BBU wohl eher eine Kleinigkeit.

So schlimm sind die Kosten nicht.
Switch, NIC und SFP direkt Kabel kommen in Summe auf ca. 400€ Und schon ist der 10GBit Backbone fertig. Zwar kommt jeder einzelne Client noch immer nur auf eine 1GBit Anbindung, aber -wenns die Festplatte mitspielt- das mehrere gleichzeitig. Und das ist bei diskless Clients schon sehr schön. Im Moment ist eben die Plattenbandbreite der limitierende Faktor.

Ich möchte möglichst billig dahin kommen, ca 20PCs ohne lokales Laufwerk betreiben zu können, ohne dass die Benutzer etwas davon spüren, dass ihre Platten nicht lokal sind.

Wobei leider ein hoher Gleichzeitigkeitsfaktor da ist. D.h. alle 20 User (eine Schulklasse) starten ihre Systeme gleichzeitig und tun mehr oder weniger alle gleichzeitig das Selbe.

Re(3): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

MG — Sun, 09 Mar 2014 21:46:18 GMT

Sehe ich genauso. Wenn man allerdings (wie oben erwähnt) das Netz nun bereits
auf 10 GBit/s umgebaut hat, sind die paar Hunderter mehr für einen RAID
Controller mit BBU wohl eher eine Kleinigkeit.

Re(3): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

CWsoft — Sun, 09 Mar 2014 21:11:20 GMT

Ich sttimme dir zu 100% zu.

Re(2): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

Sym — Sun, 09 Mar 2014 20:48:39 GMT

Sehe ich genauso. Wenn man allerdings (wie oben erwähnt) das Netz nun bereits auf 10 GBit/s umgebaut hat, sind die paar Hunderter mehr für einen RAID Controller mit BBU wohl eher eine Kleinigkeit.
Ach ja, die BBU sollte man auch alle paar Jahre mal tauschen um die Funktion aufrecht zu erhalten.

Re: Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

CWsoft — Sun, 09 Mar 2014 20:20:04 GMT

Da hilft nur, das Cache auf Write Through einzustellen. Die Gefahr wäre mir (mit jahrzehntelanger RAID-Erfahrungen mit verschiedensten Systemen viel zu groß.

Re(7): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

to_markus — Sun, 09 Mar 2014 20:17:30 GMT

Ist aber jetzt beides weit flotter als GB Lan, dass im Idealfall irgendwo knapp über 100MB/s landet?

Re(8): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

MG — Sun, 09 Mar 2014 18:59:47 GMT

Mag durchaus die Ursache sein. Allerdings wird ein IO Vorgang immer Single Threaded sein. Wobwei micgh aber dann sehr verwundert, dass HD-Raids mit MD-Raid sehr wohl beschleunigt sind, SSD Raids aber nicht.

Re(7): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

frostschutz — Sun, 09 Mar 2014 18:54:03 GMT

Wenn das ein Single-Thread-Benchmark ist, dann ist kein Wunder, wenn mdadm bei RAID 1 schlecht abschneidet.

Re(2): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

MG — Sun, 09 Mar 2014 18:51:18 GMT

Bist du dir aber sicher, dass die RAID Karte write back ohne BBU unterstützt?

Oh, danke, das hätte ich jetzt fast übersehen. Die von mir ins Auge gefasste Karte hat gar keinen Cache... .

Re: Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

nerve — Sun, 09 Mar 2014 18:36:08 GMT

Generell, wenn du damit Leben kannst, dass die Daten im Cache verloren gehen können, ist es egal.
Wenn die Datenbank MySQL und MYISAM ist, wird es vermutlich auch nicht die Probleme geben.
(DB Backups würde ich aber auf jeden Fall machen)
Bei Oracle würde ich es nicht tun.
Bist du dir aber sicher, dass die RAID Karte write back ohne BBU unterstützt?
Manche Karten weigern sich nämlich.

Re(3): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

MG — Sun, 09 Mar 2014 18:13:55 GMT

USV ist nicht das Thema. Und Spannungsprobleme sind auch der seltenste Grund, wieso dieser Server ausfallen wird.

Das sind in folgender Reihenfolge:

Die Putzfrau.
Wild gelaufene Programme in Entwicklung, die Deadlocks erzeugen.
Das STONITH Device.

Re(2): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

gunnarh — Sun, 09 Mar 2014 18:02:31 GMT

Ist der Server/PC an eine USV angeschlossen?
Wenn nein, willst nicht um das Geld dem Gerät eine USV spendieren?

Re(4): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

MG — Sun, 09 Mar 2014 17:40:05 GMT

Mir reicht eben die Geschwindigkeit einer SSD nicht aus. Das ist das Thema.

Re(6): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

MG — Sun, 09 Mar 2014 17:32:46 GMT

Hast Glück. Hier mal zwei Bildschirmphotos vom Leistungsunterschied zwischen einem MD-Raid und einem LSI-Raid. Zwar Raid 1 und nur lesend aber gleiche Platten, gleiche CPU und gleiches Board.

MDRAID:

LSIRAID:

Schreibend kann ich leider nicht liefern (nicht zerstörungsfrei) und auf das MD-Raid 5 System habe ich im Moment keinen Zugriff.

Re(5): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

frostschutz — Sun, 09 Mar 2014 17:17:14 GMT

Obwohl ab Kernel 3.7 angeblich TRIM von mdadm unterstützt wird

Bei mir funktioniert es.

Re(4): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

MG — Sun, 09 Mar 2014 17:04:56 GMT

Natürlich meine ich GBit. Ja. Und die Werte hab ich einfach auf meinen Systemen gemessen.

Mit MD-Raid 5 habe ich auf den SSD weniger als die halbe Schreibperformance wie auf einer Einzelplatte.
Mit dem LSI Controller jedoch die doppelte. Und auch beim Lesen macht das Softwareraid nicht mehr mehr als eine einzelne SSD.

Obwohl ab Kernel 3.7 angeblich TRIM von mdadm unterstützt wird, scheint das meiner Erfahrung nach nicht so ganz so gut zu funktionieren.

Re(3): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

frostschutz — Sun, 09 Mar 2014 16:38:39 GMT

SSD Raid

SSDs haben ja ihre eigenen Pufferkondensatoren... manche Modelle jedenfalls. Ich weiß nicht, ob sich da ein Cache noch großartig lohnt.

Da wird der Bus zum Flaschenhals wenn man auf Softwareraid setzt.

Wie du darauf (und auf diese Werte) kommst, ist mir völlig schleierhaft.

10MBit NIC

Du meinst GBit?

Re(3): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

Sysiphus1981 — Sun, 09 Mar 2014 16:24:12 GMT

Wie wäre es mit einer SSD als Schreibcache und die SSD auch buffergestützt (gibts mit Kondensatoren drauf, wird jeder Schreibbefehl noch ausgeführt). Und überhaupt, eine SSD ist nie eine schlecht Idee zum Buffern von einem RAID5, dass auf HDDs basiert.

Re(2): Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

MG — Sun, 09 Mar 2014 15:47:46 GMT

Software Raid hab ich eh auf über 10Maschinen. Und da ist noch nie etwas passiert.

Aber jetzt würd ich gerne ein SSD Raid als Low Cost Storageserver aufbauen. Da wird der Bus zum Flaschenhals wenn man auf Softwareraid setzt. (Max 500MByte pro sec. lesend, 100MByte schreibend vs. >1GByte beide Richtungen im RAID5 auf einem MegaRAID SAS 9271-8i.

Von daher würde ich für meine SOHO Testumgebung, die ich gerade auf 10MBit NIC umgestellt habe gerne auch voll auslasten. Es würde mir da ein MegaRAID SAS 9240-8i vorschweben. Nur weiß ich eben nicht, ob da LSI eine riskanter Cachingstrategie fährt als es mein MD-Raid tut.
Es geht in diesem Fall zwar "nur" um meine Daten, aber die Wahrscheinlichkeit ist groß, dass ich Dinge die sich bei mir bewähren auch bei anderen umsetze.

Wenn jetzt aber die allgemeine Einschätzung wäre, dass so etwas -im Vergleich zum MD-Raid oder auch Win-Raid die durchaus als Stand der Technik gelten- als grob fahrlässig wäre, dann riskiere ich es lieber nicht.

Re: Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

frostschutz — Sun, 09 Mar 2014 14:50:50 GMT

Und 250 oder 600 Euro für den Raidcontroller machen einen Unterschied...

0 oder 250 Euro auch.

Ein RAID-Controller mit Cache und BBU kann ja unter Umständen noch sinnvoll sein (wenn schon dann richtig, aber hallo), aber für alles andere ist Softwareraid (zumindest, unter einem sinnvollen Betriebssystem) doch genauso gut wenn nicht sogar besser.

Ein Backup brauchst du allerdings bei jeder Lösung...

Ich hatte schon mal den Fall daß ein Stromausfall nur eine kleine, eigentlich unwichtige Datei gefressen hat - aber da div. andere Services fest von der Existenz dieser Datei ausgegangen sind, haben die dann daraufhin ihre eigenen Daten dann auch nochmal gefressen... ...da gabs dann eben eine kleine Zeitreise 24 Stunden zurück in die Vergangenheit... shit happens.

Wie gefährlich ist es ein Raid mit Cache ohne Cache Protection zu betreiben

MG — Sun, 09 Mar 2014 09:12:59 GMT

Bitte an Leute mit Praxiserfahrung. Hat sowas bei Euch schon jemals zu einem nicht per fsck zu behebenden Filesystemfehler geführt?

Ich würde nur wenig beschriebene Datenbanken für Webanwendungen, sowie Datenbanken des Mailspools betreiben. (Für die die sich nicht auskennen: Datenbanken sind immer das Hauptrisiko bei Verlust des Schreibcaches). Sonst primär Storage für Homeverzeichnise des Netzes.

Und 250 oder 600 Euro für den Raidcontroller machen einen Unterschied... .