Gibt es kein Raid, das Bitstürze erkennt?

Gibt es kein Raid, das Bitstürze erkennt? (23 Beiträge, 665 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Ich habe gelegentlich korrupte Dateien.

Problem 1:

Dies merke ich oft zu spät, sodaß auch das Backup bereits beschädigt ist.

Somit suche ich eine automatisierte Lösung, die

- mehrere Festplatten abgleicht (mindestens 3), idealerweise ohne Paritätsbitberechnung
- BEI FEHLERN DIE MEHRHEIT DER PLATTEN ENTSCHEIDEN LÄSST
- das Bit auf der fehlerhaften Platte korrigiert
- wie bei S.M.A.R.T. die Durchführung der Korrektur auf der fehlerhaften Platte hinterlegt
- bei zu vielen Fehlern zum Austauschen der Platte auffordert.

Soweit ich mich informiert habe, gibt es diese Lösung nicht.

Raid 1 arbeitet nur mit zwei Platten und kann somit nur Lesefehler ausgleichen, aber bei Unstimmigkeiten der Bits ist es ratlos und gibt bestenfalls eine Fehlermeldung aus. Was ja schon einmal besser als nichts wäre.

Alle anderen Raid Levels arbeiten nur mit Paritätsbits und werden dadurch zwar schneller im Dateizugriff, worauf ich pfeife, machen aber andererseits keinen multiplen Abgleich der Daten und können somit Bitstürze genauso wenig korrigieren.

Was brauche ich?

a) Entweder eine Raid-Lösung, die eben aufgrund der obigen Vorgaben Bitstürze findet und korrigiert
b) Wenn es das nicht gibt, eine Software-Lösung, die beschädigte Videodateien wieder so weit korrigiert, dass sie wieder abspielbar sind (wie beim digitalen Bändern, da gehen ja auch höchstens einige Frames verloren).

Ich glaube, dass dieses Thema eigentlich nicht nur mich trifft, sondern eigentlich alle und warte auf eine rege, konstruktive Beteiligung.

31.10.2016, 07:52 Uhr - Editiert von Michael, alte Version: hier

Alle anderen Raid Levels arbeiten nur mit Paritätsbits und werden dadurch zwar schneller im Dateizugriff, worauf ich pfeife, machen aber andererseits keinen
multiplen Abgleich der Daten und können somit Bitstürze genauso wenig
korrigieren.

It is possible to calculate different kinds of checksums. Some methods of calculating checksums allow finding a mistake. Most RAID levels that use redundancy can do this.

https://simple.wikipedia.org/wiki/RAID#Error_correction_and_faults

RAID Level 5 is what is probably used most of the time. At least three hard disks are needed to build a RAID 5 storage array. Each block of data will be stored in three different places. Two of these places will store the block as it is, the third will store a checksum. This checksum is a special case of a Reed-Solomon code that only uses bitwise addition. Usually, it is calculated using the XOR method. Since this method is symmetric, one lost data block can be rebuilt from the other data block and the checksum.

https://simple.wikipedia.org/wiki/RAID#RAID_5_.22striping_with_distributed_parity.22

31.10.2016, 08:56 Uhr - Editiert von hellbringer, alte Version: hier

at b)
Schau dir mal ICE-ECC an, wenn hiermit von allen deinen Dateien etwa 5% Reed-Solomon codes berechnest, kannst damit nachher deine Dateien reparieren, sofern weniger als 5% beschädigt ist.

http://www.ice-graphics.com/ICEECC/IndexE.html

Es gäbe alternativ auch eine Software Quickpar, die im Prinzip das selbe macht.
http://www.quickpar.org.uk/

In Winrar ist ebenfalls eine solche Funktion enthalten, Nachteil ist, man müsste dann alle Dateien in ein RAR-Archiv stecken.

at a)
Wenn der Rechner durch läuft, könntest ihn täglich nachts RAID überprüfen lassen.
siehe: http://www.thomas-krenn.com/de/wiki/Mdadm_checkarray

edit:
es gibt eine Weiterentwicklung von Quickpar, Multipar:
http://multipar.eu/

God_Save_the_South hosted by 666kb.com

31.10.2016, 17:13 Uhr - Editiert von HITCHER, alte Version: hier

ZFS sollte das können denke ich
https://de.wikipedia.org/wiki/ZFS_(Dateisystem )#Automatische_Datenfehlerkorrektur

Btrfs denke ich auch...

Suchbild, wo ist der Kanarienvogel *gg*

Es gab ja schon genug Science-Fiction Filme in denen orakelt wurde, dass sich die Technik eines Tages gegen den Menschen richten wird. Dass dies allerdings in der barbarischen Form von Klingeltönen passieren wird, hat niemand vorher gesehen...

31.10.2016, 10:25 Uhr - Editiert von Bart Simpson, alte Version: hier

Tut es ... Regelmäßiges "scrubben" rechnet die zfs-eigenen Prüfsummen jedes Blocks nach und korrigiert sie bei z-raid mit einer korrekten Kopie.
LVM und Raid-Funktion sind in ZFS ausserdem direkt gelöst, nicht auf einer extra Ebene. Die Nomenklatur ist auch eine andere und erfordert eine gewisse Umstellung im Denken, Stichwort Volumes und Pools.

Ich habe gelegentlich korrupte Dateien.

Ich glaube, dass dieses Thema eigentlich nicht nur mich trifft, sondern eigentlich alle

Da glaubst du mMn. falsch.

Drum gibts auch keine RAID-Variante die Dateifehler dieser Art korrigiert - weil das nicht normal oder gängig ist, dass sowas passiert. Das ist ein Problem deines Computers, das du finden und beheben musst.

Wenn es das nicht gibt, eine Software-Lösung, die beschädigte Videodateien
wieder so weit korrigiert, dass sie wieder abspielbar sind

Das macht eigentlich jeder Player beim abspielen. Er "spielt sich drüber" wenn es geringe Fehler in der Datei gibt. Manche Player mehr, manche weniger. Früher in der Steinzeit war der VLC Player berühmt dafür, besonders Fehlerresistent zu sein. Gilt aber eigentlich schon seit 10 Jahren nimmer.
--
I saw two shooting stars last night, I wished on them, But they were only satellites, It's wrong to wish on space hardware, I wish, I wish, I wish you'd care.

Wenn es das nicht gibt, eine Software-Lösung, die beschädigte Videodateien
wieder so weit korrigiert, dass sie wieder abspielbar sind (wie beim digitalen
Bändern, da gehen ja auch höchstens einige Frames verloren).

falls du mit "digitalen Bändern" miniDV u.ä. meinst: die haben den netten Vorteil, daß eben jeder Frame genau eine Schrägspur = 1 Block fixer Länge (fix quantisiert oder mit Padding) ist, der Anfang des nächsten Frames also genau bekannt ist. Bei VBR-Codierung mit wenig "sync-Daten" stolpert der Codec eben weiter, bis er wieder was verarbeitungsfähiges findet.

Geht es dir also um deine Videosammlung zum Ansehen oder um Rohmaterial zum Schneiden?

Wie schon oben wer gepostet hat: Formate, die Daten um soundsoviel % aufblasen (um Reed-Solomon-Codes oder vergleichbares) gibt es,mit entsprechend berechenbarer Korrekturkapazität, aber ein Filesystem, das sowas transparent macht, ist mir noch nicht untergekommen, obwohl es mit FUSE eine interessante Anwendung wäre (gibt es (mit Einschränkung auf Lesen) ja auch für .tar und .zip).

(Der Trend geht aber in Richtung transparenter Kompression am _potenten_ NAS/Fileserver (was bei hoher Rate trotz RAID netto tatsächlich weniger sein kann), nur: die hilft bei Multimedia genau nix.)

Aber vielleicht hilft dir das ja, falls ein ZFS-basiertes NAS (wie FreeNAS/TrueOS oder Fileserver mit aktueller Debian+ZFS) dir nicht in's Konzept paßt: https://en.wikipedia.org/wiki/Parchive

Dies merke ich oft zu spät, sodaß auch das Backup bereits beschädigt ist.

Hebst du bei deinem Backup nicht ältere Versionen eine Weile auf?

Leute rümpfen ja gerne die Nase über Backups auf optischen Medien weil die verfaulen würden... aber das schöne an denen ist, einmal geschrieben, überschreibt man sie nicht mehr, und sie überleben Blitzschlag, solange die Bude davon nicht abbrennt.

bei Unstimmigkeiten der Bits ist es ratlos

Unstimmigkeiten bei Bits gibt es eigentlich nicht. Dafür sorgen die Festplatten selber, die für jeden Sektor eine Prüfsumme haben. Und beim Umstieg auf 4K Sektoren ist dieses System nochmal verbessert worden. Wenn da ein Bit kippt dann werden nicht falsche Daten zurückgeliefert sondern Lesefehler.

Die Frage ist also, wo kommt deine Korruption eigentlich her? Wenn dein RAM futsch ist oder eine Software einen Bug hat und schon kaputte Dateien schreibt, dann hilft dir keine Storage und kein Dateisystem der Welt, die ZFS/BTRFS werden dann eben Prüfsummen von den kaputten Daten führen.

Mal davon abgesehen, daß sich ein echter Bitfehler, z.B. in einem JPEG Bild, ohne weiteres korrigieren ließe. Ein einzelnes geflipptes Bit könnte man problemlos wieder zurück-flippen. Aber so sieht die Datenkorruption halt eben in der Praxis niemals aus, da liegt der Hase woanders im Pfeffer.

Der häufigste Fehler bei RAID ist daß die Festplattenüberwachung fehlt. Lesefehler können über Jahre unentdeckt bleiben, und bis das RAID dann anfängt eine Platte rauszuwerfen, ist es schon zu spät. Regelmäßige Lesetests machen und bei Fehlern (Reallocated/Pending/Uncorrectable Sectors in SMART usw.) auch in den sauren Apfel beissen und den Müll austauschen.

RAID kann zwar keine Bitfehler korrigieren, aber RAID kann abgleichen ob die Spiegelung / die Parität zu den Daten passt. Unter Linux mdadm ist das RAID check und danach schauen ob `cat /sys/block/md42/md/mismatch_cnt` gleich 0 ist. RAID kann das zwar dann nicht korrigieren aber du weißt dann wenigstens schon mal, daß eine der Platten aus der Reihe tanzt und könntest dann entsprechende Schritte ergreifen (bei RAID 1, das RAID trennen, beide Seiten einzeln mounten und Dateien vergleichen).

Vielen Dank, du hast mir (indirekt) die Antwort geliefert. Wenn die Platte eine Prüfsumme errechnet und somit bei Fehlern einen Lesefehler liefert, dann ist Raid 1 genau DIE perfekte Lösung, die ich brauche.

Hey, und so nebenbei: 3 GB und mehr an Videodaten kann ich nicht jährlich auf Scheiben archivieren

vielleicht die wichtigsten Lebensereignisse, aber das war's schon.

Danke jedenfalls!

Was brauche ich?

Ein OS mit einem modernen Dateisystem. Interessant finde ich zB OpenZFS in TrueOS (FreeBSD-Basis), das verhindert die bei dir sich ergebende Problematik grundsätzlich weil jeder Block mit einer Prüfsumme versehen ist und bei Prüfsummenfehlern automatisch korrigiert wird.

Danke für die Antwort. Meine Frage jedoch noch:

Und wie wird korrigiert? Eine Prüfsumme sagt ja nur aus, dass etwas falsch ist.

Im Übrigen behauptet Ihr Vorposter, dass alle Dateisysteme Prüfsummen bilden und gegebenenfalls einen Zugriffsfehler melden.

Bilden nun alle Dateisysteme Prüfsummen?

Und je nachdem, wie die Antwort ausfällt, würde ich gerne wissen, wie ich das bezüglich automatischer Datenkorrektur und Fehlermeldung anwenden kann.

01.11.2016, 20:30 Uhr - Editiert von Michael, alte Version: hier

Im Übrigen behauptet Ihr Vorposter, dass alle Dateisysteme Prüfsummen bilden
und gegebenenfalls einen Zugriffsfehler melden.

Bilden nun alle Dateisysteme Prüfsummen?

meinem Kenntnisstand nur ZFS bzw. BtrFs macht diesem ja alles nach. Das hängt nicht zuletzt damit zusammen, daß eben Prüfsummen/Parity/ECC bei klassischem RAID ausserhalb/unterhalb des Filesystems passiert, während die beiden genannten RAID und LVM funktional integrieren, und deshalb direkt Zugriff auf diese Fehlerebene haben.

siehe auch http://www.zfsbuild.com/2010/05/26/zfs-raid-levels/ bzw. https://en.wikipedia.org/wiki/ZFS und http://www.freenas.org/zfs/

-> Wenn die Prüfsumme nicht stimmt, braucht es natürlich eine Spiegelkopie (eben ein gespiegeltes Volume oder sonstiges RAIDZ). Es wird wahrscheinlich (müsst man sich tiefer ins Verhalten einlesen) mehrmals versucht, zu lesen um einen Hardwarefehler (HDD-eigene Caches zB, die können natürlich auch mit einer MTBF von wasweissichwieviel 1000 h mal kippen) auszugleichen, bzw. nachdem iSCSI oder Spiegelung von Volumes über LAN zw. mehreren NAS auch oft Thema ist, wenn ZFS zum Einsatz kommt: könnte natürlich auch ein Netzwerkfehler gewesen sein.

Das funktioniert in den neuen Filesystemen entweder über eine zweite, fehlerfreie Kopie der Datei, oder prinzipiell gleich wie bei RAID-5, -6, also über Reed-Solomon Codes.
Reed-Solomon Codes sind nicht nur einfache Prüfsummen, sonden haben Redundanz mit einberechnet, dh. so viel Information über die Daten, dass man Fehler bis zu einer bestimmten Größe nicht nur erkennen, sondern auch korrigieren kann. Bei RAID-5 ist so viel Redundanz vorhanden, dass eine ganze Festplatte aus dem RAID heraus nehmen kannst, und trotzdem alle Daten wiederherstellbar sind.
Probier mal das von mir og. Programm "Multipar" aus, vielleicht verstehst die Funktionsweise dann besser.

God_Save_the_South hosted by 666kb.com

02.11.2016, 08:16 Uhr - Editiert von HITCHER, alte Version: hier

Reed-Solomon Codes sind nicht nur einfache Prüfsummen, sonden haben Redundanz
mit einberechnet, dh. so viel Information über die Daten, dass man Fehler bis
zu einer bestimmten Größe nicht nur erkennen, sondern auch korrigieren kann.

die Erklärung erzeugt eventuell eine falsche Vorstellung .... Reed-Solomon bzw. Gruppencodes (von denen RS halt ein bestimmter Spezialfall sind, optimiert seinerzeit auf Fehlerbündel, wie sie bei Funkstörungen oder Kratzern auf CDs passieren)

Diese Codes basieren darauf, daß der "Störabstand" der übertragenen/gespeicherten Daten vergrößert wird, indem die Daten sozusagen "hochmultipliziert" werden (mit einem mathematischen Term, die Daten werden dabei aufgeblasen, um wieviel bzw. um welche Fehlertoleranz ist über den gewählten Term steuerbar) und beim "runterdividieren" quasi der Divisionsrest überprüft wird - ist der 0, sind die Daten OK, ansonsten gibt es eine gewisse Korrekturkapazität, bis zu der man den "Rest" ignoriert, aber die Daten passen. Wird die Korrekturkapazität überschritten, wird das aber nicht unbegrenzt erkannt (es kann für jedes Verfahren/Term eine Korrektur- und Erkennungskapazität angegeben werden) - darüber hinaus braucht es dann Prüfsummen auf anderer Ebene der Speicherung/Übertragung.

RS verteilt die Daten obendrein noch einmal, indem die Übertragung/Speicherung sozusagen spaltenweise statt zeilenweise stattfindet - dadurch äußert sich ein Kratzer nicht in einer "Zeile" / am Stück, sondern kann über die Korrekturkapazität des gesamten Blocks (2048/2384 Bytes netto bei der CD, brutto 40% mehr) gleichmässig verteilt.

Ein einfacher fehlerkorrigierender Code adressiert einzelne Bitfehler über systematische Parity-Bits, ist aber ineffizient und kann natürlich auch selbst (unbemerkt) gestört sein - insofern nur theoretische Bedeutung.

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung