MD-RAID mit "löchrigen" Disks

Re(8): MD-RAID mit "löchrigen" Disks

Glockman — Mon, 31 Jul 2023 15:26:38 GMT

Dass beim Rebuild noch eine zweite Platte die Grätsche macht [...]

Dann hätte das lustige ddrescue-Spiel mit dieser Platte erneut begonnen. Hab eh ein bisschen gezittert, aber ging ja nochmal gut.

Was ich aber sicher mache: die drei restlichen Platten ebenfalls auf frische kopieren, rein präventiv. Nicht, weil ich kein Vertrauen zum RAID hab, sondern weil alle gleich alt und daher potentiell gefährdet sind und ich nicht jedes Mal so um die 30 Stunden warten will, bis das Rebuild durch ist.

Backup wäre zwar eines da gewesen, aber wie das halt so ist, nicht brandaktuell. Bandsicherungen von den eher wichtigen Daten mach ich traditionell quasi nur als "Jahresbackup" kurz nach Neujahr...

Re(7): MD-RAID mit "löchrigen" Disks

someonelikeme — Mon, 31 Jul 2023 13:10:21 GMT

nur die erste gerettete Platte reinzuhängen und das Rebuild zu starten hat
tadellos funktioniert.

Congrats. Dass beim Rebuild noch eine zweite Platte die Grätsche macht ist normalerweise die Art Katastrophe, bei der man nach dem letzten Backup sucht. Welches dann natürlich deutlich älter ist, als man sich wünschen würde - wenns überhaupt eins gibt.

Zwar jammert die Übersicht, dass ein paar Linux-Standardverzeichnisse der 45
GB Partition fehlen

Dass es nur die kleine Partition trifft, wäre auch meine Vermutung gewesen, weil das Rebuild schon so früh ausgestiegen ist und ich sie "vorne" erwartet habe. Aber da ich nicht wusste, wie genau Dein RAID organisiert ist, wollte ich da nicht vorzeitig Hoffnung wecken. Schön, dass es so glimpflich ausgegangen ist.

Re(6): MD-RAID mit "löchrigen" Disks

Glockman — Sun, 30 Jul 2023 22:43:44 GMT

Falls es Dich interessiert: nur die erste gerettete Platte reinzuhängen und das Rebuild zu starten hat tadellos funktioniert.

Zwar jammert die Übersicht, dass ein paar Linux-Standardverzeichnisse der 45 GB Partition fehlen, aber nachdem ich die eh für nix gebraucht hab, das NAS läuft und das mehr oder weniger eh nur ein optischer Mangel ist ist das völlig egal.

Danke nochmal für die Hilfe.

Re(5): MD-RAID mit "löchrigen" Disks

someonelikeme — Fri, 28 Jul 2023 17:20:44 GMT

Weil theoretisch sollte beim Booten das Volume ja dann wieder gemounted werden
können und eigentlich nicht im degraded mode laufen.

Ja. Aber halt auch mit den 2,8 GB an fehlerhaften Daten. Das wird das RAID nicht mal merken, weil Parity im Normalbetrieb nur geschrieben wird, aber nicht gelesen. OK, etwa 1/5 von den 2,8GB wird statistisch gesehen Parity sein, so dass Du mit ca. 2.24 GB irreparablem Datenmüll rechnen kannst. Wieviel das am Ende brutto auf dem Dateisystem ist, wird davon abhängen, welche Blöcke das sind. Rein theoretisch könntest Du auch da noch ohne Dateisystemfehler davon kommen, wenn wirklich alle diese Blöcke unused waren, aber realistisch gesehen ist von nur ein bis wenigen geschrotteten Dateien bis zu großen Teilen der Verzeichnisstruktur alles möglich.

Wenn Du dagegen nur die Platte wieder mit einhängst, die Du bis auf 8KB recovern konntest, im degraded mode startest und recovern läßt, sind anschließend nur die 8 KB im Eimer. Und damit auf dem Dateisystem hoffentlich am Ende so gut wie gar nichts. Aber das setzt natürlich voraus, dass Dir dabei nicht noch eine Platte einen Fehler wirft.

Re(4): MD-RAID mit "löchrigen" Disks

Glockman — Fri, 28 Jul 2023 16:55:43 GMT

Fürs RAID: Ja.

Womit wir wieder bei der urspünglichen Frage wären: wenn ich die Disk, die momentan noch beim recovern ist, dann auch noch wieder reinhänge und dann erst mit dem Rebuild starte, kann mdadm dann aus allen verfügbaren Disks/Daten die auf zwei Disks fehlenden Blöcke wiederherstellen?

Weil theoretisch sollte beim Booten das Volume ja dann wieder gemounted werden können und eigentlich nicht im degraded mode laufen.

Re(3): MD-RAID mit "löchrigen" Disks

someonelikeme — Fri, 28 Jul 2023 14:25:15 GMT

fehlt da jetzt nicht genau an der Stelle jetzt erst wieder was, das für das
Rebuild schon Mal relevant gewesen wäre?

Fürs RAID: Ja. Das geht beim Recover restlos alle Blöcke durch. Ob die Stelle fürs Dateisystem relevant ist, kann der RAID-Layer ja nicht wissen, der stellt nur das Blockdevice bereit. (Da hatte ich in der ersten Antwort einen kleinen Denkfehler - Paritydaten sind natürlich nur im Normalbetrieb verzichtbat. Um aus dem Degraded Mode zu recovern, werden sie selbstverständlich gebraucht.)

Bzgl. Filesystem: das ist ein EXT4

Wenns neu genug ist, hats Prüfsummen über alles relevante. Das Feature ist an sich schon gut zehn Jahre alt. Stellt sich halt die Frage, wie alt der Code in Deinem NAS war, als das Dateisystem angelegt wurde.

https://www.kernel.org/doc/Documentation/filesystems/ext4/checksums.rst

Re(2): MD-RAID mit "löchrigen" Disks

Glockman — Fri, 28 Jul 2023 13:18:05 GMT

Danke für die Antwort.

Wenn, dann häng nur die Platte wo nur 8K fehlen, wieder ins Set [...]

Das war eigentlich auch mein erster Impuls, aber da beim ersten Versuch des Rebuilds bereits abgebrochen wurde - fehlt da jetzt nicht genau an der Stelle jetzt erst wieder was, das für das Rebuild schon Mal relevant gewesen wäre?

Bzgl. Filesystem: das ist ein EXT4, und das gesamte Volume war bis auf ca. 45 GB (welche vom NAS selbst für die Default-Verzeichnisse Public, home und Web reserviert wurden) eine iSCSI-LUN für einen Fileserver.

Re: MD-RAID mit "löchrigen" Disks

someonelikeme — Fri, 28 Jul 2023 12:26:52 GMT

und siehe da, so wurden 99,99% herübergerettet (das entspricht 8 KB Verlust
bei einer Gesamtgröße von 6 TB).

OK, damit kann man notfalls arbeiten. Da sind gerade zwei Blöcke futsch.

Angespornt von diesem Ergebnis und dem Satz

Der bezieht sich auf das Erweitern eines bestehenden Arrays. Und direkt davor steht übrigens trotzdem "BACK UP. BACK UP !! BACK UP !!!! "

und hoffe, dass mdadm so schlau ist, die paar K auf der einen und die großen
Lücken der anderen Disk aus den verbliebenen Disks wiederherstellen kann -
vorausgesetzt, dass auf den drei bis jetzt unauffälligen Disks und den jeweils
geretteten Disks die Infos drauf sind, um die Lücken aufzufüllen und das RAID
wieder online bringen zu können.

Das Problem ist, dass eine auf solche Weise "gerettete" Platte die Daten der noch fehlenden Blöcke trotzdem ohne Fehlermeldung liefert. Wie soll das System nun auf die Idee kommen, dass da einer der Blöcke aus dem Stripe noch feherhaft ist, um ihn über Parity zu recovern?

Wenn, dann häng nur die Platte wo nur 8K fehlen, wieder ins Set, mach damit einen Rebuild auf eine neue und hoffe, dass diese beiden Blöcke nicht wichtig (idealerweise nicht belegt oder nur Parity) waren. Wenn das Dateisystem selber noch Prüfsummen über seine Daten hat, wird es sogar in der Lage sein, bei einem kompletten Filesystemcheck zu erkennen, wo was nicht stimmt.

Re(4): MD-RAID mit "löchrigen" Disks

Glockman — Fri, 28 Jul 2023 11:20:06 GMT

Kontakt zum Hersteller steht noch aus - aber da läuft ohnehin nur ein Linux auf dem NAS, auch QNAP kocht nur mit Wasser, und damit kommt man mit SSH und Shell-Access schon mal selbst sehr weit (und es interessiert mich einfach ).

Re(3): MD-RAID mit "löchrigen" Disks

Paulas_Papa — Fri, 28 Jul 2023 11:01:28 GMT

Sorry - verstanden!

Du hoffst, dass er das RAID mit den beiderseitig "teilbehobenen Fehlern wieder konsistent kriegt. Das ist spannend.

Hersteller hast schon angefunkt?

Re(2): MD-RAID mit "löchrigen" Disks

Glockman — Fri, 28 Jul 2023 10:55:21 GMT

Da hast Du was falsch verstanden.

Die Quelldisks sind mehr oder weniger eh schon "wurscht" - ich hab von beiden >99% auf frischen Disks.

Es geht hier darum, ob mdadm dann aus solchen Disks ein Array vollständig wiederherstellen kann oder nicht. Falls nicht ist das Array eh schon hin, dann kann ich mir ohnehin jegliche weiteren Versuche sparen.

Re: MD-RAID mit "löchrigen" Disks

Paulas_Papa — Fri, 28 Jul 2023 10:48:32 GMT

Die Theorie sagt, dass du mit solchen Versuchen die Disken endgültig zerstörst.

Wenn du kein Backup hast und die Daten wichtig sind, lass Profis ran. Wird aber sehr teuer.

Wenn du ein Backup hast, mach ein Restore und hau die Disken weg.

MD-RAID mit "löchrigen" Disks

Glockman — Fri, 28 Jul 2023 10:43:44 GMT

Mahlzeit liebe Tuxe,

mir ist in meinem NAS in einem RAID 5 (5x 6 TB) eine Disk eingegangen. Soweit so egal, neue Disk eingebaut, NAS macht Resync.

Währenddessen, bei grad mal 0,4% Fortschritt, meldet sich aber eine zweite Disk mit Lesefehlern zu Wort, Resync stockt, und irgendwann meint das NAS dann, dass auch diese Disk im Eck ist.

Da bis zum Ausfall der ersten Disk keinerlei Probleme aufgetreten sind hat mir ein Arbeitskollege dann geraten, die zweite Disk mal mit ddrescue auf eine neue Disk zu kopieren, und siehe da, so wurden 99,99% herübergerettet (das entspricht 8 KB Verlust bei einer Gesamtgröße von 6 TB).

Angespornt von diesem Ergebnis und dem Satz "You should not lose data - mdadm is designed to fail safe, and even when things go completely pear-shaped, the array should still assemble and run, letting you recover if the worst comes to the worst" im Wiki von kernel.org hab ich dann beschlossen, auch die Disk, die als erstes ausgefallen ist, mit ddrescue zu kopieren.

Status heute: Disk eins wurde zu 99,95% gerettet, aber es sind noch knapp 2,8 GB, die sich bis jetzt partout weigern, auf die neue Disk zu wandern.
Ich bin im fünften Durchlauf von ddrescue (forwards), und die verbleibende Zeit liegt irgendwo zwischen "Keine Ahnung" und "90 Tagen", je nachdem, ob es grad massenweise Lesefehler gibt oder mit ein paar B/s doch noch was von der Disk gekratzt wird.

So, und jetzt stellt sich mir die Frage, ob ich hier noch X Tage warten soll, ob nicht vielleicht doch noch ein paar MB gerettet werden können, oder ob ich es einfach bleiben lasse und die kopierte Disk mit diesen knapp 2,8 GB an Fehldaten wieder ins NAS stecke und hoffe, dass mdadm so schlau ist, die paar K auf der einen und die großen Lücken der anderen Disk aus den verbliebenen Disks wiederherstellen kann - vorausgesetzt, dass auf den drei bis jetzt unauffälligen Disks und den jeweils geretteten Disks die Infos drauf sind, um die Lücken aufzufüllen und das RAID wieder online bringen zu können.

Hat hier jemand Erfahrung mit MD-RAIDs und Disks, auf denen zwar der Großteil der Daten vorhanden ist, aber eben nicht alles?