Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

Re(6): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

kombipaket — Thu, 07 Jul 2011 11:50:20 GMT

Ich hab jetzt schon zweimal erlebt, dass innerhalb einer Nacht zwei von drei Platten gleichzeitig an einigen bad blocks verstorben sind.

Unterlasse es bitte _AB_SOFORT_, meinen Paniklevel zu steigern .

Wobei ich zugeben muss, dass mir in den letzten 25 Jahren @home nur 1x Platten eingegangen sind... Im Rahmen einer "Ich bestrafe jetzt den Rechner mit einer Fusstritt-Aktion", während er grad schrieb . Aber auch damals lies sich noch alles Recovern - ausser den Sektoren, wo der Schreiblesekopf es da grad genauer wissen wollte...

Und da schaut man mit einem 5er dann blöd drein. Bei einem 1er muss man nur die paar unlesbaren Dateien aus dem Backup ziehen... .

Beim RAID5 kannst ja noch genauso retten, oder ?

Ergänzend:
Im Zeitalter von SMART erwarte ich nicht größere Ausfälle in sehr kurzen Zeiträumen... Wobei für mich 1 Woche schon drin sein sollte zwischen 2 Ausfällen, bis eine neue Platte da ist... STOP. Lies noch mal oben: Unterlasse es bitte...

Re(5): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

MG — Thu, 07 Jul 2011 11:43:10 GMT

Bei mir auch.
Aaaaber. Aus leidvoller Erfahrung mache ich kein RAID 5 mehr mit Platten des gleichen Fabrikates.

Ich hab jetzt schon zweimal erlebt, dass innerhalb einer Nacht zwei von drei Platten gleichzeitig an einigen bad blocks verstorben sind.

Und da schaut man mit einem 5er dann blöd drein. Bei einem 1er muss man nur die paar unlesbaren Dateien aus dem Backup ziehen... .

Re(4): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Tue, 05 Jul 2011 09:08:28 GMT

danke für dei Info!

werd ich mal probieren.

Ich hab nur irgendwo im Handbuch gelesen dass explizit "SATA, not Hot-Plug able" steht.

Aber is auch scho länger her

Re(3): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

colossus — Tue, 05 Jul 2011 08:49:39 GMT

Ich bin mir nicht 100%ig sicher, aber ich glaube ab ICH5R (und damit auch bei einem ICH7) gibt es bei Intel AHCI-Support fuer den SATA-Controller. Wenn du den bei deinem Board im CMOS-Setup/BIOS aktivieren kannst (Update auf das neueste ROM-Image schadet dabei bestimmt auch nicht), dann kriegst du Hotplug-Support gratis dazu.

Re(4): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Tue, 05 Jul 2011 06:29:19 GMT

so, hab das gestern nacht noch ausprobiert; ich habe eine platte weg genommen und bin dan hochgefahren:

cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : inactive sdc1[2](S) sdd1[4](S) sdb1[1](S)
      5860540584 blocks super 1.2

##############

mdadm --detail /dev/md0
mdadm: md device /dev/md0 does not appear to be active.

#########

dmesg | grep md
[    0.676232] ata1: PATA max UDMA/100 cmd 0x1f0 ctl 0x3f6 bmdma 0xffa0 irq 14
[    0.676234] ata2: PATA max UDMA/100 cmd 0x170 ctl 0x376 bmdma 0xffa8 irq 15
[    0.677636] ata3: SATA max UDMA/133 cmd 0xd080 ctl 0xd000 bmdma 0xc800 irq 19
[    0.677639] ata4: SATA max UDMA/133 cmd 0xcc00 ctl 0xc880 bmdma 0xc808 irq 19
[    1.165743] md: bind
[    1.172787] md: bind
[    1.178140] md: bind
[    1.618687] md: linear personality registered for level -1
[    1.620755] md: multipath personality registered for level -4
[    1.622584] md: raid0 personality registered for level 0
[    1.625351] md: raid1 personality registered for level 1
[    2.864100] md: raid6 personality registered for level 6
[    2.864102] md: raid5 personality registered for level 5
[    2.864103] md: raid4 personality registered for level 4
[    2.869872] md: raid10 personality registered for level 10

Es war die platte /dev/sde

ich habe die platte dann von md0 entfernt danach das raid neu gestartet und siehe da, alle daten waren da!  also es funktioniert!

als ich die platte wieder darngehängt und ins raid geaddet habe, hat sich der rebbuild wieder gestartet. dauerte aber nciht so lange; die geschwinfdigkeit lag bei ca 113 M/s.

danke nochmals!

Re(4): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Tue, 05 Jul 2011 06:29:19 GMT

Re(9): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

A national Acrobat — Mon, 04 Jul 2011 17:59:33 GMT

Naja. Eher technisches Forum, "hardwaresusi" scheint auch know-how zu haben
und liest auch manpages, ... - hast recht, ist ein Mann .

JAAA ich hab halt auch ned am Nickname geschaut

Bleibt die Frage, ob Astroman auch ein Fake ist

Für Graz hoffe ich es

Re(8): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

kombipaket — Mon, 04 Jul 2011 17:06:12 GMT

Mhh jaaa ok Internet-Foren = Männlich

Naja. Eher technisches Forum, "hardwaresusi" scheint auch know-how zu haben und liest auch manpages, ... - hast recht, ist ein Mann .

Re(8): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

kombipaket — Mon, 04 Jul 2011 17:06:12 GMT

Mhh jaaa ok Internet-Foren = Männlich

Naja. Eher technisches Forum, "hardwaresusi" scheint auch know-how zu haben und liest auch manpages, ... - hast recht, ist ein Mann .

Bleibt die Frage, ob Astroman auch ein Fake ist

Re(7): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

A national Acrobat — Mon, 04 Jul 2011 17:02:36 GMT

Er ? Der Susi ? Du bist schon zu lange im GHF

Mhh jaaa ok Internet-Foren = Männlich

Bzgl. des Raids glaube ich übrigens:
http://forum.geizhals.at/t758893,6494065.html#6494065

Ja des ist natürlich richtig, mich hätte echt gewundert wenn das Raid im Betrieb so stirbt bei 1 Platte.

Re(6): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

kombipaket — Mon, 04 Jul 2011 16:00:16 GMT

Er ? Der Susi ? Du bist schon zu lange im GHF

Re(6): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

kombipaket — Mon, 04 Jul 2011 16:00:16 GMT

Er ? Der Susi ? Du bist schon zu lange im GHF

Bzgl. des Raids glaube ich übrigens:
http://forum.geizhals.at/t758893,6494065.html#6494065

Re(3): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

kombipaket — Mon, 04 Jul 2011 15:59:40 GMT

is aber nicht weiter schlimm wenn ich mal runterfahren muss, da es kein extrem wichtiger server ist.

Das passt!

Normalerweise werden degraded Raids nicht hochgenommen - das ist ein Sicherheitsfeature. Wenn im Raid-Betrieb eines stirbt, fahren sie aber weiter. Man kann ein md "zwingen", auch degraded hochzufahren... Keine Sorge für die Produktion, dieser Test war nur nicht valide.

Du brauchst dann ein

mdadm -Af /dev/md. /dev/sd....

statt

mdadm -A /dev/md. /dev/sd....

3.7 GB/s

Da hast aber den Cache gemessen... Hast es nach invalidieren der Buffer (
sync; echo 3 > /proc/sys/vm/drop_caches ) ausprobiert ?

Re(3): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

kombipaket — Mon, 04 Jul 2011 15:59:40 GMT

is aber nicht weiter schlimm wenn ich mal runterfahren muss, da es kein extrem wichtiger server ist.

3.7 GB/s

Da hast aber den Cache gemessen... Hast es nach invalidieren der Buffer (
sync; echo 3 > /proc/sys/vm/drop_caches ) ausprobiert ?

Re(5): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

A national Acrobat — Mon, 04 Jul 2011 14:57:02 GMT

Also alle Platten, die mir in Betrieb eingegangen sind, waren automatisch als
Faulty markiert....

Wäre ja jetzt auch nur ein Test gewesen in welchem Zustand dann das Raid ist, weil er ja meint das wenn 1 Platte von 4(?) weg ist das das R5 nimmer geht.

Re(2): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 14:41:13 GMT

1) danke für die info

2) bei dem mainboard unterstützt der sata controller leider kein hot-plug:
http://geizhals.at/a453923.html

is aber nicht weiter schlimm wenn ich mal runterfahren muss, da es kein extrem wichtiger server ist.

3) fand ich auch. zuerst war die performance wirklich im keller (4K platten); da hatte ich so 20-30 MB/sec writeperformance. das damalige rebuild hat auch um einiges länger gedauert.

Aber nach richtigem alignment passts nun. bin mehr als zufrieden.

4) kann ich nachliefern

Re(2): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 14:41:13 GMT

1) danke für die info

2) bei dem mainboard unterstützt der sata controller leider kein hot-plug:
http://geizhals.at/a453923.html

is aber nicht weiter schlimm wenn ich mal runterfahren muss, da es kein extrem wichtiger server ist.

ich habe deshalb den rechner runtergefahren, eine platte abgestöpselt, wieder hochgefahren. und ab da hatte ich keinen zugriff mehr auf mein raid.

3) fand ich auch. zuerst war die performance wirklich im keller (4K platten); da hatte ich so 20-30 MB/sec writeperformance. das damalige rebuild hat auch um einiges länger gedauert.

Aber nach richtigem alignment passts nun. bin mehr als zufrieden.

4) kann ich nachliefern

Re(2): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 14:41:13 GMT

1) danke für die info

2) bei dem mainboard unterstützt der sata controller leider kein hot-plug:
http://geizhals.at/a453923.html

is aber nicht weiter schlimm wenn ich mal runterfahren muss, da es kein extrem wichtiger server ist.

ich habe deshalb den rechner runtergefahren, eine platte abgestöpselt, wieder hochgefahren. und ab da hatte ich keinen zugriff mehr auf mein raid.

3) fand ich auch. zuerst war die performance wirklich im keller (4K platten); da hatte ich so 20-30 MB/sec writeperformance. das damalige rebuild hat auch um einiges länger gedauert.

Aber nach richtigem alignment passts nun. bin mehr als zufrieden.

Schreib Performance:
1048576000 bytes (1.0 GB) copied, 8.98506 s, 117 MB/s

Lese Performance:
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 0.281854 s, 3.7 GB/s

is auch flux fertig

4) kann ich nachliefern

Re: Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

kombipaket — Mon, 04 Jul 2011 14:19:17 GMT

1.) Wenn Du ein Raid audbaust, brauchst es nicht syncen (wenn keine Daten drauf sind). Das spart Zeit beim Testen. Einfach neu anlegen und mkfs...

2.) Wie genau hast "die Platte abgestöpselt" ? Ein Controller sollte Hotplugfähig sein, wenn Du das tust.

3.) Coole Geschwindigkeit der Platten... 100MB/sec beim Reconstruct ? Cool.

4.) Es wäre spannend, was "dmesg" sagt, wenn Du grad auf das Array nicht zugreifen kannst... Könntest Du das liefern ?

Re(5): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 14:16:07 GMT

ah gut zu wissen.

vielen dank!

wie gesagt. ich werd das ncohmals testen sobald ich physisch vor der macshine sitze.

vielen dank!

Re(4): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

kombipaket — Mon, 04 Jul 2011 14:13:02 GMT

Also alle Platten, die mir in Betrieb eingegangen sind, waren automatisch als Faulty markiert....

Re(5): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

A national Acrobat — Mon, 04 Jul 2011 12:44:17 GMT

Ok na das passt ja jetzt mal.

Na dann kannst mal probieren ob Du 1 Platte als fault markierst => raid sollte online bleiben mit dem Vermerk "Clean, Degraded".

Re(4): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 12:38:54 GMT

soda rebuild is fertig und mdstat sagt folgendes:

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md0 : active raid5 sdc1[1] sdb1[0] sde1[4] sdd1[2]
5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]

unused devices:

Re(5): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

A national Acrobat — Mon, 04 Jul 2011 12:20:26 GMT

So ist es am saubersten. Du sagst damit das eine Platte als fehlerhaft markiert ist, entfernt sie und bindest ne neue ein.

Sollte auch ohne gehn, aber ich habs sicherheitshalber immer gemacht.

Re(4): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 11:57:32 GMT

also das würde heißen, dass wenn ich die festplatte nur so abstöpsle, das raid sich stoppt. und erst wenn ich die festplatte als fault markiere ich normal auf da raid 5 zugreifen kann?

sorry; ich durschaus noch nicht so ganz.

Re(4): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 11:57:32 GMT

Re(5): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

A national Acrobat — Mon, 04 Jul 2011 10:56:51 GMT

Ok na momentan resyncts ja das würd ich einfach mal durchlaufen lassen.

Re(3): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

A national Acrobat — Mon, 04 Jul 2011 10:56:08 GMT

ich weiß nr nicht ob ich dem vertauen kann. was ist wenn die festplatte einen
hardwaredefekt hat? kann ich sie dann imme noch mit madm als faulty markieren?
oder nicht, weil das gerät gar nciht mehr erkannt wird.

Ja genauso funktioniert das System. Du markst eine als fault und entfernst sie (hardwaremässig)

Re(2): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 09:57:43 GMT

hmmm....moment:

also bei einem meiner vorherigen versuche hab cih die platte vorab mal aus dem raid genommen (mit mdadm als faulty oder so markiert). als ich dann die platte abgesteckt habe lief das raid 5 mit 3 platten und ich konnte zugreifen.

ich weiß nr nicht ob ich dem vertauen kann. was ist wenn die festplatte einen hardwaredefekt hat? kann ich sie dann imme noch mit madm als faulty markieren? oder nicht, weil das gerät gar nciht mehr erkannt wird.

aber is auf jeden fall eine heiße spur, danke

Re(4): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 09:50:21 GMT

/cat/proc/mdstat

Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md0 : active raid5 sdc1[1] sdb1[0] sde1[4] sdd1[2]
5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]
[=============>.......] resync = 68.1% (1331641600/1953512960) finish=119.4min speed=86770K/sec

darauf hab ich im moment ein fs mit ext4.

Re(3): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

A national Acrobat — Mon, 04 Jul 2011 09:21:15 GMT

Kannst mir mal bitte den Output von "cat /proc/mdstat" posten ?

Wegen dem Rebuild kann ich Dir noch http://forum.geizhals.at/t757899.html ans Herz legen, falls Du diese Tips noch nicht berücksichtigt hast.

Was hastn "oben" auf dem MD Device ? LVM2 oder direkt FS ?

Re(2): Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 09:19:17 GMT

danke!

kann ich euch später sagen wenn der rebuild fertig ist.

ich verwende Ubuntu 11.04.

Ich habe das Raid schon sicher 10 mal neu erstellt. Auch mit grafischem Tool.

Es funktioniert sweit alles. NUr habe ihc wie gesagt keinen zugriff, sobald eine PLatte weggenommen wird.

Ich werd euch die Infos nachliefern.

Re: Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

A national Acrobat — Mon, 04 Jul 2011 09:16:17 GMT

Hi.

Wie hat das RAID ausgesehen wenn eine Platte "defekt" war ?

Normalerweise geht der Vorgang so:

- Sys meldet /dev/sdX ist defekt.
- root markiert Platte als defekt (mdadm --fail /dev/mdN /dev/sdX) => Raid geht in Zustand "Clean, Degraded".
- root tauscht Platte aus, formattiert auf Linux Raid Autodetect => Raid geht in Zustand "Clean, Degraded, 1 Spare Drive".
- root added Platte wieder zum Raid, Resync geht los (siehe dazu den super Beitrag von Kombipaket!!!)

In jedem Zustand lässt sich das Raid bedienen (selbst schon leidvoll mehrfach getestet ). Eine fehlerhafte Platte ist kein Disasterfall für das Raid5.

ich weiß, dass ein echtes Hardware-Raid um Ecken besser ist als ein Software
Raid.

Nein nicht wirklich. Bei HW Raids könntest beim Fail von 2 platten im schlechtesten Fall (Seriennummer der HD in der ODS) garnix mehr machen. Beim SW kannst eine der Platten kopieren und wieder hinzufügen => voila. (auch selbst getestet).

Re: Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

dadaniel — Mon, 04 Jul 2011 09:12:35 GMT

was für eine Fehlermeldung gibt er aus wenn die eine Platte fehlt?

Re: Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

frostschutz — Mon, 04 Jul 2011 09:12:04 GMT

Was hat /proc/mdstat denn angezeigt als die Platte abgesteckt war?

Theoretisch sollte da aus dem [UUUU] ein U durch _ ersetzt werden, also z.B. [UU_U].

Zugreifbar sollte es dennoch sein...

Software Raid 5. 1 Platte raus; Raid funktioniert icht mehr

hardwaresusi — Mon, 04 Jul 2011 08:38:30 GMT

Hallo,

ich weiß, dass ein echtes Hardware-Raid um Ecken besser ist als ein Software Raid.

Trotzdem hab ich ein Software Raid aufgesetzt und habe ein Problem damit und hoffe jemand kann mir weiterhelfen:

Ich habe 4 Stk 2 TB Festplatten. Auf jeder habe ich eine Partition gemacht mit Filesystem Type "Linux Raid autodetect".

Ich habe dann mit madm das Raid erstellt.

Das Raid funktioniert soweit sehr gut. Bevor ich aber Daten raufspiele wollte ich den Ernstafll testen und habe eine Festplatte abgesteckt.

Siehe da, das Raid ist für mich nicht mehr ansprechbar.

Wenn ich die Platte wieder anhänge, wird ein Rebuild gestartet und ich kann wieder ganz normal darauf zugreifen.

/dev/md0:
        Version : 1.2
  Creation Time : Sat Jul  2 11:05:43 2011
     Raid Level : raid5
     Array Size : 5860538880 (5589.05 GiB 6001.19 GB)
  Used Dev Size : 1953512960 (1863.02 GiB 2000.40 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Mon Jul  4 10:19:15 2011
          State : clean, resyncing
Active Devices : 4
Working Devices : 4
Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

Rebuild Status : 43% complete

           Name : rechnername:0  (local to host rechnername)
           UUID : 3c67f2a1:217bdd5f:bb967a52:c37e1572
         Events : 44

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       4       8       65        3      active sync   /dev/sde1

##################################################################
cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md0 : active raid5 sdc1[1] sdb1[0] sde1[4] sdd1[2]
      5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]
      [=========>...........]  resync = 47.8% (934638248/1953512960) finish=185.5min speed=91524K/sec

#################################################################

meine madm.conf sieht folgendermaßen aus:

# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default, scan all partitions (/proc/partitions) for MD superblocks.
# alternatively, specify devices to scan, using wildcards if desired.
DEVICE /dev/sd[bcde]1

# auto-create devices with Debian standard permissions
#CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system
#HOMEHOST

# instruct the monitoring daemon where to send mail alerts
MAILADDR root

# definitions of existing MD arrays

ARRAY /dev/md0 UUID=3c67f2a1:217bdd5f:bb967a52:c37e1572 devices=/dev/sdb1,/dev/sdc1,/dev/sdd1,/dev/sde1

# This file was auto-generated on Mon, 30 May 2011 20:26:18 +0200

############################################################################

Was mache ich falsch? Oder wie kann ich auf mein Raid zugreifen wenn eine Platte defekt ist/rausgenommen wird?

Vielen Dank schon mal für euer Hilfe!