Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

Re(11): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

mjy@geizhals.at — Wed, 11 Jul 2012 06:52:34 GMT

DAS glaube ich ungschaut. Genau drum hätte ich mir Ein RAID1 über 2 SSD
gemacht. Wenn ich glaube, dass die 710er die langlebigsten sind - dann eben
über 2 710er. Pech kann man ja immer haben.

Von der Sinnhatftigkeit eines RAID-1 mit 2 identischen SSDs ohne vorheriges "Abnutzen" einer davon bin ich noch nicht so überzeugt.

Nach deinen bisherigen Berichten würde der IO eh sinken, wenn Munin nicht dauern mehrere Bazillionen von GIFs erzeugen würde, oder .

Der läuft ja nicht auf dem Kübel, dort ist nun munin-node, der ein paar Werte erfasst und per tcp bereitstellt.

Ich würde mal drauf tippen, dass in die
Rechner physisch keine vierte Platte passt...

Das auch, das ist momentan ein node eines 4-in-1-Systems von Supermicro:

http://www.supermicro.nl/Aplus/system/2U/2022/AS-2022TG-HIBQRF.cfm

ext4 ist zum vergessen!

kombipaket — Wed, 11 Jul 2012 05:07:17 GMT

Oder ich mach was falsch...

Ich habe ein ext4 wie folgt angelegt:


mke2fs -O journal_dev /dev/system/backuppc-log 
mkfs.ext4 -b 4096 -E stride=64 -E stripe-width=320 -J device=/dev/system/backuppc-log -O dir_index,extent,large_file,resize_inode,sparse_super,uninit_bg /dev/sata/backuppc

und den Eintrag in der fstab:


/dev/sata/backuppc	/usr/local/BackupPC/daten ext4 noatime,nodiratime 0 2

Gestern um 19:15 habe ich 2 Full Backups nach /usr/local/BackupPC/daten angestossen.
Heute findet sich das in den Logs:


Jul 11 05:31:57 i5 kernel: [124473.914162] general protection fault: 0000 [#1] S
MP 
Jul 11 05:31:57 i5 kernel: [124473.914201] CPU 0 
Jul 11 05:31:57 i5 kernel: [124473.914213] Modules linked in: dvb_usb_dib0700 bu
dget i915 drm_kms_helper drm i2c_algo_bit video ppdev lp cpufreq_userspace cpufr
eq_stats cpufreq_powersave cpufreq_conservative tun binfmt_misc kvm_intel kvm ui
nput fuse nfsd nfs lockd fscache auth_rpcgss nfs_acl sunrpc iptable_mangle xt_tc
pudp ipt_MASQUERADE iptable_nat nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 xt_state
 nf_conntrack iptable_filter ip_tables x_tables cls_u32 sch_sfq sch_htb 8021q ga
rp stp llc ext4 mbcache jbd2 crc16 loop firewire_sbp2 isl6423 stv6110x stv090x d
ib0090 dib7000p dib7000m dib0070 dvb_usb dib8000 dib3000mc rc_core dibx000_commo
n budget_core snd_hda_codec_hdmi saa7146 usbhid hid snd_hda_codec_realtek ttpci_
eeprom snd_hda_intel acpi_cpufreq firewire_ohci ahci snd_hda_codec dvb_core core
temp mperf parport_pc firewire_core crc32c_intel r8169 libahci pata_jmicron snd_
hwdep ghash_clmulni_intel snd_pcm_oss tpm_tis pcspkr processor mii parport psmou
se tpm ehci_hcd snd_mixer_oss usbcore snd_pcm aesni_intel snd_s
Jul 11 05:31:57 i5 kernel: eq_midi cryptd snd_rawmidi aes_x86_64 tpm_bios aes_ge
neric usb_common snd_seq_midi_event snd_seq i2c_i801 snd_timer snd_seq_device me
i(C) microcode evdev serio_raw crc_itu_t snd button soundcore i2c_core snd_page_
alloc thermal_sys xfs dm_mod raid456 async_raid6_recov async_pq raid6_pq async_x
or xor async_memcpy async_tx raid1 md_mod sd_mod crc_t10dif ata_generic ata_piix
 libata scsi_mod [last unloaded: dvb_usb_dib0700]
Jul 11 05:31:57 i5 kernel: [124473.915139] 
Jul 11 05:31:57 i5 kernel: [124473.915139] 
Jul 11 05:31:57 i5 kernel: [124473.915157] Pid: 13858, comm: flush-253:52 Tainte
d: G        WC   3.4.4-grueni-1000Hz-1 #4 MSI MS-7637/H55-GD65 (MS-7637)  
Jul 11 05:31:57 i5 kernel: [124473.915217] RIP: 0010:[<ffffffff810dd6e2>]  [<fff
fffff810dd6e2>] kmem_cache_alloc+0x4f/0xee
Jul 11 05:31:57 i5 kernel: [124473.915275] RSP: 0018:ffff88026998b730  EFLAGS: 00010202
Jul 11 05:31:57 i5 kernel: [124473.915306] RAX: 0000000000000000 RBX: ffffea0007d02640 RCX: 00000000022dddfc
Jul 11 05:31:57 i5 kernel: [124473.915337] RDX: 00000000022dddfb RSI: 0000000000000050 RDI: 000060fd040054c0
Jul 11 05:31:57 i5 kernel: [124473.915366] RBP: ffff8802ecc29e00 R08: ffffe8ffffc054c0 R09: 00000000000152a8
Jul 11 05:31:57 i5 kernel: [124473.915398] R10: fffffffffffffff9 R11: 000000000000002a R12: 020000000000282c
Jul 11 05:31:57 i5 kernel: [124473.915430] R13: 0000000000000050 R14: ffffffffa0467d02 R15: ffff880060bafc70
Jul 11 05:31:57 i5 kernel: [124473.915464] FS:  0000000000000000(0000) GS:ffff8802fbc00000(0000) knlGS:0000000000000000
Jul 11 05:31:57 i5 kernel: [124473.915500] CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
Jul 11 05:31:57 i5 kernel: [124473.915528] CR2: ffffffffff600400 CR3: 00000002dc737000 CR4: 00000000000007f0
Jul 11 05:31:57 i5 kernel: [124473.915561] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Jul 11 05:31:57 i5 kernel: [124473.915593] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400
Jul 11 05:31:57 i5 kernel: [124473.915624] Process flush-253:52 (pid: 13858, threadinfo ffff88026998a000, task ffff880108bc4410)
Jul 11 05:31:57 i5 kernel: [124473.915663] Stack:
Jul 11 05:31:57 i5 kernel: [124473.915675]  ffff880100007000 ffffea0007d02640 ffffea0007d02640 ffff88026998b900
Jul 11 05:31:57 i5 kernel: [124473.915718]  ffff88026998b980 ffff880060bafc70 ffff880060bafc70 ffffffffa0467d02
Jul 11 05:31:57 i5 kernel: [124473.915757]  ffff88026998b7a0 ffff880060bafdb8 0000100000001000 ffff88026998a000
Jul 11 05:31:57 i5 kernel: [124473.915798] Call Trace:
Jul 11 05:31:57 i5 kernel: [124473.915845]  [<ffffffffa0467d02>] ? ext4_bio_write_page+0x5f/0x3a0 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915882]  [<ffffffffa046321f>] ? mpage_da_submit_io+0x2d3/0x38d [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915918]  [<ffffffffa04671c2>] ? mpage_da_map_and_submit+0x342/0x374 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915958]  [<ffffffffa046723f>] ? mpage_add_bh_to_extent+0x4b/0xd5 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915996]  [<ffffffffa0467505>] ? write_cache_pages_da+0x23c/0x313 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.916037]  [<ffffffffa0467a23>] ? ext4_da_writepages+0x29f/0x45c [ext4]
Jul 11 05:31:57 i5 kernel: [124473.916075]  [<ffffffff81105345>] ? writeback_single_inode+0x16f/0x352
Jul 11 05:31:57 i5 kernel: [124473.916111]  [<ffffffff811057b2>] ? writeback_sb_inodes+0x163/0x1f6
Jul 11 05:31:57 i5 kernel: [124473.916144]  [<ffffffff811058ac>] ? __writeback_inodes_wb+0x67/0xa2
Jul 11 05:31:57 i5 kernel: [124473.916177]  [<ffffffff81105fc6>] ? wb_writeback+0x12c/0x226
Jul 11 05:31:57 i5 kernel: [124473.916210]  [<ffffffff81304bdc>] ? __schedule+0x4ad/0x4da
Jul 11 05:31:57 i5 kernel: [124473.916239]  [<ffffffff81106239>] ? wb_do_writeback+0x179/0x1de
Jul 11 05:31:57 i5 kernel: [124473.916272]  [<ffffffff81035db8>] ? lock_timer_base+0x49/0x49
Jul 11 05:31:57 i5 kernel: [124473.916301]  [<ffffffff81106359>] ? bdi_writeback_thread+0xbb/0x1de
Jul 11 05:31:57 i5 kernel: [124473.917768]  [<ffffffff8110629e>] ? wb_do_writeback+0x1de/0x1de
Jul 11 05:31:57 i5 kernel: [124473.919242]  [<ffffffff8110629e>] ? wb_do_writeback+0x1de/0x1de
Jul 11 05:31:57 i5 kernel: [124473.920618]  [<ffffffff81043bc7>] ? kthread+0x81/0x89
Jul 11 05:31:57 i5 kernel: [124473.922051]  [<ffffffff8130c9d4>] ? kernel_thread_helper+0x4/0x10
Jul 11 05:31:57 i5 kernel: [124473.923427]  [<ffffffff81043b46>] ? kthread_freezable_should_stop+0x53/0x53
Jul 11 05:31:57 i5 kernel: [124473.924811]  [<ffffffff8130c9d0>] ? gs_change+0xb/0xb
Jul 11 05:31:57 i5 kernel: [124473.926133] Code: 05 e8 96 75 22 00 4c 8b 45 00 65 4c 03 04 25 78 cc 00 00 49 8b 50 08 4d 8b 20 4d 85 e4 74 23 48 63 45 20 48 8b 7d 00 48 8d 4a 01 <49> 8b 1c 04 4c 89 e0 65 48 0f c7 0f 0f 94 c0 88 c1 fe c9 74 18 
Jul 11 05:31:57 i5 kernel: [124473.930402]  RSP <ffff88026998b730>
Jul 11 05:31:57 i5 kernel: [124474.192584] ---[ end trace a7919e7f17c0a727 ]---

Seeehr nett. Ein "sync" hängt nun endlos

Kernel ist - wie zu sehen - ein 3.4.4er.
Sieht so aus, als ob ich den Rechner "hart" runternehmen muss... Nicht einmal Magic Sysrequest wird helfen, weil ohne sync kein umount. Also stale FS, stale LVM, stale RAIDs, ... Mit allem neu aufbauen. Also _Stunden_ verloren, weil ich es wagte, ext4 zu verwenden. Oder sehe ich was falsch??

EDIT:
Ach ja, die /etc/mk2fs.conf fehlt noch:


# cat /etc/mke2fs.conf 
[defaults]
	base_features = sparse_super,filetype,resize_inode,dir_index,ext_attr
	blocksize = 4096
	inode_size = 256
	inode_ratio = 16384

[fs_types]
	ext3 = {
		features = has_journal
	}
	ext4 = {
		features = has_journal,extent,huge_file,flex_bg,uninit_bg,dir_nlink,extra_isize
		inode_size = 256
	}
	ext4dev = {
		features = has_journal,extent,huge_file,flex_bg,uninit_bg,dir_nlink,extra_isize
		inode_size = 256
		options = test_fs=1
	}
	small = {
		blocksize = 1024
		inode_size = 128
		inode_ratio = 4096
	}
	floppy = {
		blocksize = 1024
		inode_size = 128
		inode_ratio = 8192
	}
	news = {
		inode_ratio = 4096
	}
	largefile = {
		inode_ratio = 1048576
		blocksize = -1
	}
	largefile4 = {
		inode_ratio = 4194304
		blocksize = -1
	}
	hurd = {
	     blocksize = 4096
	     inode_size = 128
	}

ext4 ist zum vergessen!

kombipaket — Wed, 11 Jul 2012 05:07:17 GMT

Oder ich mach was falsch...

Ich habe ein ext4 wie folgt angelegt:


mke2fs -O journal_dev /dev/system/backuppc-log 
mkfs.ext4 -b 4096 -E stride=64 -E stripe-width=320 -J device=/dev/system/backuppc-log -O dir_index,extent,large_file,resize_inode,sparse_super,uninit_bg /dev/sata/backuppc

und den Eintrag in der fstab:


/dev/sata/backuppc	/usr/local/BackupPC/daten ext4 noatime,nodiratime 0 2

Gestern um 19:15 habe ich 2 Full Backups nach /usr/local/BackupPC/daten angestossen.
Heute findet sich das in den Logs:


Jul 11 05:31:57 i5 kernel: [124473.914162] general protection fault: 0000 [#1] S
MP 
Jul 11 05:31:57 i5 kernel: [124473.914201] CPU 0 
Jul 11 05:31:57 i5 kernel: [124473.914213] Modules linked in: dvb_usb_dib0700 bu
dget i915 drm_kms_helper drm i2c_algo_bit video ppdev lp cpufreq_userspace cpufr
eq_stats cpufreq_powersave cpufreq_conservative tun binfmt_misc kvm_intel kvm ui
nput fuse nfsd nfs lockd fscache auth_rpcgss nfs_acl sunrpc iptable_mangle xt_tc
pudp ipt_MASQUERADE iptable_nat nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 xt_state
 nf_conntrack iptable_filter ip_tables x_tables cls_u32 sch_sfq sch_htb 8021q ga
rp stp llc ext4 mbcache jbd2 crc16 loop firewire_sbp2 isl6423 stv6110x stv090x d
ib0090 dib7000p dib7000m dib0070 dvb_usb dib8000 dib3000mc rc_core dibx000_commo
n budget_core snd_hda_codec_hdmi saa7146 usbhid hid snd_hda_codec_realtek ttpci_
eeprom snd_hda_intel acpi_cpufreq firewire_ohci ahci snd_hda_codec dvb_core core
temp mperf parport_pc firewire_core crc32c_intel r8169 libahci pata_jmicron snd_
hwdep ghash_clmulni_intel snd_pcm_oss tpm_tis pcspkr processor mii parport psmou
se tpm ehci_hcd snd_mixer_oss usbcore snd_pcm aesni_intel snd_s
Jul 11 05:31:57 i5 kernel: eq_midi cryptd snd_rawmidi aes_x86_64 tpm_bios aes_ge
neric usb_common snd_seq_midi_event snd_seq i2c_i801 snd_timer snd_seq_device me
i(C) microcode evdev serio_raw crc_itu_t snd button soundcore i2c_core snd_page_
alloc thermal_sys xfs dm_mod raid456 async_raid6_recov async_pq raid6_pq async_x
or xor async_memcpy async_tx raid1 md_mod sd_mod crc_t10dif ata_generic ata_piix
 libata scsi_mod [last unloaded: dvb_usb_dib0700]
Jul 11 05:31:57 i5 kernel: [124473.915139] 
Jul 11 05:31:57 i5 kernel: [124473.915139] 
Jul 11 05:31:57 i5 kernel: [124473.915157] Pid: 13858, comm: flush-253:52 Tainte
d: G        WC   3.4.4-grueni-1000Hz-1 #4 MSI MS-7637/H55-GD65 (MS-7637)  
Jul 11 05:31:57 i5 kernel: [124473.915217] RIP: 0010:[<ffffffff810dd6e2>]  [<fff
fffff810dd6e2>] kmem_cache_alloc+0x4f/0xee
Jul 11 05:31:57 i5 kernel: [124473.915275] RSP: 0018:ffff88026998b730  EFLAGS: 00010202
Jul 11 05:31:57 i5 kernel: [124473.915306] RAX: 0000000000000000 RBX: ffffea0007d02640 RCX: 00000000022dddfc
Jul 11 05:31:57 i5 kernel: [124473.915337] RDX: 00000000022dddfb RSI: 0000000000000050 RDI: 000060fd040054c0
Jul 11 05:31:57 i5 kernel: [124473.915366] RBP: ffff8802ecc29e00 R08: ffffe8ffffc054c0 R09: 00000000000152a8
Jul 11 05:31:57 i5 kernel: [124473.915398] R10: fffffffffffffff9 R11: 000000000000002a R12: 020000000000282c
Jul 11 05:31:57 i5 kernel: [124473.915430] R13: 0000000000000050 R14: ffffffffa0467d02 R15: ffff880060bafc70
Jul 11 05:31:57 i5 kernel: [124473.915464] FS:  0000000000000000(0000) GS:ffff8802fbc00000(0000) knlGS:0000000000000000
Jul 11 05:31:57 i5 kernel: [124473.915500] CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
Jul 11 05:31:57 i5 kernel: [124473.915528] CR2: ffffffffff600400 CR3: 00000002dc737000 CR4: 00000000000007f0
Jul 11 05:31:57 i5 kernel: [124473.915561] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Jul 11 05:31:57 i5 kernel: [124473.915593] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400
Jul 11 05:31:57 i5 kernel: [124473.915624] Process flush-253:52 (pid: 13858, threadinfo ffff88026998a000, task ffff880108bc4410)
Jul 11 05:31:57 i5 kernel: [124473.915663] Stack:
Jul 11 05:31:57 i5 kernel: [124473.915675]  ffff880100007000 ffffea0007d02640 ffffea0007d02640 ffff88026998b900
Jul 11 05:31:57 i5 kernel: [124473.915718]  ffff88026998b980 ffff880060bafc70 ffff880060bafc70 ffffffffa0467d02
Jul 11 05:31:57 i5 kernel: [124473.915757]  ffff88026998b7a0 ffff880060bafdb8 0000100000001000 ffff88026998a000
Jul 11 05:31:57 i5 kernel: [124473.915798] Call Trace:
Jul 11 05:31:57 i5 kernel: [124473.915845]  [<ffffffffa0467d02>] ? ext4_bio_write_page+0x5f/0x3a0 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915882]  [<ffffffffa046321f>] ? mpage_da_submit_io+0x2d3/0x38d [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915918]  [<ffffffffa04671c2>] ? mpage_da_map_and_submit+0x342/0x374 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915958]  [<ffffffffa046723f>] ? mpage_add_bh_to_extent+0x4b/0xd5 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915996]  [<ffffffffa0467505>] ? write_cache_pages_da+0x23c/0x313 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.916037]  [<ffffffffa0467a23>] ? ext4_da_writepages+0x29f/0x45c [ext4]
Jul 11 05:31:57 i5 kernel: [124473.916075]  [<ffffffff81105345>] ? writeback_single_inode+0x16f/0x352
Jul 11 05:31:57 i5 kernel: [124473.916111]  [<ffffffff811057b2>] ? writeback_sb_inodes+0x163/0x1f6
Jul 11 05:31:57 i5 kernel: [124473.916144]  [<ffffffff811058ac>] ? __writeback_inodes_wb+0x67/0xa2
Jul 11 05:31:57 i5 kernel: [124473.916177]  [<ffffffff81105fc6>] ? wb_writeback+0x12c/0x226
Jul 11 05:31:57 i5 kernel: [124473.916210]  [<ffffffff81304bdc>] ? __schedule+0x4ad/0x4da
Jul 11 05:31:57 i5 kernel: [124473.916239]  [<ffffffff81106239>] ? wb_do_writeback+0x179/0x1de
Jul 11 05:31:57 i5 kernel: [124473.916272]  [<ffffffff81035db8>] ? lock_timer_base+0x49/0x49
Jul 11 05:31:57 i5 kernel: [124473.916301]  [<ffffffff81106359>] ? bdi_writeback_thread+0xbb/0x1de
Jul 11 05:31:57 i5 kernel: [124473.917768]  [<ffffffff8110629e>] ? wb_do_writeback+0x1de/0x1de
Jul 11 05:31:57 i5 kernel: [124473.919242]  [<ffffffff8110629e>] ? wb_do_writeback+0x1de/0x1de
Jul 11 05:31:57 i5 kernel: [124473.920618]  [<ffffffff81043bc7>] ? kthread+0x81/0x89
Jul 11 05:31:57 i5 kernel: [124473.922051]  [<ffffffff8130c9d4>] ? kernel_thread_helper+0x4/0x10
Jul 11 05:31:57 i5 kernel: [124473.923427]  [<ffffffff81043b46>] ? kthread_freezable_should_stop+0x53/0x53
Jul 11 05:31:57 i5 kernel: [124473.924811]  [<ffffffff8130c9d0>] ? gs_change+0xb/0xb
Jul 11 05:31:57 i5 kernel: [124473.926133] Code: 05 e8 96 75 22 00 4c 8b 45 00 65 4c 03 04 25 78 cc 00 00 49 8b 50 08 4d 8b 20 4d 85 e4 74 23 48 63 45 20 48 8b 7d 00 48 8d 4a 01 <49> 8b 1c 04 4c 89 e0 65 48 0f c7 0f 0f 94 c0 88 c1 fe c9 74 18 
Jul 11 05:31:57 i5 kernel: [124473.930402]  RSP <ffff88026998b730>
Jul 11 05:31:57 i5 kernel: [124474.192584] ---[ end trace a7919e7f17c0a727 ]---

ext4 ist zum vergessen!

kombipaket — Wed, 11 Jul 2012 05:07:17 GMT

Oder ich mach was falsch...

Ich habe ein ext4 wie folgt angelegt:


mke2fs -O journal_dev /dev/system/backuppc-log 
mkfs.ext4 -b 4096 -E stride=64 -E stripe-width=320 -J device=/dev/system/backuppc-log -O dir_index,extent,large_file,resize_inode,sparse_super,uninit_bg /dev/sata/backuppc

und den Eintrag in der fstab:


/dev/sata/backuppc	/usr/local/BackupPC/daten ext4 noatime,nodiratime 0 2

Gestern um 19:15 habe ich 2 Full Backups nach /usr/local/BackupPC/daten angestossen.
Heute findet sich das in den Logs:


Jul 11 05:31:57 i5 kernel: [124473.914162] general protection fault: 0000 [#1] S
MP 
Jul 11 05:31:57 i5 kernel: [124473.914201] CPU 0 
Jul 11 05:31:57 i5 kernel: [124473.914213] Modules linked in: dvb_usb_dib0700 bu
dget i915 drm_kms_helper drm i2c_algo_bit video ppdev lp cpufreq_userspace cpufr
eq_stats cpufreq_powersave cpufreq_conservative tun binfmt_misc kvm_intel kvm ui
nput fuse nfsd nfs lockd fscache auth_rpcgss nfs_acl sunrpc iptable_mangle xt_tc
pudp ipt_MASQUERADE iptable_nat nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 xt_state
 nf_conntrack iptable_filter ip_tables x_tables cls_u32 sch_sfq sch_htb 8021q ga
rp stp llc ext4 mbcache jbd2 crc16 loop firewire_sbp2 isl6423 stv6110x stv090x d
ib0090 dib7000p dib7000m dib0070 dvb_usb dib8000 dib3000mc rc_core dibx000_commo
n budget_core snd_hda_codec_hdmi saa7146 usbhid hid snd_hda_codec_realtek ttpci_
eeprom snd_hda_intel acpi_cpufreq firewire_ohci ahci snd_hda_codec dvb_core core
temp mperf parport_pc firewire_core crc32c_intel r8169 libahci pata_jmicron snd_
hwdep ghash_clmulni_intel snd_pcm_oss tpm_tis pcspkr processor mii parport psmou
se tpm ehci_hcd snd_mixer_oss usbcore snd_pcm aesni_intel snd_s
Jul 11 05:31:57 i5 kernel: eq_midi cryptd snd_rawmidi aes_x86_64 tpm_bios aes_ge
neric usb_common snd_seq_midi_event snd_seq i2c_i801 snd_timer snd_seq_device me
i(C) microcode evdev serio_raw crc_itu_t snd button soundcore i2c_core snd_page_
alloc thermal_sys xfs dm_mod raid456 async_raid6_recov async_pq raid6_pq async_x
or xor async_memcpy async_tx raid1 md_mod sd_mod crc_t10dif ata_generic ata_piix
 libata scsi_mod [last unloaded: dvb_usb_dib0700]
Jul 11 05:31:57 i5 kernel: [124473.915139] 
Jul 11 05:31:57 i5 kernel: [124473.915139] 
Jul 11 05:31:57 i5 kernel: [124473.915157] Pid: 13858, comm: flush-253:52 Tainte
d: G        WC   3.4.4-grueni-1000Hz-1 #4 MSI MS-7637/H55-GD65 (MS-7637)  
Jul 11 05:31:57 i5 kernel: [124473.915217] RIP: 0010:[<ffffffff810dd6e2>]  [<fff
fffff810dd6e2>] kmem_cache_alloc+0x4f/0xee
Jul 11 05:31:57 i5 kernel: [124473.915275] RSP: 0018:ffff88026998b730  EFLAGS: 00010202
Jul 11 05:31:57 i5 kernel: [124473.915306] RAX: 0000000000000000 RBX: ffffea0007d02640 RCX: 00000000022dddfc
Jul 11 05:31:57 i5 kernel: [124473.915337] RDX: 00000000022dddfb RSI: 0000000000000050 RDI: 000060fd040054c0
Jul 11 05:31:57 i5 kernel: [124473.915366] RBP: ffff8802ecc29e00 R08: ffffe8ffffc054c0 R09: 00000000000152a8
Jul 11 05:31:57 i5 kernel: [124473.915398] R10: fffffffffffffff9 R11: 000000000000002a R12: 020000000000282c
Jul 11 05:31:57 i5 kernel: [124473.915430] R13: 0000000000000050 R14: ffffffffa0467d02 R15: ffff880060bafc70
Jul 11 05:31:57 i5 kernel: [124473.915464] FS:  0000000000000000(0000) GS:ffff8802fbc00000(0000) knlGS:0000000000000000
Jul 11 05:31:57 i5 kernel: [124473.915500] CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
Jul 11 05:31:57 i5 kernel: [124473.915528] CR2: ffffffffff600400 CR3: 00000002dc737000 CR4: 00000000000007f0
Jul 11 05:31:57 i5 kernel: [124473.915561] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Jul 11 05:31:57 i5 kernel: [124473.915593] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400
Jul 11 05:31:57 i5 kernel: [124473.915624] Process flush-253:52 (pid: 13858, threadinfo ffff88026998a000, task ffff880108bc4410)
Jul 11 05:31:57 i5 kernel: [124473.915663] Stack:
Jul 11 05:31:57 i5 kernel: [124473.915675]  ffff880100007000 ffffea0007d02640 ffffea0007d02640 ffff88026998b900
Jul 11 05:31:57 i5 kernel: [124473.915718]  ffff88026998b980 ffff880060bafc70 ffff880060bafc70 ffffffffa0467d02
Jul 11 05:31:57 i5 kernel: [124473.915757]  ffff88026998b7a0 ffff880060bafdb8 0000100000001000 ffff88026998a000
Jul 11 05:31:57 i5 kernel: [124473.915798] Call Trace:
Jul 11 05:31:57 i5 kernel: [124473.915845]  [<ffffffffa0467d02>] ? ext4_bio_write_page+0x5f/0x3a0 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915882]  [<ffffffffa046321f>] ? mpage_da_submit_io+0x2d3/0x38d [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915918]  [<ffffffffa04671c2>] ? mpage_da_map_and_submit+0x342/0x374 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915958]  [<ffffffffa046723f>] ? mpage_add_bh_to_extent+0x4b/0xd5 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.915996]  [<ffffffffa0467505>] ? write_cache_pages_da+0x23c/0x313 [ext4]
Jul 11 05:31:57 i5 kernel: [124473.916037]  [<ffffffffa0467a23>] ? ext4_da_writepages+0x29f/0x45c [ext4]
Jul 11 05:31:57 i5 kernel: [124473.916075]  [<ffffffff81105345>] ? writeback_single_inode+0x16f/0x352
Jul 11 05:31:57 i5 kernel: [124473.916111]  [<ffffffff811057b2>] ? writeback_sb_inodes+0x163/0x1f6
Jul 11 05:31:57 i5 kernel: [124473.916144]  [<ffffffff811058ac>] ? __writeback_inodes_wb+0x67/0xa2
Jul 11 05:31:57 i5 kernel: [124473.916177]  [<ffffffff81105fc6>] ? wb_writeback+0x12c/0x226
Jul 11 05:31:57 i5 kernel: [124473.916210]  [<ffffffff81304bdc>] ? __schedule+0x4ad/0x4da
Jul 11 05:31:57 i5 kernel: [124473.916239]  [<ffffffff81106239>] ? wb_do_writeback+0x179/0x1de
Jul 11 05:31:57 i5 kernel: [124473.916272]  [<ffffffff81035db8>] ? lock_timer_base+0x49/0x49
Jul 11 05:31:57 i5 kernel: [124473.916301]  [<ffffffff81106359>] ? bdi_writeback_thread+0xbb/0x1de
Jul 11 05:31:57 i5 kernel: [124473.917768]  [<ffffffff8110629e>] ? wb_do_writeback+0x1de/0x1de
Jul 11 05:31:57 i5 kernel: [124473.919242]  [<ffffffff8110629e>] ? wb_do_writeback+0x1de/0x1de
Jul 11 05:31:57 i5 kernel: [124473.920618]  [<ffffffff81043bc7>] ? kthread+0x81/0x89
Jul 11 05:31:57 i5 kernel: [124473.922051]  [<ffffffff8130c9d4>] ? kernel_thread_helper+0x4/0x10
Jul 11 05:31:57 i5 kernel: [124473.923427]  [<ffffffff81043b46>] ? kthread_freezable_should_stop+0x53/0x53
Jul 11 05:31:57 i5 kernel: [124473.924811]  [<ffffffff8130c9d0>] ? gs_change+0xb/0xb
Jul 11 05:31:57 i5 kernel: [124473.926133] Code: 05 e8 96 75 22 00 4c 8b 45 00 65 4c 03 04 25 78 cc 00 00 49 8b 50 08 4d 8b 20 4d 85 e4 74 23 48 63 45 20 48 8b 7d 00 48 8d 4a 01 <49> 8b 1c 04 4c 89 e0 65 48 0f c7 0f 0f 94 c0 88 c1 fe c9 74 18 
Jul 11 05:31:57 i5 kernel: [124473.930402]  RSP <ffff88026998b730>
Jul 11 05:31:57 i5 kernel: [124474.192584] ---[ end trace a7919e7f17c0a727 ]---


# cat /etc/mke2fs.conf 
[defaults]
	base_features = sparse_super,filetype,resize_inode,dir_index,ext_attr
	blocksize = 4096
	inode_size = 256
	inode_ratio = 16384

[fs_types]
	ext3 = {
		features = has_journal
	}
	ext4 = {
		features = has_journal,extent,huge_file,flex_bg,uninit_bg,dir_nlink,extra_isize
		inode_size = 256
	}
	ext4dev = {
		features = has_journal,extent,huge_file,flex_bg,uninit_bg,dir_nlink,extra_isize
		inode_size = 256
		options = test_fs=1
	}
	small = {
		blocksize = 1024
		inode_size = 128
		inode_ratio = 4096
	}
	floppy = {
		blocksize = 1024
		inode_size = 128
		inode_ratio = 8192
	}
	news = {
		inode_ratio = 4096
	}
	largefile = {
		inode_ratio = 1048576
		blocksize = -1
	}
	largefile4 = {
		inode_ratio = 4194304
		blocksize = -1
	}
	hurd = {
	     blocksize = 4096
	     inode_size = 128
	}

Und das LV selbst dürfte noch funktionieren:


 time dd if=/dev/system/backuppc-log of=/dev/null bs=1M count=100
100+0 Datensätze ein
100+0 Datensätze aus
104857600 Bytes (105 MB) kopiert, 1,35426 s, 77,4 MB/s

real	0m1.357s
user	0m0.001s
sys	0m0.222s

# time dd if=/dev/sata/backuppc of=/dev/null bs=1M count=100
100+0 Datensätze ein
100+0 Datensätze aus
104857600 Bytes (105 MB) kopiert, 1,17193 s, 89,5 MB/s

real	0m1.174s
user	0m0.001s
sys	0m0.146s

Dürfte also IMHO echt ext4-spezifisch sein...

Re(10): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

kombipaket — Wed, 11 Jul 2012 04:48:43 GMT

Danke für die Einblicke! Ist jedesmal spannend, was über den internen Aufbau von Produktivsystemen zu sehen. [ Wollt ihr nicht mal einen "Tag der offenen Tür" machen? ]

Aber eines muss ich schon sagen: Respekt! Mut kann man nicht kaufen.

. Ein Ausfall wegen der SSD kostet uns mehr als die Differenz zu einer
consumer-SSD

DAS glaube ich ungschaut. Genau drum hätte ich mir Ein RAID1 über 2 SSD gemacht. Wenn ich glaube, dass die 710er die langlebigsten sind - dann eben über 2 710er. Pech kann man ja immer haben.

Ergänzung: Nach deinen bisherigen Berichten würde der IO eh sinken, wenn Munin nicht dauern mehrere Bazillionen von GIFs erzeugen würde, oder .

Im Ernst: Warum kein md über 2 SSDs? Was war da die Überlegung? Ich würde mal drauf tippen, dass in die Rechner physisch keine vierte Platte passt...

Re(9): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

mjy@geizhals.at — Tue, 10 Jul 2012 22:53:01 GMT

(Viel Disk-IO erwartet der Laie 1x pro Tag beim Updaten der Preislisten).

Du meinst 1 x alle 10 Minuten ...

Ist aber nicht wirklich so tragisch, was da passiert mit 128GB RAM:

(sdc ist die SSD, sda/b sind 2 fette SATA-Platten im RAID-1)

Also muss ich einiges übersehen, was den Preis rechtfertigt... Warum genau diese?

Ganz einfach, weil bei adäquater Performance nur die Haltbarkeit ausschlaggebend ist. Ein Ausfall wegen der SSD kostet uns mehr als die Differenz zu einer consumer-SSD, daher zögern wir diesen um die paar 100 Euro (hoffentlich) raus.

Re(8): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

kombipaket — Tue, 10 Jul 2012 17:28:59 GMT

Was passiert eigentlich wenn du dein Log auf einer SSD hast und die eingeht?

Genau drum solltest ja in den Empfehlungen zB 2 kleine SSD im RAID1 nehmen - also ein md drüber.

IOPS von mechanischen Geräten erhöhen zu wollen, erscheint mir daher etwas
fragwürdig. Aber mit der Software kann man schon eine Menge machen.

Re(8): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

kombipaket — Tue, 10 Jul 2012 17:28:59 GMT

Was passiert eigentlich wenn du dein Log auf einer SSD hast und die eingeht?

Genau drum solltest ja in den Empfehlungen zB 2 kleine SSD im RAID1 nehmen - also ein md drüber.

IOPS von mechanischen Geräten erhöhen zu wollen, erscheint mir daher etwas
fragwürdig. Aber mit der Software kann man schon eine Menge machen.

Die IOPS sollten ordentlich hochgehen... Statt "Metadaten schreiben, Daten schreiben, Metadaten schreiben" nur noch "Daten schreiben"... 1/3 der Seeks im Idealfall ist im Extremfalls 1/3 der IOPS für "wirkliche" Daten benutzt - daher 3x soviele IOPS zur Verfügung. [ JA, Milchmädchen rufen ]

Ach ja, deine SSD schrecken mich irgendwie ab.
1.) 2 Mio Stunden MTBF? Das kommt mir absurd hoch vor... Das wären ja grob 228 Jahre, oder? Glaub-Ich-ohne-Quelle-Nicht (und mit Quelle glaub ich der Quelle nicht ).
2.) Das sind diese hier, oder? http://www.intel.com/content/www/us/en/solid-state-drives/solid-state-drives-710-series.html. Also bei 200 GB kann man rund 1 PB schreiben... Da glaube ich Dir aber schon, dass die länger halten (Viel Disk-IO erwartet der Laie 1x pro Tag beim Updaten der Preislisten).
3,) Die IOPS wirken mager für SSDs, sogar die Datenrate überrascht mich bei SSDs...

Also muss ich einiges übersehen, was den Preis rechtfertigt... Warum genau diese?

Re(7): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

mjy@geizhals.at — Tue, 10 Jul 2012 17:25:53 GMT

Nö, ich hab privat keine großen/wichtigen Datenmengen und nur mehr SSDs ... Für Postgres wäre die Frage mal interessant gewesen (ist ja auch log-structured), aber da sind wir schließlich auch komplett auf ein Flash-basiertes Storage (TMS RamSan) umgestiegen.

Für unseren Fileserver mit den ganzen Preislisten haben wir mittlerweile auch SSDs für den häufig genutzten Bereich - und zwar angeblich besonders langlebige: http://geizhals.at/659513 (MTBF 2 Mio. Std.).

IOPS von mechanischen Geräten erhöhen zu wollen, erscheint mir daher etwas fragwürdig. Aber mit der Software kann man schon eine Menge machen.

Was passiert eigentlich wenn du dein Log auf einer SSD hast und die eingeht?

Re(6): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

kombipaket — Tue, 10 Jul 2012 17:18:53 GMT

SSDs bieten als klaren Vorsprung die IOPS... Drum versuche ich ja gerade, die IOPS meiner LVs zu erhöhen - durch das externe Log. Hast Du dich da schon rumgespielt?

Re(5): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

mjy@geizhals.at — Tue, 10 Jul 2012 17:15:17 GMT

Na gut, wenn du so viel Platz brauchst, eher nicht.

Re(4): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

kombipaket — Tue, 10 Jul 2012 17:07:00 GMT

NEI-EI-EIN.

1.) Weil nur eine ein Fehler wäre - kein Raid???
2.) SSDs als LogDevice für LVs klingt echt sinnvoll... Aber nur dort.

Ausser Du kennst ein Geschäft, wo sie so 10TB netto in einem RAID-5 um 480€ anbieten. Wenn ja - bin ich bei Dir (um das kaufte ich so ca. meine 6x2TB-Platten vor 2 Jahren).

Re(3): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

mjy@geizhals.at — Tue, 10 Jul 2012 17:03:58 GMT

Ich glaub du solltest dir einfach eine SSD kaufen

Re(2): Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

kombipaket — Tue, 10 Jul 2012 16:36:38 GMT

Yup.

Wobei: Ich habe jetzt in meinen Rechner 2 IDE-Platten eingebaut - im SW-Raid1. Darauf LVM, und ein 1GB-LV auf dem IDE-RAID-LVM dient nun als Journal für XFS.

Die Performance von XFS ging um ca. 20% hoch... und befindet sich dadurch auf ext4-Niveau mit internem log...

Mein Idealzustand für diese Aufgabe dürfte wohl sein
- ext4
- externes LOG
- auf den zu sichernden Daten noatime, nodiratime aktivieren (muss mir noch überlegen, ob das dort ok ist).

Auf zu einem neuen Test

Re: Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

mjy@geizhals.at — Tue, 10 Jul 2012 14:03:49 GMT

Dass ext4 bei solchen Zugriffsmustern einen höheren Durchsatz bietet, it ja bekannt. XFS spielt die Stärken aus wenn mehrere Prozesse gleichzeitig auf das FS zugreifen (Fileserver o.ä.).

Als langjähriger XFS-Fan muss ich gestehen... ext4 hat seine Vorzüge!

kombipaket — Sun, 08 Jul 2012 19:59:48 GMT

Ich spiele seit einiger Zeit mit backuppc rum. Situation ist, dass ein Server sich selbst in ein eigenes LV backupt. Leider habe ich derzeit nur die Möglichkeit für internes Log.

Dabei entsteht _ein_ Thread (also keine Parallelisierung, was ja eine Stärke von XFS ist) - der das ganze Dateisystem durchwassert. Das ganze ist auf einem MD-RAID5 über 6 Platten.

Nach langem Abwägen habe ich den Schritt getan, das BackupLV neu mit ext4 zu versuchen - und in diesem Fall mit leider um ca. 15-20% mehr MB/sec. Ich bin echt schwer überrascht...

Ich werde in ein paar Tagen auch einen Test mit externen Logs durchführen können - und vergleichen. Jedem XFS-Fan sei aber ext4 mal zum Testen ans Herz gelegt.