IO bei Server

IO bei Server (26 Beiträge, 905 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Hi.

Mein guter "Küchenserver" hat leider ein paar Probleme mit IO - die ganze Kiste steht wenn man mal was unpackt oder was moved. Jetzt ist für mich die Frage: Neukauf (MB/CPU/Ram) oder eine IO Karte kaufen für 5 HDs ?

Ich hab mal die detaillierte Hardwareconfig hochgeladen (http://forum.geizhals.at/files/271425/hardware.txt ), vielleicht kann mir wer da einen Tip geben. CPU ist noch gut für die Zwecke des Server, also hohe Load hab ich da eh kaum drauf (gradmal wenn wieder was geschrieben wird und die CPU sich in Wait-Cycles aufhängt), einziger Grund wäre das neuere CPUs bereits Hardwareverschlüsselung kennen...

Wer sichs nicht anschaun will - die Hardware ist ca. 7 Jahre alt (Asus P5Q, Core2 Duo, 4 gig RAM).

Bye.

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

Ich würds auf das Alter und die HDD schieben.

LG Mike

Also raus mit Board/CPU/RAM und gleich neu kaufen...

Hast Du da eine Boardempfehlung ?

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

^ Forum Hardware-Tuning #7323059 x 2
	Re: IO bei Server

mjy@geizhals.at

03.08.2014, 13:33:20

Das könnte an der kernel-config liegen, evtl. mit vm.dirty_background_bytes spielen (auf ein paar MB setzen) sowie nicht den default-I/O-scheduler nehmen (ist vmtl. CFQ oder so - cat /sys/block/sd*/queue/scheduler), sondern deadline, anticipatory oder gar noop bei RAID.

(welche Kernel-Version? Vielleicht kann da jemand konkretere Tips geben)

Google-Suchergebnisse, nur mit Privatsphäre? startpage.com! | Equality is ... | Zwangsbejagung Ade!

Once you allow the government to start breaking the law, no matter how seemingly justifiable the reason, you relinquish the contract between you and the government which establishes that the government works for and obeys you, the citizen—the employer—the master. And once the government starts operating outside the law, answerable to no one but itself, there’s no way to rein it back in, short of revolution. -- John W. Whitehead

03.08.2014, 13:34 Uhr - Editiert von mjy@geizhals.at, alte Version: hier

Also ich hatte dirty_background_ratio von 10 gehabt, was lt. Doku heißten würde knappe 410mb wo der Thread beginnen würde Daten zu schreiben, ich hab den Wert mal jetzt via dirty_background_bytes auf 64MB gesetzt, mal schaun was das bringt.

Kernel-Version ist: 3.2.0-67-generic (Ubuntu Server LTS).

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

^ Forum Hardware-Tuning #7323257
	Re(3): IO bei Server

mjy@geizhals.at

03.08.2014, 21:34:59

Kernel-Version ist: 3.2.0-67-generic (Ubuntu Server LTS).

32 oder 64 bit?

Und wie sieht /proc/meminfo vor und während der Probleme aus?

Evtl. weitere interessante Parameter für pathologische Fälle:

vm.swappiness (niedriger setzen als default)

vm.vfs_cache_pressure (-"- falls viele kleine Dateien)

vm.highmem_is_dirtyable=1 (falls 32 bit kernel und bei 3.2.* nicht default - weiß ich nicht)

03.08.2014, 21:41 Uhr - Editiert von mjy@geizhals.at, alte Version: hier

32 oder 64 bit?

64bit Version.

Und wie sieht /proc/meminfo vor und während der Probleme aus?

Ich hab auf Colos Posting eine kleine Grafik angehängt, die ist zwar nur über 3 Werte, falls da mehr interessant ist kann ich mal das genauer mitloggen..

vm.swappiness (niedriger setzen als default)
vm.vfs_cache_pressure (-"- falls viele kleine Dateien)
vm.highmem_is_dirtyable=1 (falls 32 bit kernel und bei 3.2.* nicht default -
weiß ich nicht)

Ich werds mal mit den neuen Dirtypage Einstellungen von Dir testen und dann mal weiterschrauben, wenn ich jetzt zuviel Werte ändere und es passt nicht muß ich soundso einzeln rausfinden was weiterhilft

.

lg.

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

Morgen!

Also danke mal, Load sah heute nach schon viel besser aus als bei der letzten Verarbeitung... hat die 1.5 nicht überschritten (was bei 4 VCPUs ok wäre).

Ich teste das mal händisch weiter - diese Nacht waren wenig Daten da.

lg.

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

Hi.

Sag kann das auch möglich sein das die Performanceprobleme daher kommen das der IDE-Controller der die HDDs ansteuert von Linux als zwei Devices (ide:0 + ide:1) erkannt wird (laut Anleitung sollten die farblich gleichen Steckplätze am Board zu einem controller gehören - so sind sie auch angeschlossen).

Bye

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

Du willst einen Kernel, der mit dem BFQ-Patchset (wird hoffentlich bald mainlined, gibt aber noch kein konkretes Ziel-Release) verbessert wurde: http://www.youtube.com/watch?v=J-e7LnJblm8

Ansonsten ist auch mjys Tipp von unten (imo bis auf den Wechsel des I/O-Schedulers; die Alternativen zu CFQ werden die Interaktivitaet bei I/O-Load eher noch weiter vermindern) ein sehr guter.

Es hilft auch, bei gewissen Tasks, die voraussichtlich viel Bandbreite im I/O-Subsystem fressen werden, auf die Hilfe von ionice(1) (Achtung, funktioniert _nur_ mit CFQ!) zu bauen.

echo "[q]sa[ln0=aln256%Pln256/snlbx]sb729901041524823122snlbxq"|dc

Du willst einen Kernel, der mit dem BFQ-Patchset (wird hoffentlich bald
mainlined, gibt aber noch kein konkretes Ziel-Release) verbessert wurde:
http://www.youtube.com/watch?v=J-e7LnJblm8

Das sieht wunderbar aus, ja sowas will ich

. Aber einen eigenen Kernel compilen, weiß ich nicht ob ich das will - die updaterei via apt ist doch sehr angenehm.

Es hilft auch, bei gewissen Tasks, die voraussichtlich viel Bandbreite im
I/O-Subsystem fressen werden, auf die Hilfe von ionice(1) (Achtung,
funktioniert _nur_ mit CFQ!) zu bauen.

Das hab ich bereits gemacht, ich hab das Program das eine hohe IOLoad macht via ionice -c idle mal runtergesetzt damit es die restlichen Resourcen nicht so stört, das funktioniert zwar bis zu einem gewissen Punkt, aber ist doch nicht so zufriedenstellend.

Ich hab mal das Memory überwachen lassen wenns zu IO Transfers kommt:
hosted by 666kb.com

Um das Problem genauer zu schildern: ~ 21:20 beginnt Last, das geht gut bis zu ~22:40. Sobald der Dirty Cache angegriffen wird, fängts zu wackeln an.. Als Beispiel: das Post-Processing der ankommenden Daten wird auf einer eigenen HD gemacht (extra Reiser formattiert, weil viele kleine Files), wenn CRC etc. stimmt geht das auf das Raid und obwohl der Postprocess-Task mit ionice idle gestartet wird, legt er tw. NFS Verbindungen lahm... Also entweder ist die HW echt zu langsam oder es ist ein dummer Cfg Fehler.

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

Du brauchst ein aktuelleres Mobo mit SATA-2 und schnelleren Platten.
Für das Betriebs-System wäre eine SSD nie verkehrt.
8-16GB Ram haben auch noch nie geschadet

Wenn dir der Stromverbrauch wurscht ist, dann nimm dir eine AMD 8-Core-CPU (mehr CPu gibts nicht um das Geld) ,ansonsten gibts von Intel CPUs mit 45 oder 65W Stromverbrauch

http://geizhals.at/amd-fx-8320-fd8320frhkbox-a852342.html
http://geizhals.at/asus-m5a97-r2-0-90-mibjk0-g0eay0mz-a818969.html

Corsair RAM dazu und passt.

Ich verwende diese CPU für einen VMWare ESX Server., der läuft rund um die Uhr.

Du brauchst ein aktuelleres Mobo mit SATA-2 und schnelleren Platten.

Ok das Mobo is schon bissl alt, aber die Platten ?
Die haben eigentlich, auch performancemässig, gut abgeschnitten..

Was ist denn ein schnellerer Standard als SATA 6gbit (ist das SATA2 ?)

http://geizhals.at/?cat=hde7s&xf=1654_geeignet+f%FCr+Dauerbetrieb%7E958_2000%7E957_Western+Digital%7E1080_SATA+6Gb%2Fs%7E1541_2000%7E3772_3.5#xf_top

Mhh ich bin Intel Fan

lg.

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

Sorry, da hab ich mich verschaut ,die gabs auch als Sata 1 version.

Dann nimmst halt einen i3-5-7 oder diesen Xenon E3 der oft empfohlen wird.

Dann nimmst halt einen i3-5-7 oder diesen Xenon E3 der oft empfohlen wird.

Also ich hab im Durchschnitt kaum Load auf den CPUs oben...

hosted by 666kb.com

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

Dein Mobo kann nur DDR2 , aufrüsten ist zu teuer.
Es kann nur Sata2 und ist bei 5 Platten vermutlich am Limit.

http://www.asus.com/Motherboards/P5Q_Deluxe/specifications/

Modernere Mobos haben einen SATA3 Controller und damit mehr Durchsatz.
Ein DVD-ROM Laufwerk kann man sich eigentlich schenken, Installation geht alles über USB-Stick und man gewinnt einen SATA Anschluss

Kauf dir ein neues Mobo mit 8GB RAM und einem Celeron. (gibts ab 30€)

ZB:
http://geizhals.at/asus-z87-k-c2-90mb0f80-m0eay5-a981539.html?v=l
http://geizhals.at/?cat=cpu1150&xf=1133_Celeron#xf_top

Brute force?

#--
Hail Freedonia.

Brute force?

wäre eh über die GPU effizienter

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

Ich meinte, Performanceprobleme mit Rechenleistung zu "erschlagen"

Nach dem Motto "Mein Auto wird immer langsamer" - "Kauf ein neues"
#--
Hail Freedonia.

laufen die Festplatten überhaupt im AHCI-Modus? Oder ist im BIOS SATA-IDE eingestellt?

Jemand hat mal den Tipp gegeben, um RAID-Durchsatz zu steigern, den dafür reservierten Cache zu vergrößern:
http://forum.geizhals.at/t757899,6488523.html#6488523

God_Save_the_South hosted by 666kb.com

laufen die Festplatten überhaupt im AHCI-Modus? Oder ist im BIOS SATA-IDE
eingestellt?

Das müsste ich nachschaun...

Jemand hat mal den Tipp gegeben, um RAID-Durchsatz zu steigern, den dafür
reservierten Cache zu vergrößern:
http://forum.geizhals.at/t757899,6488523.html#6488523

Das mit der stripe cache size werd ich mal testen, danke!

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

Hmm... Also war das nur ein leeres Versprechen?
http://forum.geizhals.at/t757899,6486961.html#6486961

Danke fürs updaten deines Posts, ich glaub ich muß mir meine IO Config daheim auch mal anschaun .

Oder war das ein seeehr weit entferntes "mal" ?
----------------------------------------------------------------------------------

Wenn man sich wundert, warum ich die Aussagen mancher Deppen komplett ignoriere...
... diese Armlöcher sind geplonkt - die lese ich nicht einmal.

Hmm... Also war das nur ein leeres Versprechen?

Ok ja ich habs damals nicht wirklich gemacht

Mea culpa

.

Jetzt ist allerdings der "Leidensdruck" so hoch das ich mich damit beschäftigen muß...

"Those who don't understand Unix are condemned to reinvent it, poorly." – Henry Spencer

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung