GBit Nic, die auch die Leistung bringt gesucht

Re(2): Nic unschuldig, Openssh ist böse

MG — Tue, 17 Jul 2012 19:49:12 GMT

Danke. Auch an mjy.
Für Ubuntu gibts da sogar ein gut gepflegtes PPA.
Was mir insoferne nicht unwichtig ist, weil ich ungern meine Zeit mit durchlesen von CVEs vergeude, und daher auf extern gepflegte Software setze.

Re: Nic unschuldig, Openssh ist böse

colo — Tue, 17 Jul 2012 18:11:36 GMT

Der HPN-Patch ist zumindest bei mir daheim der Schluessel zu mehr Durchsatz:

HPN-Server -> non-HPN-Client:
bigfile.iso 4% 382MB 10.7MB/s

HPN-Server -> HPN-Client:
bigfile.iso 26% 2012MB 56.1MB/s

Server: AMD Athlon II X2 245e
Client: Intel Core2 Duo P8400

Re: Nic unschuldig, Openssh ist böse

mjy@geizhals.at — Tue, 17 Jul 2012 13:50:39 GMT

D.h. die neue Frage ist, welcher ssh server macht nicht schon bei 100-150MBit schlapp.

Einer mit einer schnellen CPU oder schnelleren Verschlüsselungsverfahren. Komprimierung kostet auch Performance. Diverse zusätzlich bremsende Netzwerkprobleme beim OpenSSH sollten mit http://www.psc.edu/index.php/hpn-ssh behoben werden, aber das hab ich noch nicht getestet.

Nic unschuldig, Openssh ist böse

MG — Tue, 17 Jul 2012 12:57:58 GMT

Okay, danke, ich weiß jetzt was das Problem war.
Der Openssh Server schafft offensichtlich nicht mehr als knapp über 100 Mbit/sec.

Und die ersten Tests per wget und ftp habe ich über ein ssh getunneltes Netz gemacht.

Direkt komme ich eh auf 800Mit, wie es sich gehört. Alleine scp macht bei 120 Mbit schlapp.

D.h. die neue Frage ist, welcher ssh server macht nicht schon bei 100-150MBit schlapp.

Re(3): GBit Nic, die auch die Leistung bringt gesucht

user96106 — Tue, 17 Jul 2012 09:40:34 GMT

ok. aber atheros karten würd ich auch niemanden vergönnen.

broadcom oder intel (und nein ich mein die echten intel nicht die von HP verunstalteten) bringen die beste performance. liegt sonst kein hardwareproblem vor, liegts am OS und den treibern oder eben denjenigen, der vorm kistl sitzt.

Re(2): GBit Nic, die auch die Leistung bringt gesucht

colo — Mon, 16 Jul 2012 17:44:58 GMT

Zwar Atheros, aber als Datenpunkt gegen die "vernuenftiges OS"-"Hypothese": http://identi.ca/notice/36491772 (gemessen mit iperf).

Zum Threadthema: Ich wuerde einfach eine Intel Pro/1000 kaufen, und damit gluecklich werden.

Re(3): GBit Nic, die auch die Leistung bringt gesucht

powerleecher — Mon, 16 Jul 2012 15:29:18 GMT

Hmmm, NETXEN ist aber kein Emulex sondern QLogic (HP hat beide im Programm)
ich habe die Emulex Variante gemeint.

Die Intel-Variante habe ich leider noch nicht in den Fingern gehabt.

Re: GBit Nic, die auch die Leistung bringt gesucht

user96106 — Mon, 16 Jul 2012 14:21:09 GMT

dann nimm halt ein vernünftiges OS

broadcom und intel nics haben bei mir immer optimale leistung gebracht.

Re(5): GBit Nic, die auch die Leistung bringt gesucht

mjy@geizhals.at — Sun, 15 Jul 2012 22:48:13 GMT

Naja, die NICs kannst du jedenfalls mal ausschließen als Problemquelle ... Aber das power management / CPU throttling usw. noch nicht.

Re(4): GBit Nic, die auch die Leistung bringt gesucht

MG — Sun, 15 Jul 2012 20:14:28 GMT

Ich glaub ich bin da einem ganz anderen Problem auf der Spur.

scp user@localhost:/mnt/cd.iso /mnt/test.iso

Bringt ebenfalls nur 12 MB/s. /mnt ist eine 2 Gig großes tmpfs und Plattenzugriffe gibt es während des kopierens dieses 800MB großen Files auch nicht.

Re(3): GBit Nic, die auch die Leistung bringt gesucht

mjy@geizhals.at — Sun, 15 Jul 2012 19:58:09 GMT

Komisch, hast du evtl. die MTU verändert?

Abgesehen von der CPU-usage machen scp, ftp, HTTP-gets wohl nichts anderes als iperf. Lediglich TCP_NODELAY dürfte da anders gesetzt sein (Apache verwendet das, scp vermutlich, bei ftp fraglich - kann man bei iperf mit -N auch setzen). Die CPU wird wohl nicht das Problem sein, außer du hast so aggressives power management dass sie bremst weil sie während der I/O-waits verlangsamt wird.

Re(2): GBit Nic, die auch die Leistung bringt gesucht

MG — Sun, 15 Jul 2012 19:44:38 GMT

Hm. Das macht die Sache nur noch mysteriöser. iperf zeigt mir ca 700Mbit/s an.

Wenn ich aber mit scp, ftp oder www kopiere, und Quelle und Ziel in eine RAM Disk lege,
komme ich wieder auf die knapp über 100Mbit/s.

Re(2): GBit Nic, die auch die Leistung bringt gesucht

MG — Sun, 15 Jul 2012 19:44:38 GMT

Hm. Das macht die Sache nur noch mysteriöser. iperf zeigt mir ca 700Mbit/s an. Auch wenn ich mit -P 1 auf einen thread begrenze.

Wenn ich aber mit scp, ftp oder www kopiere, und Quelle und Ziel in eine RAM Disk lege,
komme ich wieder auf die knapp über 100Mbit/s.

Re(5): GBit Nic, die auch die Leistung bringt gesucht

tha_haze — Sun, 15 Jul 2012 19:36:11 GMT

Woher hast du, dass es im Userspace wäre?

und netcat dabei auf 100% CPU Last geht

Das habe ich daraus impliziert.

Ansonsten wie gesagt würde ich von netcat weggehen oder zumindest die Parameter ein wenig tunen

Re(2): GBit Nic, die auch die Leistung bringt gesucht

mjy@geizhals.at — Sun, 15 Jul 2012 19:27:54 GMT

für 10Gbit Verbindungen habe ich mit HP/Emulex gute Erfahrungen gemacht.

Wir nicht ...

Intel 82599EB <=> NETXEN NX3031 (= HP branded) 3.14 Gbit/s

Intel 82598EB <=> Intel 82599EB 7 Gbit/s

Re: GBit Nic, die auch die Leistung bringt gesucht

mjy@geizhals.at — Sun, 15 Jul 2012 18:49:09 GMT

nc -vvv ?

Wieso misst du nicht mit iperf? Das ist dafür gebaut ...

PS. Intel 82571EB <=> )ntel 82571EB 940Mbit/s

Re: GBit Nic, die auch die Leistung bringt gesucht

mjy@geizhals.at — Sun, 15 Jul 2012 18:49:09 GMT

nc -vvv ?

Wieso misst du nicht mit iperf? Das ist dafür gebaut ...

Re: GBit Nic, die auch die Leistung bringt gesucht

powerleecher — Sun, 15 Jul 2012 18:31:35 GMT

Hmmm, dass Broadcom jetzt nicht die allerbesten NICs sind kann ich dir sofort bestätigen, ich würde sie eine Stufe über Realtek einstufen...

Für die Windows Welt empfehle ich für 1Gbit Verbindungen Netzwerkkarten mit Intel Chipsatz, und für 10Gbit Verbindungen habe ich mit HP/Emulex gute Erfahrungen gemacht. Aber ich habe die Intel unter Linux noch nie getestet weil ich Linux kaum einsetze.
Ich würde Durchsätze zwischen 80 und 90MB / s erwarten... Mehr brauche ich im Alltag auch nicht, da kommt mir ja ein einzelne SATA Disk schon nicht mehr mit. Vielleicht kann man mit den endlos vielen Treibereinstellungen im Intel NIC Driver noch einiges optimieren, aber es ist mir persönlich nicht wichtig genug, ich bin mit meinen 90MB/s durchaus zufrieden.

Re(4): GBit Nic, die auch die Leistung bringt gesucht

MG — Sun, 15 Jul 2012 18:21:36 GMT

Woher hast du, dass es im Userspace wäre?
Es geht eh 3,6% us, 31,4%sys, 62,3% idle

Und wenn ich es über das local Interface abwickle komm ich auch auf ca 200MB/s. Was in etwa der Taktfrequenz des Buses entspricht und in Ordnung ist.
Wenn aber ein I/O Prozess nur einen von 10 Takten benutzt um Daten zu schaufeln, dann ist das ineffizient.

Re(3): GBit Nic, die auch die Leistung bringt gesucht

tha_haze — Sun, 15 Jul 2012 17:23:01 GMT

Dann ist die Last aber ebenfalls nicht im User-Space angesiedelt.
Du kannst ja für jeden weiteren Core deines Rechners eine weitere Konsole öffnen und parallel ein paar Tests laufen lassen.

-vvv ist hier fehl am Platz genauso wie das falsch spezifizierte -n und mit -u könntest du auf UDP wechseln

Wer ist Sender und wer ist Empfänger?

Re(2): GBit Nic, die auch die Leistung bringt gesucht

MG — Sun, 15 Jul 2012 17:12:13 GMT

Doch. In dem Sinne dass NIC und Treiber eine Einheit sind.

Re: GBit Nic, die auch die Leistung bringt gesucht

tha_haze — Sun, 15 Jul 2012 17:07:43 GMT

Wenn netcat auf 100% CPU geht dann ist aber nicht die NIC schuld...

[solved] GBit Nic, die auch die Leistung bringt gesucht

MG — Sun, 15 Jul 2012 16:38:16 GMT

Bitte um Infos welchen Chip ich da in Kauf nehmen kann. Habe bis jetzt nur 100MBit gehabt. Jetzt nach Umstellung des Switches auf GBit, habe ich mit Schrecken festgestellt, dass ein intel i7 Notebook mit Broadcom BCM57780 im Durchschnitt gerade mal mit 16MB/s schafft, und netcat dabei auf 100% CPU Last geht, während auf der anderen Seite ein Athlon FX 6 mit RTL8111/8168B gerade mal auf 22% CPU kommt.

gemessen mit:
cat /dev/zero|nc -vvv -n 10.0.0.145 2222
auf der Senderseite, und
nc -vvv -l -n 2222 |pv -tbr >/dev/null
auf der Empfängerseite. Damit sollte Plattenperformance als Bremse ja wegfallen.

Mit welchen Chips kommt ihr an die theoretischen 125MB/s zumindest nahe heran?

EDIT: Die NIC war weitgehend unschuldig. Es hat sich letztendlich vorwiegend als Problem des openssh-Servers herausgestellt, der nicht mehr als etwas über 100-150Mbit zulässt.

GBit Nic, die auch die Leistung bringt gesucht

MG — Sun, 15 Jul 2012 16:38:16 GMT