Ivy-Bridge Xeon, Mainboard, ECC-Speicher, Linux

Ivy-Bridge Xeon, Mainboard, ECC-Speicher, Linux (34 Beiträge, 10535 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Hi,

ich brauchte für eine Linux-Workstation (Debian Squeeze dzt) eine Kombination aus CPU, Single-Socket-Mainboard (am besten ATX) und ECC-Speicher, die auch reibungsfrei funktioniert

Die CPU solls werden: http://geizhals.at/778208
Dürfte ein sehr guter Kompromiss bezüglich Performance/TDP/Preis sein, und kann ECC, wie auch alle wichtigten Extensions (HT, Turboboost, etc.)

Mainboard wäre mir das hier in die Auswahl gekommen: http://geizhals.at/771817
Kann 4xECC-DDR3-1600, man verschwendet keinen Slot mit einer Dual-Slot-GraKa, hat einen PCI-Slot, etc. Wie ist das eigentlich mit UEFI, ich hab damit null Erfahrung - sind da größere Verrenkungen notwendig, gehts überhaupt, gehts direkt?

Tja, und nun zum Speicher. Das hatte ich mir einfacher vorgestellt. Die paar Riegel die auf der QVL von Asus stehen, kriegt man hier kaum. Ich will 4x8GiB=32GiB RAM haben. Fix ist mal, dass das Board nur unbuffered ECC kann.

Letztendlich kommen zwei Kandidaten in die Auswahl:
2x http://geizhals.at/697913?v=k  oder
1x http://geizhals.at/697913?v=k  - darüber gibts noch die deutlichsten positiven Erfahrungsberichte.
(Absurderweise teurer als die regECC - http://geizhals.at/774938?v=k )

Auf Newegg (http://www.newegg.com/Product/Product.aspx?Item=N82E16813131849 ) und in anderen Foren liest man tw. Horrorstories über den ECC-Support des Boards, wobei oft unklar ist, ob da nicht einfach ein altes memtest oder ein OS ohne ECC-Support (Windows 7?) verwendet wurde.  Die Bewertungen des P8C hier und auch des P8B passen mit denen bei Newegg eigentlich überhaupt nicht zusammen.

Hat hier jemand Erfahrung mit dieser Kombination, bzw. auch zu UEFI? Danke!

27.09.2012, 12:34 Uhr - Editiert von MrT2004, alte Version: hier

Ich hatte den Vorgaenger des Boards (mit C206 sattt C216) in einem Hetzner-Server, und zumindest mit dem CentOS-6-Kernel gab es das reproduzierbare Problem, dass sich alle N Tage/Wochen die NIC spontan verabschiedet hat. Also, ploetzlich war es so, als waere kein Medium mehr da. Gab auch einen (nahverwandten) Bug im Tracker (auf Sourceforge; unertraeglich mies!) der e1000(e)-Entwickler, aber es ist generell eher muehsam, mit denen zu kommunizieren. Hab dann die Hardware gewechselt.

Ich hab auf der Suche nach einem aehnlichen Board diesen Thread hier gestartet: http://forum.geizhals.at/t801517.html - vielleicht gefaellt dir eines der dort ausgegrabenen Modelle ja besser. Dann musst du aber nochmal ~120 Euro draufrechnen, wenn die von mir erfragten Preise (in Deutschland) dafuer noch gelten. Wenn du ohnehin keine Intel IGP verwenden willst (wozu ich aber generell unter GNU/Linux raten wuerde - es sei denn, du planst irgendwas in Richtung CUDA oder wirklich anspruchsvoller OpenGL-Anwendungen), dann ist vielleicht S2011 die bessere Plattform fuer dich - da gibt es ja auch einige attraktive CPUs und Mainboards mit ECC-Support. Ich weisz uebrigens nicht sicher, ob EDAC heute schon Ivy-Bridge-Support hat - evtl. musst du dann einen eigenen Kernel in die Distro deiner Wahl mitbringen (ich pers. habe z. B. Debian Squeeze mit jeweils aktuellen Kernel-Images von kernel.org laufen, und das absolut problemlos).

Bisher habe ich nur ein Board mit UEFI (von ASRock), und das bootet dank Legacy-Support fuer non-EFI-Bootloader voellig problemlos Debian Squeeze. Ich wuerde mir da an deiner Stelle nicht zu viel den Kopf zerbrechen - wird schon schiefgehen

Ganz genau meine Linux Erfahrung -es wird schiefgehen!

In meinem Fall musste hp dann Treiber programmieren! Zum Glück war meine Ausschreibung und mein Vertrag wasserdicht.

MfG Lukas

Ich hatte den Vorgaenger des Boards (mit C206 sattt C216) in einem
Hetzner-Server, und zumindest mit dem CentOS-6-Kernel gab es das
reproduzierbare Problem, dass sich alle N Tage/Wochen die NIC spontan
verabschiedet hat. Also, ploetzlich war es so, als waere kein Medium mehr da.
Gab auch einen (nahverwandten) Bug im Tracker (auf Sourceforge; unertraeglich
mies!) der e1000(e)-Entwickler, aber es ist generell eher muehsam, mit denen
zu kommunizieren. Hab dann die Hardware gewechselt.

Ich dachte gerade die Intel-NICs werden unter Linux sehr gut unterstützt? Ich hatte mit diskreten PCIe 82574L in verschiedensten Rechnern noch nie Probleme. Ist der e1000e Treiber.

IGP brauch ich keine, nein. Das hab ich übersehen, es ginge mit http://geizhals.at/781378 noch billiger. Die 120€ würden mich nicht stören. Allerdings ist die Xeon-Auswahl auf S2011 schon ziemlich eingeschränkt, so ein geniales P/L-Verhältnis wie beim S1155 finde ich da nicht. Mit HT und Turboboost ist das sehr mager:

http://geizhals.at/?cat=cpuppro&sort=r&bpmax=&asuch=&v=k&plz=&dist=&xf=820_2011%7E5_ECC-Unterst%FCtzung%7E5_Turbo+Boost%7E5_Hyper-Threading#xf_top

6x2GHz, ich weiß nicht. Ich brauch eher gute Single-Thread-Performance, die Simulation die laufen soll bringt zumindest im Moment nicht besonders gute Speedups durch Parallelisierung. Da sie recht datenintensiv (plus Java

) ist, evt. ein Caching-Problem, denn Synchronisation ist nur sehr selten nötig (genetischer Algorithmus).

Ohne HT aber mit TurboBoost bleibt de facto nur der: http://geizhals.at/734004?v=k
Wäre natürlich eine Option, aber da sollte ich vorher austesten woran die dürftigen Speedups wirklich liegen, sonst ärgere ich mich dann vielleicht, wenn ich auf HT verzichte. Kompliziert!

Wird aber noch "besser", denn das einzige vernünftig lieferbare Board dazu

http://geizhals.at/?cat=mbxeon&xf=644_Sockel-2011&sort=p

ist E-ATX und daher würde auch ein neues Gehäuse fällig. Oh Mann. Da könnte man schon schwach werden und einfach einen i7 nehmen um hier nicht Betatester zu spielen:

http://geizhals.at/?cat=WL-266249

Kann natürlich kein ECC, aber der Speicher ist auf der QVL. Lagernd und um 100€ billiger ist die Kombination auch noch.

Als vorläufige Zusammenfassung find ich das alles einfach nur mehr absurd. Warum ist die professionelle und teurere Lösung mit ECC so kompliziert im Vergleich zur "wird scho passen augen zu und durch"-non-ECC Lösung....ärgerlich!

Ich habe auch viele NICs (mindestens sechs Stueck - sowohl onboard als auch als Steckkarte), die durch e1000e betrieben werden, und mit keiner einzigen Probleme - deshalb hat es mich auch etwas elektrisiert, dass das beim ASUS P8C-Vorgaenger zu einem solchen nervigen Phaenomen gekommen ist - erst der Bugtracker hat mir dann bestaetigt, dass ich nicht ganz allein auf der Welt mit diesem Problem bin/war. Kann natuerlich sein, dass ich einfach nur ziemliches Pech hatte, und der Rest der Serie eh unbetroffen ist. Ymmv

Ich verstehe die Anforderungen nicht - wozu ECC?

Warum kaufst du keinen Markenserver und steckst eine Grafikkarte rein. Dann ist die linuxkompatibilität wenigstens halbwegs gesichert.

MfG Lukas

Ich verstehe die Anforderungen nicht - wozu ECC?

weil er speicherfehler vermeiden will, das ist bei einem server schon sinnvoll.

Warum kaufst du keinen Markenserver und steckst eine Grafikkarte rein.

wer sagt das er grafikleistung braucht?

Dann ist die linuxkompatibilität wenigstens halbwegs gesichert.

in einem "markenserver" können genauso komponenten verbaut sein für die es keine linux treiber gibt.

Er sucht eine Workstation! Daher dachte ich, dass er auch Grafik brauchen wird.

Da aber Workstations mittlerweile teurer sind als Server, hab ich das vorgeschlagen.

Bei einem Markengerät gibt's eine Compatibility List!

MfG Lukas

Er sucht eine Workstation! Daher dachte ich, dass er auch Grafik brauchen
wird.

workstation hat ja nichts mit grafikleistung zu tun.

Bei einem Markengerät gibt's eine Compatibility List!

normalerweise geben die nur an das windows läuft, ob linux alle treiber dafür hat ist den herstellern bei den meisten modellen total egal.

Unter "Marke" verstehe ich IBM, Hp, Dell, Fujitsu, Oracle/Sun. Und dort bekommst du seitenweise Listen für Linux. Und ich denke auch die anderen Markenhersteller sehen AM SERVER den Linuxmarkt.

http://www.heise.de/open/artikel/Eingesetzte-Produkte-224518.html

Am Client ist Linux kommerziell vollkommen irrelevant und wird daher ignoriert.

mfg
lukas

Weil ich genug Zorres mit halbdefekten RAM-Riegeln hatte, und heutzutage selbst ECC-Speicher wie ich finde für Privatpersonen leistbar ist. Ich brauch das Ding für wissenschaftliche Berechnungen, die durchaus mal einige Stunden oder wenige Tage laufen, und ich will mich drauf verlassen können, dass ich mitkriege, wenn was mit dem RAM nicht stimmt. Nicht erst nach drei Tagen memtest, auf einmal reihenweise Bitfehler - alles schon gehabt. Genauso wie Riegel, die von einem Tag auf den anderen auf einmal kaputt werden usw. usf. - klarerweise Pech, dennoch Ärger ohne Ende!

Grafikpower brauch ich keine, nur CPU und Speicher. Die Simulation ist allerdings nicht so groß dass man sie auf irgendeinen Cluster auslagern sollte oder müsste. Das zahlt sich nicht aus.

Edith: Und ich will einfach ein Upgrade meines derzeitigen Phenom II X4 durchführen, d.h. Mainboard+CPU+Speicher aufrüsten. Das geht deutlich unter 1k€, eine ganze Workstation zu kaufen obwohl ich "nur" die drei Teile brauch, erscheint mir etwas überdimensioniert. Außer, man könnte das ganz exakt konfigurieren, keine Disks, keine Graka etwa, kein blödes DVD-LW, das hab ich alles.

28.09.2012, 12:24 Uhr - Editiert von MrT2004, alte Version: hier

Sehe ich genau so, und ich gebe gerne ein paar % mehr aus, um den ECC-Sicherheitspolster unter mir zu haben.

-> http://www.heise.de/newsticker/meldung/Hauptspeicherfehler-sehr-viel-haeufiger-als-bisher-angenommen-828883.html

Dieser Beitrag bezieht sich auf eine ältere Version des beantworteten Postings!

Du hast mich da eh inspiriert, mein TGS 1er-Prüfling

wtf... Thomas?! :D

psssst

Verstehe!

Blöde Frage: Cloud? (Amazon, Google...)

Wegen einer Diplomarbeit leg ich mir doch nicht so ein eher unpraktisches Gerät zu?!?

mfg
lukas

Verstehe! Blöde Frage: Cloud? (Amazon, Google...)

Meine letzte EC2 Rechnung betrug 300€, da die einzig brauchbare Instanz - mit der wirklich was weitergeht - eine Cluster Compute Instance ist. Sowas geht schnell, nach 2-3 Tagen. Das macht mittelfristig keinen Sinn, und das arbeiten/entwickeln/fehlersuchen ist lokal wirklich deutlich einfacher.

Wegen einer Diplomarbeit leg ich mir doch nicht so ein eher unpraktisches
Gerät zu?!?

Diss bzw. Förderung erhalten. Allerdings will ich nicht tausende an Euroiroinononnenen nur für ein Workstation-Upgrade ausgeben, ich brauch auch noch Rechner für empirische Tests, muss die Stromkosten zahlen etc.

Hab fast Deine Config (allerdings mit einer Sany Bridge CPU) und nen Supermicro Board.
OS ist ubuntu server 12.04. Läuft ohne merkbare Probleme (auch die Intel NIC).

EDITH: Board ist http://geizhals.at/645185
Würde es aber auch in deiner Variation geben

28.09.2012, 15:10 Uhr - Editiert von nerve, alte Version: hier

Danke, das ist mal etwas. Ivy-Bridge dürfte mit den Boards nur mit BIOS-Update gehen, wofür man klarerweise eine Sandy-Bridge CPU braucht. Die ATX-Version dürfte seltsame PCI-Slots haben, wenn ich das richtig interpretiere (3.3V only).

Welchen Speicher hast du denn? Und könntest du evt. den EDAC-Output posten?

Also meines war schon gepatched ausgeliefert worden.
Was aber keine Garantie ist.

Speicher hab ich den http://geizhals.at/473094
EDAC unterstützt leider meinen E3 nicht.

Danke, nehme jetzt 2x http://geizhals.at/697913

Der EDAC-Treiber fuer Sandy-Bridge-CPUs/Speichercontroller heiszt "sb_edac" - den gibt es erst seit Linux 3.2 (und er ist auch noch recht experimentell laut Source), und ist, so wie ich das sehe, im Ubuntu-Kernel von 12.04 nicht aktiviert. Ich weisz auch nicht, ob der fuer IVB-CPUs geeignet ist - wuerde mich aber wundern, wenn das nicht der Fall waere. Vielleicht magst du ja einen aktuellen Kernel bauen, und testen, ob das Modul auch mit deinem Xeon tut?

Das sb_edac Modul ist schon da, allerdings wie geschrieben unterstützt es nur e5-2[46]xx.
Scheint so als würde der Memory Controller vom E3 anders funktionieren und würde einen eigenen Treiber erfordern.
Siehe hier http://marc.info/?l=linux-edac&m=133103801924370&w=2

Hab jetzt einen 3.6 am Laufen, aber EDAC geht leider nicht:

$ sudo edac-util -s
edac-util: EDAC drivers loaded. No memory controllers found

Wird wohl noch dauern.

Kommt auch ein Board aus der Server-Welt in Frage?
Ich verbaue bei Entry Servern sehr gerne Supermicro, für deine CPU (Skt. 1155) und ECC RAM würde z.b. dieses hier in Frage kommen:

Da funktioniert mit ECC auch alles wenn du einen der zertifizierten Speicherriegel verwendest (sind bei dem Board noch nicht so viele, aber der Supermicro Support kann dir sicher noch mehr Varianten nennen, einfach hinmailen):

http://www.supermicro.nl/products/motherboard/Xeon/C216/X9SAE.cfm

Ich hab mir jetzt ein http://geizhals.at/645009 bei Amazon sowie http://geizhals.at/809392 ebenfalls dort bestellt. Sollte irgendwas gröber nicht funktionieren, werd ich den hoffentlich wie immer unkomplizierten Amazon-Umtausch/Storno in Anspruch nehmen müssen.

Denke die meisten Probleme die mit diesem Board im Netz beschrieben werden handeln davon dass es mit einem BIOS das kein Ivy-Bridge kann ausgeliefert wurde. Da kann man sich durchaus ver.... vorkommen.

Edith: Irgendwas ging da bei der Bestellung schief, der RAM ist nicht dabei. Evtl. hat ihn mir jemand unter der Nase wegbestellt, ist momentan nicht mehr lieferbar. grrrr

Edith2: Nehme den Speicher http://geizhals.at/697913 - den findet man auf der Kingston-Seite für das Board, ist im Netz als funktionierend beschrieben, und hier wurden die kleineren 4GiB Module als mit dem Board funktionierend gepostet.

29.09.2012, 08:12 Uhr - Editiert von MrT2004, alte Version: hier

Soda, das Werkl funktioniert grundsätzlich. BIOS war Ivy-Bridge ready, und wenn man mal den richtigen Speicher verbaut, dann gehts auch. War eine größere Lieferung, da ist Überblick teuer

Für den Crawler: mit 2x KVR1333D3E9SK2/16G (= 4x8GB = 32GB) bootet das Supermicro X9SCA-F ohne Probleme. EDAC-Treiber ist klarerweise nicht vorhanden.

Die PCI-Slots scheinen etwas seltsam zu sein. Mit einer neueren PCI-Soundkarte startet der Rechner gar nicht, mit einer älteren (10 Jahre) schon, der Kernel empfiehlt beim Booten jedoch irqpoll. Mal beobachten. Seltsam ist auch dass beide Karten sowohl 3.3V als auch 5V kompatibel sind.

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung