Rechenleistung im Rack

Rechenleistung im Rack (18 Beiträge, 431 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Für unsere Simulationen benötigen wir CPU-Rechenleistung und das sollte für kleines Geld umgesetzt werden.

Zurzeit setzen wir 10 Stück Threadripper 3970X (und noch zig ältere i9 und XEONS) ein.

Da die neuen Threadripper und Epyc absurd teuer sind würden wir auf den Ryzen 9 7950x setzen.

Für die Simulation Luft ist eine 10Gbit Anbindung vorgesehen da dabei ziemlich viel Daten zwischen den Rechnern und unserem QNAP geschoben werden (mit mehr Bedarf an RAM).

Für die Simulation Schall ist nur die reine Rechenleistung interessant.

SSD dient nur zur Windows Installation (die Software kann nur Windows)

Wir hätten die Rechner gern im klimatisiertem Serverraum in Racks untergebracht damit dort nicht so viele Kastln herumstehen.

Gibts da noch Verbesserungspotential bzw. Einsparungspotential? (Lösung im Rechenzentrum geht wegen der großen Datenmenge / Hardwaredongle leider nicht)

Luft: https://geizhals.at/?cat=WL-2970479

Schall: https://geizhals.at/?cat=WL-2970481

Vielen Dank!

____________________________________________________________________________________ Treffen sich zwei FPÖ-Funktionäre - sagt der eine zum anderen: "Und, welches ist dein Lieblingsgericht?" Natürlich kann man die FPÖ wählen um seinen Unmut kundzutun. Man kann ja auch sein Auto anzünden um der teuren Werkstatt eins auszuwischen. http://www.youtube.com/watch?v=pO_aW9ed5PI#t=3m42s

25.01.2023, 12:04 Uhr - Editiert von Bullseye2550, alte Version: hier

Da die neuen Threadripper und Epyc absurd teuer sind würden wir auf den Ryzen
9 7950x setzen.

Die lassen sich halt die Speicherbandbreite bezahlen. Die wird Dich bei Strömungsdynamik sehr viel eher limitieren als die reine Rechenleistung, im Ergebnis skaliert sowas typisch fast linear mit der Anzahl der Memory Channels.
Siehe z.B. die unterste Grafik hier: https://www.phoronix.com/review/ddr5-epyc-9004-genoa/2

Ein Dual-Channel-Consumermainboard mit übertaktetem Gaming-RAM spielt da nicht ganz in der gleichen Liga. Zumal noch die Frage wäre, wie teuer Euch Speicherfehler kommen. Bzw. ob die Software überhaupt versucht, unplausible Daten zu erkennen oder einfach stillschweigend falsche Ergebnisse liefert.

ist eine 10Gbit Anbindung vorgesehen da dabei ziemlich viel Daten zwischen den
Rechnern und unserem QNAP

Wie viel Dampf hat denn Euer QNAP? Und die Daten werden hoffentlich nur beim Start der Simulation gezogen und dann lokal auf der SSD vorgehalten? Ansonsten wird das die Bremse sein, da sind alle anderen Überlegungen hinfällig.

bei uns geht es wirklich nur um reine Rechenleistung, die Programme funktionieren eigentlich wie prime95. Speicherfehler (falls jemals einer ist) fallen entweder auf oder eben nicht.

Unser QNAP ist recht gut, an dem scheiterts nicht.

Bei uns ist einfach nur wichtig wie viel (rechenstarke) Kerne bekomme ich für x€ (die Programme sind pro PC eh auf 64 Kerne / Threads beschränkt und wir teilen das bei großen Sachen eh in Kacheln auf).

25.01.2023, 12:43 Uhr - Editiert von Bullseye2550, alte Version: hier

bei uns geht es wirklich nur um reine Rechenleistung, die Programme
funktionieren eigentlich wie prime95.

Prime95 ist die meiste Zeit ziemlich lokal unterwegs, und wo nicht, dann wenigstens ziemlich linear.
CFD eher nicht.

Speicherfehler (falls jemals einer ist) fallen entweder auf oder eben nicht.

Bei den heutigen Speichergrößen und Packungsdichten flippt Dir schon die kosmische Hintergrundstrahlung hier und da mal ein Bit im Hauptspeicher. Nicht mehr einmal in 100 Jahren, eher täglich. Deshalb hat man ja bei DDR5 endlich On-Die-ECC eingebaut. Und Server-Module packen da trotzdem noch klassisches ECC drauf.

Unser QNAP ist recht gut, an dem scheiterts nicht.

Bei uns ist einfach nur wichtig wie viel (rechenstarke) Kerne bekomme ich für
x€

Glaubst Du das nur oder bist Du Dir da sicher? Wenn ja, warum?

die Programme sind pro PC eh auf 64 Kerne / Threads beschränkt und wir
teilen das bei großen Sachen eh in Kacheln auf).

Und die Software wird wie lizensiert? Schon nach Kernen/Threads oder doch noch nach Systemen? Die Epyc sind nicht grundlos so teuer. Der Markt gibts her, weil die Softwarekosten in vielen Bereichen dominieren, aber tendenziell immer noch pro System (oder zumindest pro Socket) abgerechnet werden und es sich daher lohnt, soviel Dampf wie möglich in eine Kiste zu paclen.

Als erstes würde ich mal auf einem Eurer Threadripper testen, wie sich die Software verhält, wenn Du 4 channel mit 2 vergleichst. (Gut, die Speichergröße sollte dabei nach Möglichkeit die gleiche bleiben - aber 64 GB scheinen Euch ja zu reichen, und 4x16 mal testweise auf 2x32 umzurüsten, trägt selbst als Server-RAM keine prohibitiven Preisschilder mehr).

Der nächste Schritt wäre mit einem Profiler nachzusehen, wo und warum die CPU Däumchen dreht. Bei Eurer Anwendung werden mit ziemlicher Sicherheit LLC misses die Hauptursache sein.

Dein Consumer Grade Testsystem kannst Du ja trotzdem bauen. Aber erstmal nur eins zum Benchen.

Wir haben das schon getestet wie die Skalierung aussieht:

i9 7900x: Basiswert 1
Threadripper 3970x: 3,4
Ryzen 9 5950x: 2,1
Ryzen 9 7950x: wird hoffentlich bei 2,5 sein oder mehr

Wir haben ca. 15 i9 da oben stehen die viel heiße Luft produzieren aber wenig weiterbringen, diese werden wieder zu Bürorechnern degradiert und sollen durch eine ähnliche Anzahl von Ryzen 9 ersetzt werden. Die rechnen ja auch nicht 24/7 das ganze Jahr sondern wenn Projekte anstehen. Ob das dann 6 Stunden mehr oder weniger dauert ist dabei eher egal bzw. müsste der Mehrpreis schon ordentlich gerechtfertigt sein.

Die Software stammt aus dem Jahr 2020 oder davor, die eine rennt noch im Dos-Fenster, wir sind schon froh dass die Kerne zu 100% ausgelastet werden aber sie tut was sie soll.

Bei uns gehts darum ob wir die System so ins Rack packen können und obs noch Verbesserung dafür geben kann, ansonsten stehen halt wieder 15 Kastl im Raum herum mit unnötiger Verkabelung, ...

wir stellen 2 Ryzen 9 Kastln hin und haben mindestens die Rechenleistung eines Threadrippers wo die CPU schon das vierfache kostet, das war unsere Überlegung.

25.01.2023, 15:22 Uhr - Editiert von Bullseye2550, alte Version: hier

Rechnet ihr 7x24 oder nur zu ausgewählten Zeiten?

Wir müssen täglich zwischen Mitternacht und 6 in der früh massive Modellrechnungen mit hunderten Cores durchführen. Die alte Lösung waren einige Racks mit Servern. Die neue Lösung steht bei AWS in Frankfurt und kostet einen Bruchteil, auch wenn man Teile der 10 GBit Leitung mit rechnet.

Wir verwenden sogenannte Spot-Instanzen (ungenutzte Überkapazitäten ohne SLA), die beinahe gratis sind.

Kann man mit dem Hersteller der Software über den Dongle reden und wo er den in der Cloud anstecken will? Das ist ja Software aus dem letzten Jahrtausend.

25.01.2023, 18:19 Uhr - Editiert von Paulas_Papa, alte Version: hier

Bist du sicher dass der CPU Kühler kompatibel ist?

Es steht nur "Sockel AM4", du hast aber AM5 CPU und Board.

2. steht auf der Hersteller HP etwas von "max. TDP 105", der 7950 hat aber 170

https://www.inter-tech.de/produktdetails/A-24.html

Laut Hersteller kann der Kühler genau das was gefordert ist: https://www.dynatron.co/product-page/a24

fein, GH hat zum anderen Link verlinkt und da steht was anderes ... Wird schon passen und wenn nicht, wirst es eh merken

Und sollte er nicht ausreichen, nimmst halt einen der beiden hier, kosten geringfügig mehr

https://geizhals.at/?cat=cpucooler&xf=18162_2HE%7E817_allAM5

25.01.2023, 23:05 Uhr - Editiert von Alkestis, alte Version: hier

Wird schon passen und wenn nicht, wirst es eh merken

Und dann könnte man immer noch die PPT runterdrehen

Und sollte er nicht ausreichen, nimmst halt einen der beiden hier, kosten
geringfügig mehr

Der größere Lüfter wäre vermutlich auch deutlich leiser, wird im Serverraum aber egal sein.
Thermalright wäre auch noch eine Option. Waren längere Zeit nicht so gut lieferbar (hat mir selbst letztens noch eine Bestellung um eine Woche verzögert), aber seit sie die selbst über Amazon verkaufen, problemlos verfügbar. Und gar nicht mehr so teuer: https://www.amazon.de/dp/B0B5LDJ74Z

(und bevor die Frage aufkommt - ja, die passen auch auf AM5)

und bevor die Frage aufkommt - ja, die passen auch auf AM5

Die kommt nicht auf, ich hab keinen AM5, bei mir werkelt ein 12700KF mit einer Arctic Freezer II 280

AMD hat gestern die Releasetermine für die X3D Versionen bekanntgegeben. Den 7950X3D solls ab 28. Februar zu kaufen geben. Wäre für Eure CFD-Anwendung sicher eine Überlegung wert, wenn ihr schon nicht in Speicherbandbreite investieren wollt.

Wir sind uns nicht sicher ob der zusätzliche L3 Cache die niedrigere Taktrate wettmacht.
Wir testen jetzt mal 4 Stück von den normalen 7950X.

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung