100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

Re(16): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

MaxPower81 — Thu, 10 Aug 2023 16:28:20 GMT

weil jemand überlegungen anstellt, in diverse richtungen offenbar (thema andere threads), ist er bei mir noch nicht gescheitert... wenn er sich ein 100gbit lan aufbaut und dann hier fragt warum seine 4 hdds das netzwerk nicht auslasten, dann wär er gescheitert mit seinem vorhaben aber man könnte ja auch auf die idee kommen in einen "server" sagen wir 8tb "high performance" speicher reinzubasteln auf den man dann fullspeed (im fall von pcie 5.0) zugreifen könnte und zusätzlich spinning disks für naja ka sagen wir "datengrab"

wie gesagt ist nicht mein bier, vor 15 jahren hatte ich ein 6he rack voll belegt mit lastgen refurbished servern im keller stehn, selbst meine "freak"-freunde haben mir den vogel gezeigt, vor ~6 jahren ist das ganze rack inkl inhalt (ohne hdds) zurück an ebay gegangen und die funktion erfüllt jetzt eine zweckentfremdete dell workstation mit xenon cpu und 64gb ecc ram (nas und paar vms) da zuckt schon jeder nur noch mit den schultern und sagt sowas wie "naja ich nehm synology" ja und mir reichts halt nicht... ich will mehr, könnt ich ohne überleben? sicher. aber warum soll ich meine umgebung nicht soweit an mich anpassen wie ich es eben kann? ich hab mir sogar was geschrieben damit sich hyper-v vm´s per WOL hochfahren lassen, weil das nicht OOTB ging.

ich hab dabei übrigens auch einiges gelernt, und mein ursprünglicher plan esxi zu verwenden zb ist dann nicht zum einsatz gekommen weil esxi mehr strom gebraucht hat (unglaublich aber wahr) als windows und dann in hyper v virtualisieren... im rechenzentrum egal weil da gehts um 5-10 watt, aber @home ist das schon eine zusätzliche hd die 24/7 läuft... willkommen in der welt der hobby bastler! hätte ein echter pro esxi optimieren können damit es genausoviel oder noch weniger strom braucht als windows? wahrscheinlich! hatte ich da lust drauf? eher nicht, und die kiste läuft seit paar jahren ohne ein problem, trotz "consumer os" also wen juckts?

auf jeden fall neigt sich die derzeitige lösung auch unvermeidlich ihrem ende zu, und damit auch das im haus befindliche 1gbit lan, bevor ich jetz auf 10g gehe und in 10 jahren dann auf 100 spiel ich schon mit dem gedanken das zu skippen, zumindest für server und die 3pcs wo es mir wichtig ist dass sie "fullspeed" angebunden sind. aber wie gesagt hab mich da aktuell noch nicht eingelesen, weil es auch noch nicht urgiert.

aber hey, 2 dinge sind faktisch zur kenntnis zu nehmen, hat er sich unseren dialog durchgelesen weis er jetz ca worums geht, und uns beiden war im leerlauf dann doch auch nicht langweilig, so long wünsche trotz unterschiedlichen standpunkten noch einen schönen abend!

Re(15): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Thu, 10 Aug 2023 08:51:02 GMT

um es kurz zu halten - und weil der TE sowieso nichts dazu sagt: Ich halte es generell für die einfachste Lösung, die teuersten Komponenten zu kaufen. Da muss ich mich weder mit den Anforderungen, noch mit den Vor- und Nachteilen der jeweiligen Konfigurationen beschäftigen. Man nimmt einfach viel Geld in die Hand und macht sich keine weiteren Gedanken darüber. Wenn man allerdings versucht, die optimale Lösung zu finden, dann muss man sich (selbst) mehr mit der Materie beschäftigen und dadurch entstehen auch weitaus komplexere Fragestellungen, Hürden und Hindernisse.

Soweit ich seine Threads verfolgt habe, sehe ich hier aber kein Gesamtkonzept - und deshalb bin ich auch nicht gewillt, irgendwelche Infos zu liefern. Wer Enterprise Hardware einsetzen möchte, sollte mehr Wissen haben und nicht schon daran scheitern, ob die Karte mit einem bestimmten OS kompatibel ist.

dann braucht er einfach nur ein board mit genug m2 und oder pcie lanes damit er da 8tb m2 ssds verbauen kann

soll ich es jetzt in Frage stellen, warum er mehrere 20TB-SATA Platten kaufen möchte oder nicht? Da sind wir wieder bei dem Punkt, dass das Setup hinten und vorne nicht passt. Wenn sich jemand für seinen Office-Rechner 256TB RAM reinpacken möchte, weil er gehört hat, dass mehr RAM immer besser ist, soll ich das dann in Frage stellen oder ihm zu seinem tollen Projekt gratulieren? Es ist nicht - wie du formuliert hast - Missgunst. Aber Anerkennung und Unterstützung für ein "Ich kauf einfach die teuersten Komponenten am Markt, obwohl ich schon an den kleinen Details scheitere"-Projekt gibt's bei mir nicht ...

und um bei der Analogie zu bleiben... wenn ich ihm erklären muss, wie man die Motorhaube öffnet, damit er den 911er Motor im 2er Golf einbauen kann, dann hat er sich wahrscheinlich etwas zu viel vorgenommen. Wenn ich Enterprise Hardware einsetzen möchte, dann gehört es eben auch dazu, Datenblätter zu lesen und zu verstehen...

Re(15): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Thu, 10 Aug 2023 08:51:02 GMT

dann braucht er einfach nur ein board mit genug m2 und oder pcie lanes damit er da 8tb m2 ssds verbauen kann

Re(15): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Thu, 10 Aug 2023 08:51:02 GMT

dann braucht er einfach nur ein board mit genug m2 und oder pcie lanes damit er da 8tb m2 ssds verbauen kann

Re(14): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

MaxPower81 — Wed, 09 Aug 2023 20:28:59 GMT

ja, das wird sicher so sein. Mit Sicherheit wurde der auch von jemanden
gebaut, der etwas Fachwissen in dem Bereich hat und nicht schon daran
scheitert, die Basics zu verstehen.

aber auch der hat mal klein angefangen, und in 2 pcs eine nw karte einbauen war glaub ich das zweite oder dritte das ich gemacht hab damals noch mit T steckern terminatoren usw usf, nach diskettenlaufwerk und hd wechseln.

wenn er glaubt, dass er es braucht, dann soll er sich mal mit den Basics auseinander setzen. Je länger er sich dann mit der Thematik beschäftigt, desto eher wird er drauf kommen, dass er dahem 100Gbit/s ganz sicher nicht braucht.

vielleicht wäre er auch einfach über stichwortartige infos und paar links zu dem thema dankbar gewesen!

jop, ich hoffe auch noch drauf, dass ich jemanden finde, der mir unentgeltlich meine Arbeit abnimmt. Hast du vielleicht einen Tipp?

auch in bezug auf den letzten punkt, also ich bin jetzt nicht so der interne it bzw netzwerk spezialist, ich bin in der entwicklung, aber bei uns gibts da stackoverflow, viele nette hilfsbereite menschen die kostenlos schon die meisten fragen die aufkommen können beantwortet haben, und selbst wenn einer mal wo ansteht gibts tips wie man weiterkommen könnte. da stellt auch niemand eine rechnung für sein fachwissen.

wieso Missgunst? ich wäre froh, wenn er sich selbst damit beschäftigen würde... aber dazu Bedarf es halt viel Engagement und nicht einfach nur das Raussuchen von irgendeiner Hard- und Software.

wieso du bist nicht verpflichtet hier irgendjemand zu beraten, aber was treibt dich dazu hier demotivierend auf leute einzuwirken?

wenn der mensch haben möchte was ich glaube dann braucht er einfach nur ein board mit genug m2 und oder pcie lanes damit er da 8tb m2 ssds verbauen kann plus eben eine der nw karten, wo ich aber keine erfahrungswerte zu bieten hab derzeit weil siehe weiter oben, nicht mein spezialgebiet. dann kann er da mit irgendeinem os irgendeinen share machen und auf einen oder mehrere andere rechner mit paar gbyte pro sekunde hin und her kopieren. was man da jetzt software und hardwareseitig genau hernehmen könnte müsst ich mich auch erst einlesen, mir gings ja einzigst darum: wozu das jemand braucht oder will ist nur sein bier meiner ansicht nach. er fragt hier nach hilfe, hier gibts sicher leute die sich auskennen, wo ist das problem außer das du keinen bock hast ihm zu helfen?

Re: 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

chrisk2305 — Wed, 09 Aug 2023 14:22:19 GMT

Die Intel ist die deutlich neuere Karte - kann die ganzen aktuellen RDMA Geschichten. Habe die aktuell nur im RZ im Einsatz, kann daher zur Temperatur nichts sagen.

Bei Mellanox gibts schon die Connect-X7 mittlerweile. Ich habe eine single port 100G Karte im Desktop und ohne Airflow bekommt die leicht über 100°. Also Lüfter ist aus meiner Sicht Pflicht. Bei mir blast ein geregelter Silent Wings 4 PWM von unten drauf und bin bei etwa 70°

Bzgl Overkill: Jein Bei einem NVMe Raid kann so ein Speed schon Sinn machen, auch bei vSAN und Konsorten. NVMe over Fabric ist auch interessant. Bei spinning Disks ist das aber in der Tat zu hinterfragen. Aber: die Dinger sind halt mittlerweile einigermaßen leistbar geworden, so why not.
10G würds aber ws. auch tun

Re: 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

chrisk2305 — Wed, 09 Aug 2023 14:22:19 GMT

Re(13): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Wed, 09 Aug 2023 11:15:49 GMT

es gibt mindestens einen golf 2 mit 1300ps...

ja, das wird sicher so sein. Mit Sicherheit wurde der auch von jemanden gebaut, der etwas Fachwissen in dem Bereich hat und nicht schon daran scheitert, die Basics zu verstehen.

es ging hier darum dass du meintest "braucht keiner" und ich meine was jemand braucht oder nicht oder will oder nicht ist jedem seine sache. und "wende dich an eine firma" ist auch KEIN hilfreicher tip wenn jemand etwas lernen und in EIGENLISTUNG umsetzen möchte.

wenn er glaubt, dass er es braucht, dann soll er sich mal mit den Basics auseinander setzen. Je länger er sich dann mit der Thematik beschäftigt, desto eher wird er drauf kommen, dass er dahem 100Gbit/s ganz sicher nicht braucht.

und ich habe halt einfach ins feld geführt dass ich mir einen pc gekauft hab den ich nicht brauch

ja, eh toll - es soll auch jeder kaufen, was er will. Aber nochmals - es scheitert bei ihm schon an den Basics. In einem anderen Thread hat er nach 1 oder mehreren 20TB Platten gefragt. Will er die dann in den PC geben, wo die 100G-Karte drinnen steckt? Selbst wenn ich ihm mit der Netzwerkkarte weiterhelfe, fehlt hier trotzdem ein Gesamtkonzept. Auf die Folgethreads von wegen "warum habe ich trotz 100G so wenig Durchsatz / passt der Switch zur Karte / wie installiere ich TrueNAS" habe ich halt auch kein Lust ... wenn ihn das Thema interessiert, dann soll er mal die Basics lernen und danach konkrete, sinnvolle Fragen stellen. Aber alles, was von ihm bisher zu seinem "Projekt" gekommen ist, war eher zweifelhafter Natur.

egal, bin raus, ich hoffe er findet, vielleicht in einem anderen forum, nettere, hilfreichere menschen, die es vielleicht sogar als interessantes projekt wahrnehmen und sehen wollen wo das hinführt

jop, ich hoffe auch noch drauf, dass ich jemanden finde, der mir unentgeltlich meine Arbeit abnimmt. Hast du vielleicht einen Tipp?

du kannst mit deinem fachwissen und deiner missgunst gern weiter hier alles dafür tun dass sich ja keiner selbst mit etwas befasst viel spaß dabei!

wieso Missgunst? ich wäre froh, wenn er sich selbst damit beschäftigen würde... aber dazu Bedarf es halt viel Engagement und nicht einfach nur das Raussuchen von irgendeiner Hard- und Software.

Re(12): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

MaxPower81 — Wed, 09 Aug 2023 10:55:04 GMT

es gibt mindestens einen golf 2 mit 1300ps...

ein überdimensioniertes netzwerk mit einem undichten rohr zu vergleichen, tut leid ka die analogie erschließt sich mir nicht.

es ging hier darum dass du meintest "braucht keiner" und ich meine was jemand braucht oder nicht oder will oder nicht ist jedem seine sache. und "wende dich an eine firma" ist auch KEIN hilfreicher tip wenn jemand etwas lernen und in EIGENLISTUNG umsetzen möchte.

und ich habe halt einfach ins feld geführt dass ich mir einen pc gekauft hab den ich nicht brauche, der btw ca das selbe kostet wie wenn ich einen pc mit 100g an mein nas anbinde. und nicht ca 50k wie eine dual cpu lösung. also vom standpunkt der finanziellen aufwendungen her ist mein vergleich eher zutreffend.

egal, bin raus, ich hoffe er findet, vielleicht in einem anderen forum, nettere, hilfreichere menschen, die es vielleicht sogar als interessantes projekt wahrnehmen und sehen wollen wo das hinführt

du kannst mit deinem fachwissen und deiner missgunst gern weiter hier alles dafür tun dass sich ja keiner selbst mit etwas befasst viel spaß dabei!

Re(11): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Wed, 09 Aug 2023 08:45:18 GMT

was solls wenn jemand bock hat sich so ein netzwerk zuhause aufzubauen, einfach damit ers hat

wie kann man auf etwas Bock haben, wo man sich offensichtlich überhaupt nicht auskennt?

paar tips geben wie mans richtig macht anstatt ihm einfach zu sagen brauchst nicht vergiss das

Re(11): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Wed, 09 Aug 2023 08:45:18 GMT

was solls wenn jemand bock hat sich so ein netzwerk zuhause aufzubauen, einfach damit ers hat

wie kann man auf etwas Bock haben, wo man sich offensichtlich überhaupt nicht auskennt?

paar tips geben wie mans richtig macht anstatt ihm einfach zu sagen brauchst nicht vergiss das

weil es schwachsinnig ist, einen 911er Turbo Motor in einen 2er Golf einzubauen. Aber ich hab ihm schon brauchbare Tipps gegeben. Wenn er Enterprise Hardware haben möchte, dann soll er zu einem IT-Dienstleister gehen und sich einen richtigen Server / ein richtiges Storage konfigurieren lassen. Alles andere ist eine Schnapsidee und kostet nur unnötig Geld.

und wo soll ich überhaupt anfangen? es scheitert ja schon daran, dass er nicht mal die richtigen Netzwerkadapter rausgesucht hat. Oder ist es plötzlich wieder modern, auf Redundanz zu verzichten? Also 100G - ja bitte, aber Redundanz nein danke? Hä?

Wenn ich einen Installateur frage, ob ich mein undichtes Wasserrohr mit einem Seitenschneider reparieren kann, dann wird er hoffentlich auch meine Fähigkeit dazu in Frage stellen und nicht auch noch Tipps geben, wie man es macht. Wenn es an den Basics scheitert, braucht man nicht über die Details reden...

und dein Vergleich mit deinem Spiele-Rechner hinkt halt auch, weil es sich trotzdem nur um eine stinknormale 08/15 CPU handelt. Er will aber kein 08/15 Netzwerk haben, sondern high-end Enterprise Hardware. Verglichen zu deiner CPU will er ein Dual-Socket Mainboard mit 2 AMD Epyc 9754 Prozessoren mit jeweils 128 Cores, in Summe also 256 Cores bzw. 512 Threads haben (deine Desktop-CPU hat 24 Cores bzw. 32 Threads. Merkst du den Unterschied zwischen Consumer- und Enterprise-Hardware?

Re(11): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Wed, 09 Aug 2023 08:45:18 GMT

was solls wenn jemand bock hat sich so ein netzwerk zuhause aufzubauen, einfach damit ers hat

wie kann man auf etwas Bock haben, wo man sich offensichtlich überhaupt nicht auskennt?

paar tips geben wie mans richtig macht anstatt ihm einfach zu sagen brauchst nicht vergiss das

Re(10): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

MaxPower81 — Wed, 09 Aug 2023 08:02:10 GMT

frage

911er turbo carrera (oder vergleichbares), braucht das jemand?

ich brauch in wahrheit nichtmal den 13900k den ich mir zusammengebastelt hab, ganz zu schweigen von dem "premium" board das zum einsatz kommt, da ich nicht 4k game ist die 4070ti auch irgendwie schon overkill vorallem bei meinem 60hz monitor... aber was solls? ich wollt mir halt einfach was am oberen ende gönnen als mir den nächsten p/l sieger zu bauen.

was solls wenn jemand bock hat sich so ein netzwerk zuhause aufzubauen, einfach damit ers hat, warum kann man dem nicht einfach, wenn man sich damit auskennt, paar tips geben wie mans richtig macht anstatt ihm einfach zu sagen brauchst nicht vergiss das... ist doch sein geld, der hinweis das es kaum jemals ausgelastet werden wird ist sicher nicht verkehrt, aber alles andere ist doch schon fast nur eine frage der einstellung.

Re: 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

seiya — Tue, 08 Aug 2023 12:51:53 GMT

funktionieren beide mit Linux einwandfrei. Wärme haben wir nie gemessen, da es in Rechenzentren üblich nicht über 22-26C ansteigt.

TrueNAS gibts auch als Linux variante mit TrueNAS Scale.

Re(9): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Tue, 08 Aug 2023 07:35:55 GMT

So ist es! Solange wir drüber reden, ob bei Magenta der "Standardtarif" 50 oder 100Mbit hat, brauchen wir uns keine Gedanken darüber zu machen, ob man daheim 1Gbit, 10, 40 oder 100Gbit benötigt. Meine allerwichtigsten Daten passen auf einen fingernagelgroßen USB-Stick (mit 256GB). Selbst diese Datenmenge kann ich mit einem 1Gbit-Netzwerk 2x pro Stunde komplett übertragen.

Kompletter Bandbreiten Schwachsinn. Wenn jemand nicht "Creator" ist, und täglich 12 Stunden riesige Videos schneidet

Wenn ich ein Heim-Creator wäre, würde ich aber auch alles lokal am PC bearbeiten und maximal Backups auf ein NAS spielen. Somit spare ich mir die höheren Infrastrukturkosten für ein leistungsstarkes Netzwerk und könnte das Geld sinnvoll in SSDs etc. investieren.

Und der Rest hängt ja schon seit Jahren im WLAN.

Richtig ... und für die meisten Geräte ist die Netzkwergeschwindigkeit komplett irrelevant. Gerade im IoT-Bereich geht es primär um Zuverlässigkeit der Services und nicht darum, ob die Pakete schnell übertragen werden.

Re(8): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

Paulas_Papa — Tue, 08 Aug 2023 07:20:43 GMT

100% Zustimmung

Kompletter Bandbreiten Schwachsinn. Wenn jemand nicht "Creator" ist, und täglich 12 Stunden riesige Videos schneidet, reicht jeder handelsübliche Strick in der Wand locker aus. Und der Rest hängt ja schon seit Jahren im WLAN.

Re(7): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Tue, 08 Aug 2023 07:08:27 GMT

Mein Ethernet ist über die Jahrzehnte auch schon 100x schneller geworden und ich hätte mir damals auch noch nicht vorstellen können, wofür ich das mal brauchen könnte.

seitdem ich arbeite gehe, wurden die Client-Netzwerke nirgends schneller. Ich kenne keine Firma, wo nicht 1Gbit/s usus ist. Somit gehe ich davon aus, dass sich der Heimbedarf in den nächsten 10-20 Jahren auch nicht ändern wird. Mittlerweile hängen sowieso die meisten Endgeräte daheim im WLAN und kommunizieren mit Webdiensten und nicht mit lokalen Endgeräten. Dementsprechend spielt die tatsächliche Netzwerkgeschwindigkeit nur eine Nebenrolle - und schon klar, dass es die Ausnahmen gibt, die 2,5Gbit/s haben wollen, damit ihre Backups oder whatever schneller laufen. Aber das sind eben die Ausnahmen und werden es auch in Zukunft sein. Solange TikTok, WhatsApp und Netflix schnell läuft, ist der Rest nebensächlich. Viel wichtiger ist eher, wie man in urbanen Gegenden ein stabiles WLAN hinbekommt.

Wenn man neu installiert, macht es schon Sinn, zumindest die fest installierte Verkabelung im Rahmen der technischen Möglichkeiten zu planen. Und natürlich sind das heute nach Möglichkeit nicht irgendwelche esoterischen Cat8 Kabel, sondern Glasfasern.

Eben - deshalb finde ich es so lustig, wenn sich Leute heute schon Cat 8-Kabel kaufen, weil sie es irgendwann in den nächsten 10, 20 Jahren brauchen könnten. Da lege ich mir doch gleich ein Glasfaser-Kabel rein, was ich auch heute schon sinnvoll nutzen kann. Dass es in der IT selten eine gute Idee ist, heute irgendwas für die Zukunft zu kaufen, sollte doch längst bekannt sein.

Re(7): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Tue, 08 Aug 2023 07:08:27 GMT

Mein Ethernet ist über die Jahrzehnte auch schon 100x schneller geworden und ich hätte mir damals auch noch nicht vorstellen können, wofür ich das mal brauchen könnte.

seitdem ich arbeite gehe, wurden die Client-Netzwerke nirgends schneller. Ich kenne keine Firma, wo nicht 1Gbit/s usus ist. Somit gehe ich davon aus, dass sich der Heimbedarf in den nächsten 10 Jahren auch nicht ändern wird. Mittlerweile hängen sowieso die meisten Endgeräte daheim im WLAN und kommunizieren mit Webdiensten und nicht mit lokalen Endgeräten. Dementsprechend spielt die tatsächliche Netzwerkgeschwindigkeit nur eine Nebenrolle - und schon klar, dass es die Ausnahmen gibt, die 2,5Gbit/s haben wollen, damit ihre Backups oder whatever schneller laufen. Aber das sind eben die Ausnahmen und werden es auch in Zukunft sein. Solange TikTok, WhatsApp und Netflix schnell läuft, ist der Rest nebensächlich ...

Wenn man neu installiert, macht es schon Sinn, zumindest die fest installierte Verkabelung im Rahmen der technischen Möglichkeiten zu planen. Und natürlich sind das heute nach Möglichkeit nicht irgendwelche esoterischen Cat8 Kabel, sondern Glasfasern.

Eben - deshalb finde ich es so lustig, wenn sich Leute heute schon Cat 8-Kabel kaufen, weil sie es irgendwann in den nächsten 10, 20 Jahren sinnvoll nutzen können. Da lege ich mir doch gleich ein Glasfaser-Kabel rein, was ich auch heute schon sinnvoll nutzen kann. Dass es in der IT selten eine gute Idee ist, heute irgendwas für die Zukunft zu kaufen, sollte doch längst bekannt sein.

Re(6): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

someonelikeme — Fri, 04 Aug 2023 14:17:58 GMT

ist sicher ganz sinnvoll, weil man ja daheim so viele Daten überträgt.

Na gut, aber die Anforderungen steigen schon. Mein Ethernet ist über die Jahrzehnte auch schon 100x schneller geworden und ich hätte mir damals auch noch nicht vorstellen können, wofür ich das mal brauchen könnte.

Das erste war ein 10 MBit Coax und wurde noch bis zum Umzug Anfang 2010 teilweise genutzt. OK, am Ende hingen nur noch der Amiga und der LJ4 dran (die konnten erstens nicht schneller und zweitens von Haus aus kein TP, dafür hätte ich noch AUI-Transceiver anhängen müssen), für die Linux-Rechner gabs natürlich doch irgendwann TP, den Coax-Strang hatte ich dann mit einem alten 10 MBit Hub mit auf den Switch gehängt.

Den TP-Teil von 100 Mbit auf 1000 Mbit umstellen (ca. Mitte der 00er Jahre) bedeutete dann nur noch einen neuen Switch zu kaufen, weil ich vernünftige Kabel gelegt hatte. Aber auf dem Level ist es bislang dann auch im wesentlichen geblieben. OK, teilweise laufen hier jetzt doch schon 2,5 GBit Links.

Wenn man neu installiert, macht es schon Sinn, zumindest die fest installierte Verkabelung im Rahmen der technischen Möglichkeiten zu planen. Und natürlich sind das heute nach Möglichkeit nicht irgendwelche esoterischen Cat8 Kabel, sondern Glasfasern. Aber da schiebt man dann halt heute erstmal "nur" 10 GBit drüber und macht sich vielleicht im nächsten Jahrzehnt nochmal Gedanken, wenn die Bandbreite dann nicht mehr reichen sollte.

Re(5): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Thu, 03 Aug 2023 18:10:08 GMT

sorry, falsch ausgedrückt... natürlich mindestens 5GB/s Minimum.

Das System besteht aus 6 oder 8 Nodes (müsste ich morgen mal schauen) mit etwa 1.200 Platten. Jeder Node ist über 8x10Gbit angebunden. Über die Ports hast du natürlich LACP, node-übergreifend natürlich nicht. Der Speicherplatz wird über einen single mountpoint zur Verfügung gestellt.

Re(5): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Thu, 03 Aug 2023 18:10:08 GMT

sorry, falsch ausgedrückt... natürlich mindestens 5GB/s.

Das System besteht aus 6 oder 8 Nodes (müsste ich morgen mal schauen) mit etwa 1.200 Platten. Jeder Node ist über 8x10Gbit angebunden. Über die Ports hast du LACP, node-übergreifend natürlich nicht. Der Speicherplatz wird über einen single mountpoint zur Verfügung gestellt.

edit

ja, der Cluster besteht aus 6 Nodes. Bei der Netzwerkkonfig hab ich mich allerdings geirrt. Wir haben Trunks mit 2x40G, sowie 2x10G pro Node ...

und nein, nicht Kupfer, sondern normale SR-SFPs.

aber umso lustiger ist es dann natürlich, wenn jemand 100Gbit installieren möchte, um ein paar Wohnungen mit Netzwerk zu versorgen. Aber gut, mir wurde auch schon erklärt, dass man ja dumm sei, wenn man nicht jetzt schon auf Cat 8 setzt, damit man dann in ein paar Jahren 40Gbit/s (daheim) verwenden kann ... jo eh ... ist sicher ganz sinnvoll, weil man ja daheim so viele Daten überträgt.

Re(5): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Thu, 03 Aug 2023 18:10:08 GMT

Re(5): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Thu, 03 Aug 2023 18:10:08 GMT

Re(4): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

someonelikeme — Thu, 03 Aug 2023 14:31:18 GMT

obwohl im SLA definiert wurde, dass konstant Geschwindigkeiten bis zu

Erst "konstant" und dann "bis zu"? Die SLA die ich kennengelernt habe definierten anders. Da war dann eher von der Leistung die Rede, die 99% der Zeit _mindestens_ zur Verfügung steht (zusätzliche 9en nach dem Komma bei Bedarf ergänzen).

5GB/s

Also 40 GBit (auf Kupfer?) Oder mehrere 10er und Link Aggregation?

Re(8): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

Paulas_Papa — Thu, 03 Aug 2023 08:39:51 GMT

Hey, ich kenne Linux. Ich bin IT Experte!

Re(7): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Thu, 03 Aug 2023 08:36:17 GMT

na dann wohl der böse Mitbewerber

btw ... jetzt hab ich erst seine Posting-History gesehen ... er möchte eine große Menge 20TB 7,2krpm Festplatten bestellen. Laut anderem Thread startet er aber mal mit 20TB. Na viel Spaß mit der Performance ich wäre ja davon ausgegangen, dass er zumindest SSDs einplant, wenn er schon kein Geld mehr für NVMe hat ... aber das wird ja immer witziger

scheint mir eine völlige Fehlplanung von einem "Ich hab schon mal einen PC zusammengebaut, somit bin ich jetzt ein IT-Experte in allen Fachbereichen"-Typ zu sein.

Re(6): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

Paulas_Papa — Thu, 03 Aug 2023 08:21:14 GMT

R-IT

Re(5): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Thu, 03 Aug 2023 08:02:08 GMT

So läufts wahrscheinlich ab ... wobei die Clients dann über einen WIFI5 AP aufs Netzwerk zugreifen. Für den neuesten Standard war dann ja kein Geld mehr übrig

Vermutlich ist meine Bude Kunde bei deiner Bude.

die R-IT würde ich eher als Mitbewerber titulieren ... wobei ich mir gerade nicht sicher bin, ob du bei der Bank oder bei R-IT angestellt bist.

Re(4): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

Paulas_Papa — Thu, 03 Aug 2023 07:54:06 GMT

Meine Vision seines Plans ist, dass er mit 100 auf den Router/Switch geht. Und von dort mit 25 in die Wohnungen. In jeder Wohnung können dann jeweils 50 Leute gleichzeitig 4K Videos glotzen. Ganz normaler Use Case, oder nicht?

Vermutlich ist meine Bude Kunde bei deiner Bude.

Re(3): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Thu, 03 Aug 2023 07:48:49 GMT

Wir haben Kunden mit mehreren tausend Mitarbeitern und Storage-Kapazitäten bis zu 20PB. Selbst diese Systeme sind nicht mit 100G angebunden, obwohl im SLA definiert wurde, dass konstant Geschwindigkeiten bis zu 5GB/s erreicht werden müssen.

Das Ganze ist sowas von übermotorisiert.

es gibt sicher auch Leute, die sich einen Boxster Motor in einen 2er Golf einbauen ... ist vermutlich genauso sinnvoll wie sein Vorhaben.

Ich mein, bei 100Gbit/s reden wir von einer Bandbreite von 12,5 Gigabyte pro Sekunde bzw. 45 Terrabyte pro Stunde. Jo na das wird er sicher brauchen ... wahrscheinlich mit der kostenlosen TrueNAS Lizenz

Re(2): 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

Paulas_Papa — Wed, 02 Aug 2023 17:09:52 GMT

Vermutung: Er plant einen Medienserver für ein Mehrfamilienhaus.

Und ich bin deiner Meinung. Das Ganze ist sowas von übermotorisiert.

Re: 100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

-Transformer2K- — Wed, 02 Aug 2023 08:53:48 GMT

Welche Faktoren bei der Planung haben dich dazu veranlasst, dich - offensichtlich im Consumer-Bereich - für ein 100G-Netzwerk zu entscheiden? Hast du dich vielleicht um ein paar Zehnerpotenzen verrechnet?

Hat jemand Erfahrungen mit einem dieser Adapter - insbesondere in Bezug auf den Einsatz fuer Linux, FreeBSD (TrueNAS) und anderen Faktoren wie zB. Waerme-entwicklung?

die Frage im Jahr 2023 ist ungefähr genauso sinnvoll, wie zu fragen, ob man daheim Probleme mit dem Stromnetz bekommt, wenn man ein IBM Mainframe einschaltet. Aber blöde Frage, warum liest du nicht einfach die Datenblätter?

Für mein Gefühl solltest du die Planung an externe Dienstleister auslagern, die Erfahrung mit Enterprise Umgebungen haben. Aus Erfahrung kann ich dir sagen, dass aktuell keine 10% der Storages in Österreich mit einer Port-Geschwindigkeit größer 10/25G angebunden sind. 100G findest du aktuell eher im Core/Edge Routing Bereich ... also keine Ahnung, was du vorhast, aber sinnvoll ist es sicher nicht.

100G QSFP28 LAN: Intel vs. Nvidia Mellanox Erfahrungen

zecko — Wed, 26 Jul 2023 08:47:50 GMT

Ich plane aktuell ein 100G QSFP lokales Netzwerk. Von der Adapter-Seite gibt es 2 relevante

1) Intel E810-CQDA1 100G LAN-Adapter, QSFP28, PCIe 4.0 x16, bulk https://geizhals.at/intel-e810-cqda1-100g-e810cqda1blk-a2492475.html?hloc=at
2) NVIDIA Mellanox ConnectX-5 EN 100G LAN-Adapter, QSFP28, PCIe 3.0 x16 https://geizhals.at/mellanox-connectx-5-en-100g-mcx515a-ccat-a1890159.html?hloc=at

Hat jemand Erfahrungen mit einem dieser Adapter - insbesondere in Bezug auf den Einsatz fuer Linux, FreeBSD (TrueNAS) und anderen Faktoren wie zB. Waerme-entwicklung?