Alte NAS - Viele kleine Files

Re(5): Alte NAS - Viele kleine Files

chips — Thu, 14 May 2020 05:05:04 GMT

Stimmt! Das hatte ich so gar nicht am Schirm. Aktuell ist Ubuntu drauf. Ich werd das mal testen.

Re(4): Alte NAS - Viele kleine Files

someonelikeme — Wed, 13 May 2020 18:38:07 GMT

Also deiner Meinung nach käme eine 218+ (ggf. halt mit einem RAM Upgrade) an
den Microserver ran und du glaubst das Ding würde auch oben genannten Ordner
schneller kopieren?

Ich kenne die Synology nicht, aber eigentlich verwenden so ziemlich alle NAS in der unteren Preisklasse einfach nur ein freies Unix (Linux oder FreeBSD) mit dem entsprechenden Softwarestack, die kleinen halt auf ARM., die etwas größeren auf x86. Die Unterschiede liegen da eher in der Admin-Oberfläche und dem Featureset. Wenn genug RAM drin steckt, sollte sie ungefähr das leisten, was Dein HP auch leistet, aber eben auch nicht wirklich mehr.

Was hast Du denn auf dem zur Zeit laufen? Windows? Wenn Du ihn wirklich nur und ausschließlich als NAS benutzt, wäre vielleicht eine darauf spezialisierte Distribution wie FreeNAS oder OpenMediaVault eine Lösung.
Wenn das erstmal installiert ist, administrierst Du das auch mit ein paar Klicks im Browser.

Re(3): Alte NAS - Viele kleine Files

chips — Wed, 13 May 2020 18:04:24 GMT

Hey, danke für deinen Input.

Ja alles total alt. Drum ist jetzt denke ich auch Zeit für was neues.

Ich hab für mich entschieden ich will eigentlich weg vom Microserver hin zu etwas was sich für mich im Alltag einfach administrieren lässt. Bzw hab ich halt auch nie mehr gebraucht wie drauf Daten zu speichern.

Also deiner Meinung nach käme eine 218+ (ggf. halt mit einem RAM Upgrade) an den Microserver ran und du glaubst das Ding würde auch oben genannten Ordner schneller kopieren?

Re(2): Alte NAS - Viele kleine Files

someonelikeme — Wed, 13 May 2020 16:20:50 GMT

Dein geschenkter Gaul ist ja sogar noch etwas älter als Dein HP N36L. Nur dass der damals solide Mittelklasse war und die 410j schon damals unterste Einstiegsklasse. Das Ding hat weniger Rechenleistung und insbesondere RAM als ein Raspi Zero. Und der RAM-Durchsatz ist bei ARM generell nicht berühmt, weil der Speicher nicht nur relativ langsam getaktet wird, sondern auch noch sehr schmalbandig angebunden ist.

Eingangs hast Du von einer 220j geschrieben - die ist das heutige Einstiegsmodell. Inzwischen zwar mit Quad Core und 512 MB RAM, aber auch das wird Deinen alten HP kaum schlagen.

Eine 218+ liegt von den Daten so etwa auf dessen Level. Die reine Peak-CPU-Leistung ist für NAS sekundär, aber Du willst Threads, Cache und Speicherbandbreite. Und da ist der Atom-Celeron halt auch nur Dualcore ohne HT, knapp an Cache und die RAM-Bandbreite wird nicht viel höher liegen.

Wenn Du DIch deutlich gegenüber dem jetztigen System verbessern willst, wirst Du schon etwas Geld in die Hand nehmen müssen. Der aktuelle HP Microserver kommt mit einem Coffeelake-Pentium (oder sogar Xeon). Kostet natürlich auch etwas mehr als eine 218+.

Re(2): Alte NAS - Viele kleine Files

someonelikeme — Wed, 13 May 2020 16:20:50 GMT

Dein geschenkter Gaul ist ja sogar noch etwas älter als Dein HP N36L. Nur dass der damals solide Mittelklasse war und die 410j schon damals unterste Einstiegsklasse. Das Ding hat weniger Rechenleistung und insbesondere RAM als ein Raspi Zero. Und der RAM-Durchsatz ist bei ARM generell nicht berühmt, weil der Speicher nicht nur relativ langsam getaktet wird, sondern auch noch sehr schmalbandig angebunden ist.

Eingangs hast Du von einer 220j geschrieben - die ist das heutige Einstiegsmodell. Inzwischen zwar mit Quad Core und 512 MB RAM, aber auch das wird Deinen alten HP kaum schlagen.

Eine 218+ liegt von den Daten so etwa auf dessen Level. Die reine Peak-CPU-Leistung ist für NAS sekundär, aber Du willst Cores, Cache und Speicherbandbreite. Und da ist der Atom-Celeron halt auch nur Dualcore, knapp an Cache und die RAM-Bandbreite wird nicht viel höher liegen.

Wenn Du DIch deutlich gegenüber dem jetztigen System verbessern willst, wirst Du schon etwas Geld in die Hand nehmen müssen. Der aktuelle HP Microserver kommt mit einem Coffeelake-Pentium (oder sogar Xeon). Kostet natürlich auch etwas mehr als eine 218+.

Re(4): Alte NAS - Viele kleine Files

chips — Wed, 13 May 2020 13:56:09 GMT

Versteh ich. Aber ich bin hier alleine.

Das kann ja nicht so schwer sein mit einer aktuellen NAS einen 10 Jahre alten Microserver mit normalen HDDs zu ersetzen der das auch mehr oder weniger gut gepackt hat.

Re(3): Alte NAS - Viele kleine Files

Paulas_Papa — Wed, 13 May 2020 08:40:05 GMT

Wir haben auch auf unseren Firmen-PC's ein selbstgestricktes Backup-Utility. Schritt 1 ist ZIP in ein File auf der lokalen SSD, um die Millionen Mini-Transfers aus dem LAN & SAN wegzukriegen.

Re(3): Alte NAS - Viele kleine Files

chips — Wed, 13 May 2020 08:28:57 GMT

Was hast du für Hardware in Verwendung?

Auch so eine Alte wie ich oder bereits etwas neueres?

Re(2): Alte NAS - Viele kleine Files

fwfw — Wed, 13 May 2020 08:20:26 GMT

Ordner mit vielen kleinen Files komprimiere ich deshalb immer.

Re: Alte NAS - Viele kleine Files

chips — Wed, 13 May 2020 07:46:06 GMT

Danke für die ganzen Infos - ich hab jetzt mal SMB3 aktiviert. Die Übertragung bleibt damit jetzt wenigstens nicht mehr hängen. Dauert aber

Beispiel:
15MB
2112 Dateien, 521 Ordner brauchen ca. 13 Minuten.

Ich hab auch noch einen HP-Microserver N36L rumstehen mit normalen Festplatten drin und 5GB RAM - dort funktioniert das kopieren des oberen Ordners problemlos.

Ich hab jetzt CPU Benchmarks verglichen vom DS218+ und dem N36L und der Celeron da drin ist um Welten schneller. Ich kann mir nicht vorstellen das die sowas heutzutage nicht packt?

Re: Alte NAS - Viele kleine Files

Lazy Jones — Tue, 12 May 2020 22:28:17 GMT

https://www.synology.com/en-us/knowledgebase/DSM/tutorial/File_Sharing/What_can_I_do_when_the_file_transfer_via_Windows_SMB_CIFS_is_slow

https://www.synology.com/en-us/knowledgebase/DSM/tutorial/File_Sharing/What_should_I_do_if_file_transfers_are_slow

Re: Alte NAS - Viele kleine Files

Lazy Jones — Tue, 12 May 2020 22:28:17 GMT

https://www.synology.com/en-us/knowledgebase/DSM/tutorial/File_Sharing/What_can_I_do_when_the_file_transfer_via_Windows_SMB_CIFS_is_slow

Re: Alte NAS - Viele kleine Files

Bart Simpson — Tue, 12 May 2020 21:42:38 GMT

Wie schon gesagt wurde, was hier helfen kann:

mehr RAM, wird als IO-Cache benutzt (da ist die DS220j auch zu klein bestückt)
SSD (als Cache oder überhaupt die Daten drauf legen)
iSCSI
mehr Festplatten (je mehr Disken, umso höher die Performance)

edit:
Hast du bei deiner jetzigen SMB3 aktiviert? (wenns das kann) - auch das bringt mehr Performance...

Re: Alte NAS - Viele kleine Files

Bart Simpson — Tue, 12 May 2020 21:42:38 GMT

Re: Alte NAS - Viele kleine Files

PeterShaw — Tue, 12 May 2020 20:55:11 GMT

Tausende kleine Files in einem Verzeichnis? Da musst du gezielt rangehen, geringe Latenz, viele IOPS, nicht das gewöhnliche billige NAS mit 1-2 Spinning-Rust-Platten im RAID1. Wenn es um kleine Files geht, kannst du die nicht lokal belassen? Und nur Kopien zwecks Versionierung/Backup am NAS ablegen? Das wird immer die bessere Performance bieten und lokal hat man eher eine schnelle SSD verbaut.

Ansonsten ein NAS mit SSD oder falls du 8-16 Platten in einem Verbund hast, haben die dann auch ein bisschen mehr IOPS, aber immer noch zigfach weniger als eine einzelne SSD. Du könntest also ein NAS mit 2 SSDs im RAID1 fahren, das würde reichen.

Dann möglichst nicht mit Samba/Cifs verbinden, sondern iSCSI testen. Also kein Netzwerkshare, sondern als lokale Platte einbinden. Das hat den Nachteil, dass es nicht gleichzeitig auf mehreren Systemen einbindbar ist, aber Performancevorteile wird es geben.

Du kannst auch auf deinem aktuellen NAS mal ein Teil des Volumes für iSCSI nutzen, evtl. reicht dir das schon. Es geht ja eh nur drum dass die Verbindung nicht komplett steckenbleibt.

Re: Alte NAS - Viele kleine Files

frostschutz — Tue, 12 May 2020 19:46:36 GMT

Daß es bei kleinen Dateien ziemlich böse langsam wird ist leider fast normal.

Alte NAS - Viele kleine Files

chips — Tue, 12 May 2020 17:33:30 GMT

Ich hab eine Synology DS410j geschenkt bekommen und damit ein wenig herumgetestet.

Womit die NAS jedoch überhaupt nicht zurecht kommt sind ganz viele (hundert bis tausende) kleine (1-2kb) Dateien.

Die Übertragung bricht dabei zusammen und es geht gar nichts mehr weiter.
Ich überlege jetzt mir eine neue zu besorgen - Synology gefällt mir eigentlich ganz gut.

Anforderung ist nur die anständige Übertragung kleiner Files.

Hat wer Erfahrungsberichte hierfür?
Reicht da heutzutage schon eine einfache DS220j aus? Bzw auf was ist zu achten?

Alte NAS - Viele kleine Files

chips — Tue, 12 May 2020 17:33:30 GMT

Ich hab eine Synology DS410j geschenkt bekommen und damit ein wenig herumgetestet.

Womit die NAS jedoch überhaupt nicht zurecht kommt sind ganz viele (hundert bis tausende) kleine (1-2kb) Dateien.

Die Übertragung bricht dabei zusammen und es geht gar nichts mehr weiter.
Ich überlege jetzt mir eine neue zu Besorgen - Synology gefällt mir eigentlich ganz gut.

Anforderung ist nur die anständige Übertragung kleiner Files.

Hat wer Erfahrungsberichte hierfür?
Reicht da heutzutage schon eine einfache DS220j aus? Bzw auf was ist zu achten?