Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

Python Scripts welche enormen Mengen an Files und Folders produzieren (35 Beiträge, 200 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Hi,

vorweg - ich kenne mich mit Python nicht sehr gut aus. Bin auf das Problem gestossen dass bei uns Python Scripts laufen die automatisiert tausende Folder + sehr kleine Files pro Stunde produzieren. Diese werden dann später auch für Analysen benötigt.
Dies müllt in enormer Geschwindigkeit meine Server mit Millionen an Files zu - teilweise absurde 50-100k Folder mit Files drin die jeweils nur max. ein paar KB haben - zumeist jedoch nur ein paar Duzend Byte lang sind!

Ein Unding, produziert von nicht-Informatikern welche sich offensichtlich nicht mit file overhead time, internal Defragmentation,Inode Definition, usw auskennen!

Also - gibt es eine bequeme (!!) Möglichkeit, ohne das Grundscript zu sehr ändern zu müssen solche input/outputs entweder in eigene kleine Datenbanken oder einfacher noch in so was wie Virtuelle Verzeichnisse umzuleiten.
Mir schwebt da vor so was vor wie man öffnet unter python eines dieser virtuellen Filesysteme welche dann auf der Platte physikalisch ein oder wenige Files sind und welche dann möglichst bequem unter python auch angesprochen werden muss (subverzeichnis dort erstelle, files erstellen, speicher, laden verändern dieser Files/Verzeichnisse.

Vielleicht hat da ja wer Tipps - auch eventuell wo da die Speziallisten sind welche ich Fragen könnte.

Danke!

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren

(someonelikeme am 18.03.2026, 16:52:47)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 02:41:06)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren (hhetl am 18.03.2026, 20:54:39)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Zappa F. am 19.03.2026, 02:30:51)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 18.03.2026, 21:19:03)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren

(soul am 19.03.2026, 00:44:23)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 08:01:21)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 08:22:27)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 02:33:03)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren (kaufinator1 am 19.03.2026, 08:02:41)

Re(4): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 08:25:19)

Re(5): Python Scripts welche enormen Mengen an Files und Folders produzieren (kaufinator1 am 19.03.2026, 08:33:30)

Re(6): Python Scripts welche enormen Mengen an Files und Folders produzieren (Paulas_Papa am 19.03.2026, 08:41:10)

Re(7): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 08:57:24)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren (AVS_reloaded am 19.03.2026, 09:18:54)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 09:29:11)

Re(9): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 10:20:08)

Re(10): Python Scripts welche enormen Mengen an Files und Folders produzieren (Paulas_Papa am 19.03.2026, 10:41:24)

Re(11): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 10:50:05)

Re(12): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 10:56:29)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren (ein Kritiker am 19.03.2026, 09:45:17)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren (colo am 19.03.2026, 11:02:44)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 11:38:40)

OK, bei so einer Menge und Verwahrungsdauer ist es bloed, das mit den mir in den Sinn gekommenen Workarounds zu loesen. Man sollte es in Betracht ziehen, die Anwendungen so umzuschreiben, dass sie zumindest fuer den kleinen Mist statt winziger Dateien z. B. Sqlite (da braucht ihr gar keine Depedencies ueber die python3-stdlib hinaus) oder z. B. rocksdb (https://python-rocksdb.readthedocs.io/en/latest/ ) als K/V-Store verwenden. Je nach Zustand eurer aktuellen Codebase ist das mit mehr oder weniger Aufwand zu erreichen, aber die Tranformation von alt nach neu sollte auch irgendein agentischer Refactoring-Workflow, wie er hier ja eh schon begeistert diskutiert wird, gut hinbekommen koennen.

Als Holzhammer-Methode, um die Dateisysteme deiner Server quasi ohne Aenderungen am bestehenden Code durch eine Indirektion zu entlasten, koennte man noch einen anderen Weg waehlen:

1.) Du erstellst ein ausreichend groszes Container-File (`truncate -s1G /pfad/zur/container-datei` - 1GB zum Testen des Konzepts sollten reichen

) fuer den ganzen Kaese im normalen Dateisystem deines Fileservers.

2.) Du formatierst dieses Container-File mit einem passenden Dateisystem fuer deine Workload (Fuer sehr viele kleine Dateien sollte sowas OK sein: `mkfs.ext4 -T small -O ^has_journal,^uninit_bg,sparse_super -L DeinLabel /pfad/zur/container-datei`).

3.) Das Dateisystem auf bzw. in diesem Container-File mountest du als loopback-Mount (`mount -t ext4 -o loop,noatime /pfad/zur/container-datei /pfad/zum/mountpoint`) irgendwo im Verzeichnisbaum des Hosts, und die ungzogenen Programme sollen in Zukunft in bzw. unter diesem Verzeichnis/Mountpoint lesen und schreiben. Alle Aenderungen an den Dateien in diesem Container-File-Dateisystem finden dann innerhalb dieses Container-Files statt.

--

echo "[q]sa[ln0=aln256%Pln256/snlbx]sb729901041524823122snlbxq"|dc

So long, and thanks for all the uptime!

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung