Re(10): Python Scripts welche enormen Mengen an Files und Folders produzieren

Python Scripts welche enormen Mengen an Files und Folders produzieren (35 Beiträge, 171 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Hi,

vorweg - ich kenne mich mit Python nicht sehr gut aus. Bin auf das Problem gestossen dass bei uns Python Scripts laufen die automatisiert tausende Folder + sehr kleine Files pro Stunde produzieren. Diese werden dann später auch für Analysen benötigt.
Dies müllt in enormer Geschwindigkeit meine Server mit Millionen an Files zu - teilweise absurde 50-100k Folder mit Files drin die jeweils nur max. ein paar KB haben - zumeist jedoch nur ein paar Duzend Byte lang sind!

Ein Unding, produziert von nicht-Informatikern welche sich offensichtlich nicht mit file overhead time, internal Defragmentation,Inode Definition, usw auskennen!

Also - gibt es eine bequeme (!!) Möglichkeit, ohne das Grundscript zu sehr ändern zu müssen solche input/outputs entweder in eigene kleine Datenbanken oder einfacher noch in so was wie Virtuelle Verzeichnisse umzuleiten.
Mir schwebt da vor so was vor wie man öffnet unter python eines dieser virtuellen Filesysteme welche dann auf der Platte physikalisch ein oder wenige Files sind und welche dann möglichst bequem unter python auch angesprochen werden muss (subverzeichnis dort erstelle, files erstellen, speicher, laden verändern dieser Files/Verzeichnisse.

Vielleicht hat da ja wer Tipps - auch eventuell wo da die Speziallisten sind welche ich Fragen könnte.

Danke!

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren

(someonelikeme am 18.03.2026, 16:52:47)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 02:41:06)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren (hhetl am 18.03.2026, 20:54:39)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Zappa F. am 19.03.2026, 02:30:51)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 18.03.2026, 21:19:03)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren

(soul am 19.03.2026, 00:44:23)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 08:01:21)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 08:22:27)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 02:33:03)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren (kaufinator1 am 19.03.2026, 08:02:41)

Re(4): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 08:25:19)

Re(5): Python Scripts welche enormen Mengen an Files und Folders produzieren (kaufinator1 am 19.03.2026, 08:33:30)

Re(6): Python Scripts welche enormen Mengen an Files und Folders produzieren (Paulas_Papa am 19.03.2026, 08:41:10)

Re(7): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 08:57:24)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren (AVS_reloaded am 19.03.2026, 09:18:54)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 09:29:11)

Re(9): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 10:20:08)

Es ist noch viel komplexer, weil dir alle relevanten Hersteller mehr oder minder gute Sovereign Lösungen anbieten.

Du kannst zB auch eine EU "Kopie" des generell trainierten LLM haben. Und dieser Kopie gibst du Zugriff auf deine unverschlüsselten DSGVO Daten. Dadurch kommen keine Daten aus der EU raus.

Wie gesagt, Heerscharen von Juristen und Architekten versuchen das Ding in Griff zu kriegen.

Das zeigt eigentlich nur wie sinnlos und realitätsfern die Bürokratie in der
EU ist.

In dem Fall sehe ich das ähnlich. Eine der sinnlosesten Verordnungen ist zB DORA.

Aber es zu generalisieren, wie du es tust, ist Schwachsinn und zeugt von Unwissen. Die EU setzt in vielen Bereichen weltweite Standards - die GUT sind! Für Produzenten & Konsumenten weltweit.

Re(11): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 10:50:05)

Re(12): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 10:56:29)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren (ein Kritiker am 19.03.2026, 09:45:17)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren (colo am 19.03.2026, 11:02:44)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 11:38:40)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren
(colo am 19.03.2026, 12:01:33)

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung