Re(5): Python Scripts welche enormen Mengen an Files und Folders produzieren

Python Scripts welche enormen Mengen an Files und Folders produzieren (40 Beiträge, 504 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Hi,

vorweg - ich kenne mich mit Python nicht sehr gut aus. Bin auf das Problem gestossen dass bei uns Python Scripts laufen die automatisiert tausende Folder + sehr kleine Files pro Stunde produzieren. Diese werden dann später auch für Analysen benötigt.
Dies müllt in enormer Geschwindigkeit meine Server mit Millionen an Files zu - teilweise absurde 50-100k Folder mit Files drin die jeweils nur max. ein paar KB haben - zumeist jedoch nur ein paar Duzend Byte lang sind!

Ein Unding, produziert von nicht-Informatikern welche sich offensichtlich nicht mit file overhead time, internal Defragmentation,Inode Definition, usw auskennen!

Also - gibt es eine bequeme (!!) Möglichkeit, ohne das Grundscript zu sehr ändern zu müssen solche input/outputs entweder in eigene kleine Datenbanken oder einfacher noch in so was wie Virtuelle Verzeichnisse umzuleiten.
Mir schwebt da vor so was vor wie man öffnet unter python eines dieser virtuellen Filesysteme welche dann auf der Platte physikalisch ein oder wenige Files sind und welche dann möglichst bequem unter python auch angesprochen werden muss (subverzeichnis dort erstelle, files erstellen, speicher, laden verändern dieser Files/Verzeichnisse.

Vielleicht hat da ja wer Tipps - auch eventuell wo da die Speziallisten sind welche ich Fragen könnte.

Danke!

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren

(someonelikeme am 18.03.2026, 16:52:47)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 02:41:06)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren (hhetl am 18.03.2026, 20:54:39)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Zappa F. am 19.03.2026, 02:30:51)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 18.03.2026, 21:19:03)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren

(soul am 19.03.2026, 00:44:23)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 08:01:21)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 08:22:27)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 02:33:03)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren (kaufinator1 am 19.03.2026, 08:02:41)

Re(4): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 08:25:19)

Re(5): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 08:33:30)

Re(6): Python Scripts welche enormen Mengen an Files und Folders produzieren (Paulas_Papa am 19.03.2026, 08:41:10)

Re(7): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 08:57:24)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren (AVS_reloaded am 19.03.2026, 09:18:54)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 09:29:11)

Re(9): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 10:20:08)

Re(10): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 10:41:24)

Re(11): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 10:50:05)

Re(12): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 10:56:29)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren (ein Kritiker am 19.03.2026, 09:45:17)

Wir basteln schon an securen und Datenschutz konformen agentischen Plattformen
und Lösungen.

Ja, bei uns wied auch gebastelt. Und genau das ist das Problem.

Es wird nicht geplant und umgesetzt, sondern eben gebastelt. Falls mal Entscheidungen fallen, sind sie oft emotionsgetrieben statt rational und durchdacht.

Momentan werden auch Leute (wiedermal) rausgeworfen, bevor diese KI Lösungen zum Ersatz der Arbeitskraft eine Abnahme erfolgreich durchlaufen haben. Aber meist sinds da schon auf den Kunden losgelassen.

SW Entwicklung hat sich schon komplett verändert und LLM ist gekommen um zu bleiben. In wie weit diese Rechnung aber aufgeht, wird sich erst zeigen sobald der Preis kostendeckend festgesetzt ist. Nir sind dann vermutlich alle "Seniors" auch gegangen (worden), doch mMn brauchts dieses Wissen um den korrekten Context zu prompten (Hello Denglisch).

Wenn Agents unserer Produktion tun täten, was sie mir auf Anfragen (simple native Logs der Systeme) antworten ... Gute Nacht. Im Explain scheiterns oft und selbst inside a Plattform wird kein Zusammenhang hergestellt oder abgedriftet.

Disclaimer der Chatbots für Endkunden sind länger als meine Klopapierrolle, mit der Quintessenz "Dont trust me".

Aber wenigstens hab ich nicht die Illusion ewig beim jetzigen Dienstgeber zu sein. In 5 spätestens 10 Jahren wird eine höhere Instanz der Meinung sein, dass meine Handlungen so verrausrechenbar sind, dass es per LLM billiger ist. Ob dann wohl auch errechnet wurde, dass manche Dinge getan so getan und so kommuniziert werden um über 3 Ecken, die Rutsche für etwas weiter entferntes Ziel zu legen ... die Zeit wird es zeigen.

———
Satire erfordert Intelligenz beim Empfänger.

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren (colo am 19.03.2026, 11:02:44)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 11:38:40)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

(colo am 19.03.2026, 12:01:33)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren (pong am 30.03.2026, 18:30:30)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 30.03.2026, 22:06:27)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren (pong am 31.03.2026, 07:54:21)

Re(4): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 31.03.2026, 13:38:10)

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung