Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

Python Scripts welche enormen Mengen an Files und Folders produzieren (35 Beiträge, 171 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Hi,

vorweg - ich kenne mich mit Python nicht sehr gut aus. Bin auf das Problem gestossen dass bei uns Python Scripts laufen die automatisiert tausende Folder + sehr kleine Files pro Stunde produzieren. Diese werden dann später auch für Analysen benötigt.
Dies müllt in enormer Geschwindigkeit meine Server mit Millionen an Files zu - teilweise absurde 50-100k Folder mit Files drin die jeweils nur max. ein paar KB haben - zumeist jedoch nur ein paar Duzend Byte lang sind!

Ein Unding, produziert von nicht-Informatikern welche sich offensichtlich nicht mit file overhead time, internal Defragmentation,Inode Definition, usw auskennen!

Also - gibt es eine bequeme (!!) Möglichkeit, ohne das Grundscript zu sehr ändern zu müssen solche input/outputs entweder in eigene kleine Datenbanken oder einfacher noch in so was wie Virtuelle Verzeichnisse umzuleiten.
Mir schwebt da vor so was vor wie man öffnet unter python eines dieser virtuellen Filesysteme welche dann auf der Platte physikalisch ein oder wenige Files sind und welche dann möglichst bequem unter python auch angesprochen werden muss (subverzeichnis dort erstelle, files erstellen, speicher, laden verändern dieser Files/Verzeichnisse.

Vielleicht hat da ja wer Tipps - auch eventuell wo da die Speziallisten sind welche ich Fragen könnte.

Danke!

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren

(someonelikeme am 18.03.2026, 16:52:47)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 02:41:06)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren (hhetl am 18.03.2026, 20:54:39)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Zappa F. am 19.03.2026, 02:30:51)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 18.03.2026, 21:19:03)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren

(soul am 19.03.2026, 00:44:23)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 08:01:21)

Programmieren ist nicht mein job, daher sehe ich das ganze relativ emotionslos. Aus meiner Erfahrung mit KI kann ich dir sagen, dass die KI zwar Anweisungen gut umsetzt und guten Code erzeugt, aber sie braucht trotzdem noch jemanden, der Anweisungen erteilt.

Der Job eines Programmierers wird sich vermutlich dahin wandeln, dass er weniger selber coded, sondern mehr zu einem Manager von KI Agenten wird.

Zumindest derzeit haben die KI Agenten noch probleme damit, sich von einer session zur anderen an das Gespräch mit dir zu erinnern. Sie kennen nur dir Aufgabe, die du ihnen gibst aber es fehlt ihnen das „drumherum“, wie zb das Wissen über das Nutzerfeedback, die Vorgaben der Geschäftsführung, das Geschäftsmodell des Unternehmens, etc. Die heutigen Agenten brauchen noch sehr konkrete Vorgaben und ein bisschen Babysitting.

Dazu kommt dass die Token kosten für die frontier Modelle ziemlich teuer sind und ein Unternehmen genau kalkulieren muss, ob sich das lohnt.

Amazon hat vor kurzem die Vorgabe eingeführt, dass jeder KI code von einem Menschen freigegeben werden muss, weil KI Agenten ohne Supervision AWS gecrasht haben.

Zumindest derzeitseh ich noch nicht dass Programmierer ersetzt werden, aber die Arbeit wird sich ändern.

Ich kann nur jedem empfehlen, sich mit den KI tools zu beschäftigen, damit man die stärken, schwächen und grenzen kennenlernt. Denn: Die technik wird nicht mehr verschwinden.

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 02:33:03)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren (kaufinator1 am 19.03.2026, 08:02:41)

Re(4): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 08:25:19)

Re(5): Python Scripts welche enormen Mengen an Files und Folders produzieren (kaufinator1 am 19.03.2026, 08:33:30)

Re(6): Python Scripts welche enormen Mengen an Files und Folders produzieren (Paulas_Papa am 19.03.2026, 08:41:10)

Re(7): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 08:57:24)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren (AVS_reloaded am 19.03.2026, 09:18:54)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 09:29:11)

Re(9): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 10:20:08)

Re(10): Python Scripts welche enormen Mengen an Files und Folders produzieren (Paulas_Papa am 19.03.2026, 10:41:24)

Re(11): Python Scripts welche enormen Mengen an Files und Folders produzieren

(kaufinator1 am 19.03.2026, 10:50:05)

Re(12): Python Scripts welche enormen Mengen an Files und Folders produzieren

(Paulas_Papa am 19.03.2026, 10:56:29)

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren (ein Kritiker am 19.03.2026, 09:45:17)

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren (colo am 19.03.2026, 11:02:44)

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren (Zappa F. am 19.03.2026, 11:38:40)

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren
(colo am 19.03.2026, 12:01:33)

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung