Python Scripts welche enormen Mengen an Files und Folders produzieren

Python Scripts welche enormen Mengen an Files und Folders produzieren (35 Beiträge, 179 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Hi,

vorweg - ich kenne mich mit Python nicht sehr gut aus. Bin auf das Problem gestossen dass bei uns Python Scripts laufen die automatisiert tausende Folder + sehr kleine Files pro Stunde produzieren. Diese werden dann später auch für Analysen benötigt.
Dies müllt in enormer Geschwindigkeit meine Server mit Millionen an Files zu - teilweise absurde 50-100k Folder mit Files drin die jeweils nur max. ein paar KB haben - zumeist jedoch nur ein paar Duzend Byte lang sind!

Ein Unding, produziert von nicht-Informatikern welche sich offensichtlich nicht mit file overhead time, internal Defragmentation,Inode Definition, usw auskennen!

Also - gibt es eine bequeme (!!) Möglichkeit, ohne das Grundscript zu sehr ändern zu müssen solche input/outputs entweder in eigene kleine Datenbanken oder einfacher noch in so was wie Virtuelle Verzeichnisse umzuleiten.
Mir schwebt da vor so was vor wie man öffnet unter python eines dieser virtuellen Filesysteme welche dann auf der Platte physikalisch ein oder wenige Files sind und welche dann möglichst bequem unter python auch angesprochen werden muss (subverzeichnis dort erstelle, files erstellen, speicher, laden verändern dieser Files/Verzeichnisse.

Vielleicht hat da ja wer Tipps - auch eventuell wo da die Speziallisten sind welche ich Fragen könnte.

Danke!

automatisiert tausende Folder + sehr kleine Files pro Stunde

Klingt ein bisschen, als hätte da jemand irgendeinen Objectstore (mitunter auch "NoDB" genannt) für sich als Problemlösung entdeckt und noch gar nicht gemerkt, was untendrunter vor sich geht.

Das kann sinnvoll sein oder auch nicht, aber auf jeden Fall nicht sinnvoll ist

Dies müllt in enormer Geschwindigkeit meine Server mit Millionen an Files zu

Jahrzehnte der Forschung zum Thema verteilte Datenbanken wären nicht nötig gewesen, wenn man sowas einfach auf Netzlaufwerke hätte abkippen können, ohne dass es massiv Performance kostet

ohne das Grundscript zu sehr ändern zu müssen

Wenn das im Grunde transaktionsorientiert arbeitet und hinreichend abstrahiert ist, kannst Du vielleicht sowas wie eine Datenbankengine drunterpacken. Ansonsten wäre es evtl. denkbar, auf einem lokalen FS zu arbeiten statt alles auf Deinen Server abzukippen. Und wenn das Analysetool die Daten braucht, einen Snapshot davon auf die Reise zu schicken.

Du spricht mir aus der Seele! Leider sind die Leute für die ich arbeite und die auch solche Script-Libraries verwenden kein Informatiker welche eine tiefen übersichts-Know-How über klassische Probleme - eben - der Informatik und damit aktueller Betriebs/Filesystem haben...

klingt nach einer Cloud-Lösung, die versehentlich on prem gestrandet ist? Wenn die Files inhaltlich ordentlich strukturiert sind, könnte man eine DB andenken, ansonsten (oder anno 2026 eigentlich in jedem Fall bevorzugt) irgendein Parquet Data Lake Dings. Wäre Cloud grundsätzlich denkbar?
Womit werden die denn analysiert?

Stichworte Kafka, Flink, Spark. Als kommerzielle Plattform idealerweise Databricks, evt. Snowflake (vorsicht Marketing-Overload), zur Not auch msft fabric (wenn in einer stark Azure-lastigen Bude zu Hause).

Leute, die sich mit sowas auskennen, heissen Data Engineers. Aber nimm einen jungen, weil die meisten alten Säcke von diesen neuen Technologien keine Ahnung haben und dir Opas RDBMS andrehen würden. Aber dann klopfen nach ein paar Wochen die 90er bei dir an die Tür und wollen ihr Oracle zurück haben...

Nein - keine Cloudlösung irgend einer Firma - eine wissenschaftliche open-source Python Library welche massive parallele Aufzeichnungen in hoher Auflösung von bist zu tausenden Sources (Elektroden in Gewebe) zulässt. Defakto misst man Stromflüsse in 3d Gewebearealen und wertet diese dann aus.

Hau das skript in eine KI und lass es verbessern/umschreiben. Ich hab mir in den letzten wochen von claude opus diversen code schreiben lassen und kleine projekte verwirklicht, für die ich bisher zu faul war. Es ist unglaublich wie gut das funktioniert!

Claude hat mit ein plugin für meinen ubiquity router geschrieben das tailscale traffic auf eine art umleitet, die mit dem WebUI nicht zu konfigurieren wäre.

Claude hat mir auch ein Skript geschrieben, dass in regelmäßigen abständen meine icloud photos auf einer festplatte archiviert, mit logging, das schon seit wochen problemlos läuft.

Ich bin restlos begeistert von dieser KI.

Ich bin restlos begeistert von dieser KI.

und dann warst du mal weg ..... tolle zukunft.
-------------------------------------------------------------------------------------------------------------------------------------------------------------------- ------------------------------------------------------------wien, oder südlich

Hat die Erfindung der elektrischen Stichsäge die Tischler entsorgt?

19.03.2026, 09:32 Uhr - Editiert von Paulas_Papa, alte Version: hier

Programmieren ist nicht mein job, daher sehe ich das ganze relativ emotionslos. Aus meiner Erfahrung mit KI kann ich dir sagen, dass die KI zwar Anweisungen gut umsetzt und guten Code erzeugt, aber sie braucht trotzdem noch jemanden, der Anweisungen erteilt.

Der Job eines Programmierers wird sich vermutlich dahin wandeln, dass er weniger selber coded, sondern mehr zu einem Manager von KI Agenten wird.

Zumindest derzeit haben die KI Agenten noch probleme damit, sich von einer session zur anderen an das Gespräch mit dir zu erinnern. Sie kennen nur dir Aufgabe, die du ihnen gibst aber es fehlt ihnen das „drumherum“, wie zb das Wissen über das Nutzerfeedback, die Vorgaben der Geschäftsführung, das Geschäftsmodell des Unternehmens, etc. Die heutigen Agenten brauchen noch sehr konkrete Vorgaben und ein bisschen Babysitting.

Dazu kommt dass die Token kosten für die frontier Modelle ziemlich teuer sind und ein Unternehmen genau kalkulieren muss, ob sich das lohnt.

Amazon hat vor kurzem die Vorgabe eingeführt, dass jeder KI code von einem Menschen freigegeben werden muss, weil KI Agenten ohne Supervision AWS gecrasht haben.

Zumindest derzeitseh ich noch nicht dass Programmierer ersetzt werden, aber die Arbeit wird sich ändern.

Ich kann nur jedem empfehlen, sich mit den KI tools zu beschäftigen, damit man die stärken, schwächen und grenzen kennenlernt. Denn: Die technik wird nicht mehr verschwinden.

Leider handelt es sich nicht nur um 1 Script sondern um eine ganze sehr komplexe Python Library... vielleicht geh ich mal selber auf die Suche nach dem Input/Output - Modul

Ich weiß, sass das wahrscheinlich keine Lösung für ein Unternehmen ist (weil: gefährlich, Datenschutz, etc), aber mit openclaw kannst du dem KI Agenten sagen, dass er sich das system ansehen und dokumentieren soll und dann kannst du mit ihm darüber sprechen.

Ich betreib das alles nur als hobby, aber die use-cases sind endlos. Bei meinem privaten server loggt sich die KI per SSH ein und schaut sich das komplette setup an, recherchiert über perplexity und macht mir Verbesserungsvorschläge und kann sie selber umsetzen!

Beispiel: ich hab mich vor monaten einmal mit crowdsec beschäftigt und wollte das für meinen privaten nextcloud, nginx Stack implementieren. Ich bin stunden gesessen und hab irgendwann aufgegeben u d das projekt ad acta gelegt, weils eben nur ein hobby ist.

Dann hab ich openclaw entdeckt und dem Agenten gesagt er soll mir den crowdsec Stack aufsetzen und testen. Nach etwa 1 stunde hat die KI alle notwendigen docker konfiguriert und installiert und mir einen test-alert aufs crowdsec Dashboard gesendet.

Bei allem gerede über die gefahren, wird vollkommen übersehen wie transformativ diese technologie ist. Ich kann nur hoffen, dass die EU sie nicht zu Tode reguliert.

Wir basteln schon an securen und Datenschutz konformen agentischen Plattformen und Lösungen.

Teile davon kannst du natürlich nur über Verträge sicherstellen, weil wirklich Auditieren ja unmöglich ist.

Klassische IT Operations und klassisches Development sind mittelfristig tot.

Analyse und Design von Lösungen wird's weiterhin geben.

19.03.2026, 08:26 Uhr - Editiert von Paulas_Papa, alte Version: hier

Thema Datenschutz: wie machst du KI DSGVO konform? Alles was die KI liest wird nach Amerika geschickt und das ist wohl das größte Problem.

Oder verwendet ihr open source modelle, die auf euren eigenen servern laufen? Die sind meiner Erfahrung nach nicht so gut wie die frontier modelle.

Entweder über Verträge oder über in der EU gehostete Modelle. Im Kern geht ja auch jede Google Abfrage über den Teich.

https://www.microsoft.com/en-us/microsoft-365/blog/2025/11/04/microsoft-offers-in-country-data-processing-to-15-countries-to-strengthen-sovereign-controls-for-microsoft-365-copilot/

Ist KEINE MS Reklame. Das bieten dir fast alle Modelle vertraglich an.

Meines Wissens haben die USA trotzdem Zugriff auf die Daten, auch wenn sie nicht in den USA gespeichert werden, Stichwort „cloud act“. Die Daten unterliegen also immer auch US Recht, wenn sie von einem US Unternehmen (wenn auch am Ende der Eigentümerkette) gespeichert werden.

Aber eure Juristen werden das sicher geprüft haben.

Meines Wissens haben die USA trotzdem Zugriff auf die Daten, auch wenn sie
nicht in den USA gespeichert werden, Stichwort „cloud act“. Die Daten
unterliegen also immer auch US Recht,

ist auch mein Wissensstand

mfg
AVS

aus gegebenem Anlaß: keine Toleranz für Vladolf Putler!

Da arbeiten Horden von Juristen daran.

Für mich ist es ein Eiertanz.

Du kannst es ernst nehmen und die EU kann versuchen, ca 10 Jahre und mehrere Billionen USD aufzuholen. Bis dahin bist du als Firma tot, weil dich die restliche Welt in deinem Core Business längst mittels Cloud & AI überholt hat.

Oder du interpretierst die ganzen (un)sinnigen Gesetze zu deinen Gunsten und überlebst.

Google einfach nach O365 und Cloud Act Konformität. Und O365 wird vermutlich von 99% der relevanten Firmen in der EU in einer oder anderen Form eingesetzt.

Halbweiche Lösungen sind zB BYOK. Du verschlüsselst deine Daten in der EU mittels deiner selbst generierten Schlüssel. Damit ist der direkte Zugang aus den USA nicht möglich und es muss ein bewusster "Einbruch" in die laufenden Systeme in der EU erfolgen. Geht das technisch - Nona.

Eine Steigerung ist "Host your own Key". Damit stellst du ein Krypto Device ins EU RZ des Hyperscalers und verwendest dieses. Kann das gehackt werden - natürlich.

Im Endeffekt diskutiert man die Größe des Feigenblattes.

19.03.2026, 09:55 Uhr - Editiert von Paulas_Papa, alte Version: hier

Halbweiche Lösungen sind zB BYOK. Du verschlüsselst deine Daten in der EU
mittels deiner selbst generierten Schlüssel.

Das geht für Datenspeicherung aber bei KI kannst du das vergessen, weil die KI nur mit klartext daten arbeiten kann.

Von daher dürftest du eigentlich nur Mistral verwenden. Das einzige halbwegs erfolgreiche KI Unternehmen in der EU.

Mir ist vollkommen klar, dass die meisten Unternehmen einfach drauf schei*en und trotzdem US Dienste verwenden. Das zeigt eigentlich nur wie sinnlos und realitätsfern die Bürokratie in der EU ist.

Es ist noch viel komplexer, weil dir alle relevanten Hersteller mehr oder minder gute Sovereign Lösungen anbieten.

Du kannst zB auch eine EU "Kopie" des generell trainierten LLM haben. Und dieser Kopie gibst du Zugriff auf deine unverschlüsselten DSGVO Daten. Dadurch kommen keine Daten aus der EU raus.

Wie gesagt, Heerscharen von Juristen und Architekten versuchen das Ding in Griff zu kriegen.

Das zeigt eigentlich nur wie sinnlos und realitätsfern die Bürokratie in der
EU ist.

In dem Fall sehe ich das ähnlich. Eine der sinnlosesten Verordnungen ist zB DORA.

Aber es zu generalisieren, wie du es tust, ist Schwachsinn und zeugt von Unwissen. Die EU setzt in vielen Bereichen weltweite Standards - die GUT sind! Für Produzenten & Konsumenten weltweit.

Das problem ist, dass die EU in Wirtschaftszweigen protektionistische Verordnungen erlässt, in denen wir keine Marktführer sind. Die Unternehmen werden damit dazu gezwungen die qualitativ schlechteren EU Produkte und Dienste zu kaufen, was die Wettbewerbsfähigkeit dieser Unternehmen am Weltmarkt verringert und den Anbietern der Produkte und Dienste den Innovationsdruck nimmt.
Das führt zu einer Abwärtsspirale, bei der irgendwann unser Wohlstand drauf geht.

Erlaube mir auszusteigen. Deine Generalisierungen sind mir keine weiteren Antworten wert.

Die DSGVO ist für mich als Privatperson sinnvoll. Als Firma ist sie ein "pain in the ass". Egal ob ich Marktführer bin oder hinterherlaufe.
KSchG und Fernabsatz Gesetz - als Konsument super. Als Händler - Aua...
...

Keines dieser Gesetze erscheint mir "protektionistisch". Sie gelten für "alle", auch für inländische Firmen.

20.03.2026, 14:36 Uhr - Editiert von Paulas_Papa, alte Version: hier

Absolut richtig

Welche Datenmenge faellt da insg. an (ein paar GByte, ein paar Petabyte, ...?), und sind diese Daten ephemerischer Natur (also dienen nur als Zwischenergebnis fuer folgende Berechnungen), oder muessen die "fuer immer" aufbewahrt werden?

Da du von Inodes schreibst gehe ich davon aus, dass die Gaude nicht unter Windows laeuft?

--

echo "[q]sa[ln0=aln256%Pln256/snlbx]sb729901041524823122snlbxq"|dc

So long, and thanks for all the uptime!

Insgesamt fallen da gemschischt Daten an - teilweise grosse Mengen an Videos und dann wieder die diese unsumme an kleinen Werten welche von sensorik stammt - insgesamt je nach Versuchsreihe bis zu 30TB/Monat mit 6-9 Millionen Files welche dann für mindestens 10-15 Jahre aufbewahrt werden müssen... die Analysen können auch Jahre dauern...
Fileserver sind Linux - Aufnahmeworkstations Windows und Linux.

OK, bei so einer Menge und Verwahrungsdauer ist es bloed, das mit den mir in den Sinn gekommenen Workarounds zu loesen. Man sollte es in Betracht ziehen, die Anwendungen so umzuschreiben, dass sie zumindest fuer den kleinen Mist statt winziger Dateien z. B. Sqlite (da braucht ihr gar keine Depedencies ueber die python3-stdlib hinaus) oder z. B. rocksdb (https://python-rocksdb.readthedocs.io/en/latest/ ) als K/V-Store verwenden. Je nach Zustand eurer aktuellen Codebase ist das mit mehr oder weniger Aufwand zu erreichen, aber die Tranformation von alt nach neu sollte auch irgendein agentischer Refactoring-Workflow, wie er hier ja eh schon begeistert diskutiert wird, gut hinbekommen koennen.

Als Holzhammer-Methode, um die Dateisysteme deiner Server quasi ohne Aenderungen am bestehenden Code durch eine Indirektion zu entlasten, koennte man noch einen anderen Weg waehlen:

1.) Du erstellst ein ausreichend groszes Container-File (`truncate -s1G /pfad/zur/container-datei` - 1GB zum Testen des Konzepts sollten reichen

) fuer den ganzen Kaese im normalen Dateisystem deines Fileservers.

2.) Du formatierst dieses Container-File mit einem passenden Dateisystem fuer deine Workload (Fuer sehr viele kleine Dateien sollte sowas OK sein: `mkfs.ext4 -T small -O ^has_journal,^uninit_bg,sparse_super -L DeinLabel /pfad/zur/container-datei`).

3.) Das Dateisystem auf bzw. in diesem Container-File mountest du als loopback-Mount (`mount -t ext4 -o loop,noatime /pfad/zur/container-datei /pfad/zum/mountpoint`) irgendwo im Verzeichnisbaum des Hosts, und die ungzogenen Programme sollen in Zukunft in bzw. unter diesem Verzeichnis/Mountpoint lesen und schreiben. Alle Aenderungen an den Dateien in diesem Container-File-Dateisystem finden dann innerhalb dieses Container-Files statt.

--

echo "[q]sa[ln0=aln256%Pln256/snlbx]sb729901041524823122snlbxq"|dc

So long, and thanks for all the uptime!

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung