Python Scripts welche enormen Mengen an Files und Folders produzieren

Re(4): Python Scripts welche enormen Mengen an Files und Folders produzieren

Zappa F. — Tue, 31 Mar 2026 11:38:10 GMT

Eh - nur sind diese Sripts teilweise riesig und es haben schon x Leute daran herum gewerkt - da gilt normalerweise never touch a running system...

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

pong — Tue, 31 Mar 2026 05:54:21 GMT

Deiner Software ists ja egal wie die Daten vorliegen sofern die Struktur richtig interpretiert wird.

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren

Zappa F. — Mon, 30 Mar 2026 20:06:27 GMT

Die Files werden noch eine Weile lang von python scripts/matlab für diversen Analysen benötigt... und wie gesagt es geht um gewaltige Mengen an Files - ich werde mich eher an eine Lösung mit HDF5 halten...

Re(5): Python Scripts welche enormen Mengen an Files und Folders produzieren

pong — Mon, 30 Mar 2026 16:56:46 GMT

Wir basteln schon an securen und Datenschutz konformen agentischen Plattformen
und Lösungen.

Ja, bei uns wied auch gebastelt. Und genau das ist das Problem.

Es wird nicht geplant und umgesetzt, sondern eben gebastelt. Falls mal Entscheidungen fallen, sind sie oft emotionsgetrieben statt rational und durchdacht.

Momentan werden auch Leute (wiedermal) rausgeworfen, bevor diese KI Lösungen zum Ersatz der Arbeitskraft eine Abnahme erfolgreich durchlaufen haben. Aber meist sinds da schon auf den Kunden losgelassen.

SW Entwicklung hat sich schon komplett verändert und LLM ist gekommen um zu bleiben. In wie weit diese Rechnung aber aufgeht, wird sich erst zeigen sobald der Preis kostendeckend festgesetzt ist. Nir sind dann vermutlich alle "Seniors" auch gegangen (worden), doch mMn brauchts dieses Wissen um den korrekten Context zu prompten (Hello Denglisch).

Wenn Agents unserer Produktion tun täten, was sie mir auf Anfragen (simple native Logs der Systeme) antworten ... Gute Nacht. Im Explain scheiterns oft und selbst inside a Plattform wird kein Zusammenhang hergestellt oder abgedriftet.

Disclaimer der Chatbots für Endkunden sind länger als meine Klopapierrolle, mit der Quintessenz "Dont trust me".

Aber wenigstens hab ich nicht die Illusion ewig beim jetzigen Dienstgeber zu sein. In 5 spätestens 10 Jahren wird eine höhere Instanz der Meinung sein, dass meine Handlungen so verrausrechenbar sind, dass es per LLM billiger ist. Ob dann wohl auch errechnet wurde, dass manche Dinge getan so getan und so kommuniziert werden um über 3 Ecken, die Rutsche für etwas weiter entferntes Ziel zu legen ... die Zeit wird es zeigen.

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren

pong — Mon, 30 Mar 2026 16:30:30 GMT

Was spricht dagegen diese Mini File pro zuordenbarer Einheit periodisch in ein Sammelfile zu mergen und das Original auf ein billigeres Medium zwecks Sicherung auszulagern?

Re(3): Python Scripts welche enormen Mengen an Files und Folders produzieren

colo — Thu, 19 Mar 2026 11:01:33 GMT

OK, bei so einer Menge und Verwahrungsdauer ist es bloed, das mit den mir in den Sinn gekommenen Workarounds zu loesen. Man sollte es in Betracht ziehen, die Anwendungen so umzuschreiben, dass sie zumindest fuer den kleinen Mist statt winziger Dateien z. B. Sqlite (da braucht ihr gar keine Depedencies ueber die python3-stdlib hinaus) oder z. B. rocksdb (https://python-rocksdb.readthedocs.io/en/latest/ ) als K/V-Store verwenden. Je nach Zustand eurer aktuellen Codebase ist das mit mehr oder weniger Aufwand zu erreichen, aber die Tranformation von alt nach neu sollte auch irgendein agentischer Refactoring-Workflow, wie er hier ja eh schon begeistert diskutiert wird, gut hinbekommen koennen.

Als Holzhammer-Methode, um die Dateisysteme deiner Server quasi ohne Aenderungen am bestehenden Code durch eine Indirektion zu entlasten, koennte man noch einen anderen Weg waehlen:

1.) Du erstellst ein ausreichend groszes Container-File (`truncate -s1G /pfad/zur/container-datei` - 1GB zum Testen des Konzepts sollten reichen ) fuer den ganzen Kaese im normalen Dateisystem deines Fileservers.

2.) Du formatierst dieses Container-File mit einem passenden Dateisystem fuer deine Workload (Fuer sehr viele kleine Dateien sollte sowas OK sein: `mkfs.ext4 -T small -O ^has_journal,^uninit_bg,sparse_super -L DeinLabel /pfad/zur/container-datei`).

3.) Das Dateisystem auf bzw. in diesem Container-File mountest du als loopback-Mount (`mount -t ext4 -o loop,noatime /pfad/zur/container-datei /pfad/zum/mountpoint`) irgendwo im Verzeichnisbaum des Hosts, und die ungzogenen Programme sollen in Zukunft in bzw. unter diesem Verzeichnis/Mountpoint lesen und schreiben. Alle Aenderungen an den Dateien in diesem Container-File-Dateisystem finden dann innerhalb dieses Container-Files statt.

Re(2): Python Scripts welche enormen Mengen an Files und Folders produzieren

Zappa F. — Thu, 19 Mar 2026 10:38:40 GMT

Insgesamt fallen da gemschischt Daten an - teilweise grosse Mengen an Videos und dann wieder die diese unsumme an kleinen Werten welche von sensorik stammt - insgesamt je nach Versuchsreihe bis zu 30TB/Monat mit 6-9 Millionen Files welche dann für mindestens 10-15 Jahre aufbewahrt werden müssen... die Analysen können auch Jahre dauern...
Fileserver sind Linux - Aufnahmeworkstations Windows und Linux.

Re: Python Scripts welche enormen Mengen an Files und Folders produzieren

colo — Thu, 19 Mar 2026 10:02:44 GMT

Welche Datenmenge faellt da insg. an (ein paar GByte, ein paar Petabyte, ...?), und sind diese Daten ephemerischer Natur (also dienen nur als Zwischenergebnis fuer folgende Berechnungen), oder muessen die "fuer immer" aufbewahrt werden?

Da du von Inodes schreibst gehe ich davon aus, dass die Gaude nicht unter Windows laeuft?

Re(12): Python Scripts welche enormen Mengen an Files und Folders produzieren

Paulas_Papa — Thu, 19 Mar 2026 09:56:29 GMT

Erlaube mir auszusteigen. Deine Generalisierungen sind mir keine weiteren Antworten wert.

Die DSGVO ist für mich als Privatperson sinnvoll. Als Firma ist sie ein "pain in the ass". Egal ob ich Marktführer bin oder hinterherlaufen.
KSchG und Fernabsatz Gesetz - als Konsument super. Als Händler - Aua...
...

Re(12): Python Scripts welche enormen Mengen an Files und Folders produzieren

Paulas_Papa — Thu, 19 Mar 2026 09:56:29 GMT

Re(12): Python Scripts welche enormen Mengen an Files und Folders produzieren

Paulas_Papa — Thu, 19 Mar 2026 09:56:29 GMT

Erlaube mir auszusteigen. Deine Generalisierungen sind mir keine weiteren Antworten wert.

Die DSGVO ist für mich als Privatperson sinnvoll. Als Firma ist sie ein "pain in the ass". Egal ob ich Marktführer bin oder hinterherlaufe.
KSchG und Fernabsatz Gesetz - als Konsument super. Als Händler - Aua...
...

Keines dieser Gesetze erscheint mir "protektionistisch". Sie gelten für "alle", auch für inländische Firmen.

Re(12): Python Scripts welche enormen Mengen an Files und Folders produzieren

Paulas_Papa — Thu, 19 Mar 2026 09:56:29 GMT

Erlaube mir auszusteigen. Deine Generalisierungen sind mir keine weiteren Antworten wert.

Die DSGVO ist für mich als Privatperson sinnvoll. Als Firma ist sie ein "pain in the ass". Egal ob ich Marktführer bin oder hinterherlaufe.
KSchG und Fernabsatz Gesetz - als Konsument super. Als Händler - Aua...
...

Re(12): Python Scripts welche enormen Mengen an Files und Folders produzieren

Paulas_Papa — Thu, 19 Mar 2026 09:56:29 GMT

Erlaube mir auszusteigen. Deine Generalisierungen sind mir keine weiteren Antworten wert.

Die DSGVO ist für mich als Privatperson sinnvoll. Als Firma ist sie ein "pain in the ass".
...

Re(11): Python Scripts welche enormen Mengen an Files und Folders produzieren

kaufinator1 — Thu, 19 Mar 2026 09:50:05 GMT

Das problem ist, dass die EU in Wirtschaftszweigen protektionistische Verordnungen erlässt, in denen wir keine Marktführer sind. Die Unternehmen werden damit dazu gezwungen die qualitativ schlechteren EU Produkte und Dienste zu kaufen, was die Wettbewerbsfähigkeit dieser Unternehmen am Weltmarkt verringert und den Anbietern der Produkte und Dienste den Innovationsdruck nimmt.
Das führt zu einer Abwärtsspirale, bei der irgendwann unser Wohlstand drauf geht.

Re(10): Python Scripts welche enormen Mengen an Files und Folders produzieren

Paulas_Papa — Thu, 19 Mar 2026 09:41:24 GMT

Es ist noch viel komplexer, weil dir alle relevanten Hersteller mehr oder minder gute Sovereign Lösungen anbieten.

Du kannst zB auch eine EU "Kopie" des generell trainierten LLM haben. Und dieser Kopie gibst du Zugriff auf deine unverschlüsselten DSGVO Daten. Dadurch kommen keine Daten aus der EU raus.

Wie gesagt, Heerscharen von Juristen und Architekten versuchen das Ding in Griff zu kriegen.

Das zeigt eigentlich nur wie sinnlos und realitätsfern die Bürokratie in der
EU ist.

In dem Fall sehe ich das ähnlich. Eine der sinnlosesten Verordnungen ist zB DORA.

Aber es zu generalisieren, wie du es tust, ist Schwachsinn und zeugt von Unwissen. Die EU setzt in vielen Bereichen weltweite Standards - die GUT sind! Für Produzenten & Konsumenten weltweit.

Re(9): Python Scripts welche enormen Mengen an Files und Folders produzieren

kaufinator1 — Thu, 19 Mar 2026 09:20:08 GMT

Halbweiche Lösungen sind zB BYOK. Du verschlüsselst deine Daten in der EU
mittels deiner selbst generierten Schlüssel.

Das geht für Datenspeicherung aber bei KI kannst du das vergessen, weil die KI nur mit klartext daten arbeiten kann.

Von daher dürftest du eigentlich nur Mistral verwenden. Das einzige halbwegs erfolgreiche KI Unternehmen in der EU.

Mir ist vollkommen klar, dass die meisten Unternehmen einfach drauf schei*en und trotzdem US Dienste verwenden. Das zeigt eigentlich nur wie sinnlos und realitätsfern die Bürokratie in der EU ist.

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren

ein Kritiker — Thu, 19 Mar 2026 08:45:17 GMT

Absolut richtig

Re(8): Python Scripts welche enormen Mengen an Files und Folders produzieren