einfach zu lernende Programmiersprache für Textfileausertung

einfach zu lernende Programmiersprache für Textfileausertung (37 Beiträge, 789 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Hallo,

ich suche eine einfache Programmiersprache, welche ich zur Auswertung von EDIFACT und/oder Textfiles nutzen kann. (es sind beide Formate vorhanden)

Ich hab zwar vor vielen Jahren leichte Erfahrungen mit C/C++ und Java gemacht, ist aber wie gesagt schon lang her und von dem Wissen ist bis auf die Basic nicht mehr viel vorhanden.

Mir ging es darum, ca. 400 Textfiles auszuwerten. Das heißt ich muss File für File einlesen, und dann Artikel für Artikel (pro File können 1 Artikel, aber auch mehrere sein) ebenfalls einlesen und ggf. auswerten. Dann File schließen und nächstes.

Die Files sind standardisiert aufgebaut. D.h. jede Zeile beginnt mit einer 8 stelligen Nummer gefolgt von Text, Datum, Zahlen oder was auch immer.

Läßt sich sicher mit jeder Programmiersprache realisieren, aber da ich mich neu einlernen müsste, wäre was einfaches was mit Text Dateien umgehen kann echt super.

Hat wer nen Tipp für mich?

Gearbeitet wird auf einer Windows Umgebung

Was soll ausgewertet werden? In der Regel sind es Zählungen von gewissen Artikel welche mit einem Suchkriterium übereinstimmen. Z.B. Artikel welche ein bestimmtes Datum haben.

Ja, man könnte theoretisch auf eine Oracle DB zugreifen, will ich aber nicht. Die Textfiles liegen bei mir und sind nach Jahren sortiert.

Auch soll es möglich sein auf große Textfiles zuzugreifen. Kann mir aus der DB tägliche TXT Files auswerfen lassen, die dann so um die 150 mb haben ...

Vielen Dank

31.10.2015, 10:10 Uhr - Editiert von Alkestis, alte Version: hier

Ich helf mir bei sowas immer mit Access, Excel und ein wenig VBA.

LG Mike

Dieser Beitrag bezieht sich auf eine ältere Version des beantworteten Postings!

Wie kann Excel solche Daten einlesen? Gibts da wirklich Optionen?

Mir wäre halt geholfen, wenn ich dafür eine Routine schreiben könnte. Da diese nicht sehr kompliziert ist, natürlich so einfach wie möglich.

VBA sollte das auch alleine können oder?

Wie gesagt, die Ausgabe ist oft nur ein Einzeiler.

Z.B. x Datensätze gefunden

Die Ausgabe muss nicht in nem File erzeugt werden. Ich möchte halt nur die Anzahl der gefundenen Datensätze wissen ohne das händisch zu zählen (bei 1,5 Mio Artikel etwas aufwendig)

Nachtrag: Das Buch hier würde in dem Fall ausreichen oder? VBA mit Excel: Das umfassende Handbuch (Galileo Computing)

http://www.amazon.de/VBA-mit-Excel-umfassende-Computing/dp/3836225794/ref=sr_1_4?s=books&ie=UTF8&qid=1446199185&sr=1-4&keywords=vba

30.10.2015, 11:02 Uhr - Editiert von Alkestis, alte Version: hier

Wenn es nur TEXT files sind, dann musst du einfach die Daten interpretieren.

Ja natürlich kann das VBA alleine, aber zur Lesbarkeit verwende ich gerne Tabellen um die Datensätze lesbarer zu machen, farblich hervorzuheben oder auch zu filtern.

Es würde ausreichen sich auf diversen Foren und Webseiten einzulesen und bei gezielten Fragen nach Beispielen zu googeln.

LG Mike

ok, super, danke, dann weiß ich wie ich mal anfangen kann und weiter vorgehen kann.

Das sollte mir fürs erste helfen.

vielen Dank

Ja, bitte gerne ... und wenn du Detail-Fragen hast dann kannst du dich gerne NICHT an mich wenden, ich bin kein Entwickler und suche mir ebenfalls meine Schnipsel so zusammen wie ich sie für MEINE Tools brauche.

LG Mike

ja sicher, kein Problem. Bin auch kein Entwickler und will keiner werden.

Mir hat der Anfang gefehlt, den Rest schaffe ich schon irgendwie. Hab mir trotzdem mal das Buch organisiert, das wird mir schon bei meinen Problemen helfen.

Access kann ganz ok sein, insbesondere, wenn die Daten in einer richtigen DB (hier Oracle) liegen und man in Access nur Masken, Abfragen, Steuerung etc. bauen will, durchaus auch mit "ein wenig VBA".

Excel ist keine Datenbank. Excel ist ein Rechenprogramm. Wenn ich das Wort "Excel-Liste" höre, gehe ich an die Decke. Zum Verwalten oder bearbeiten größerer Datenmengen ist Excel definitiv nicht geeignet, damit baut man bestenfalls schwer auffindbare Fehler ein. Nur ahnungslose Sekretärinnen verwalten Daten in Excel.

cheers
h

Excel ist ein Rechenprogramm. Wenn ich das Wort "Excel-Liste" höre, gehe ich
an die Decke. Zum Verwalten oder bearbeiten größerer Datenmengen ist Excel
definitiv nicht geeignet, damit baut man bestenfalls schwer auffindbare Fehler
ein.

bedingt. ob du nun eine unformatierte tabelle in excel oder access anlegst, macht noch keinen großen unterschied. wenn du diese daten dann mit einer pivottabelle und/oder diagrammen auswertest, hast auch noch kaum probleme zu befürchten. wennst aber versuchst deine mit filtern, leerzeilen, farben, rahmen, mehrzeiligen text, verbundene zellen usw versehenen daten zu verwursten, dann bist bei

Nur ahnungslose Sekretärinnen verwalten Daten in Excel.

Excel/VBA

Dieser Beitrag bezieht sich auf eine ältere Version des beantworteten Postings!

auch dir danke für den Tipp

wie schon erwähnt kannst hier auf excel+vba setzen. mag sein, dass mit anderen sprachen das ganze schneller geht.

du brauchst mehrere dinge, wobei du vieles zu 80-100% vorgefertigt findest.

1) einen datei-auswahldialog -> als anhaltspunkt zum weiter suchen:
http://stackoverflow.com/questions/10380312/loop-through-files-in-a-folder-using-vba
oder einen ordner-auswahldialog der automatisch alle *.txt nimmt

2) txt importieren:
http://www.herber.de/forum/archiv/1248to1252/1251655_Textdatei_importieren_VBA.html

bei großen mengen eventuell mit einem array arbeiten und nicht jede zeile sofort einzeln ins blatt schreiben. falls alle txt die gleiche spaltenanzahl haben, kannst natürlich die komplette txt reinkopieren lassen, vorsicht bei den übschriften.

3) wenn mal alles in einem tabellenblatt steht, kannst überlegen, was du wie ausgewertet willst. eventuell per pivot-tabelle

für das, was du willst, gibts vermutlich mindestens 10 wege in excel um ans ziel zu kommen. kannst ja mal beginnen und bei konkreten problemen weiterfragen.

alternative wäre access, aber afair muss man da jedes txt mal einzeln anlegen und dann weiterverwursteln, wobei vba auch in access funktioniert, aber davon würd ich die finger lassen, wenn du mit excel auch glücklich wirst.

Dieser Beitrag bezieht sich auf eine ältere Version des beantworteten Postings!

alternative wäre access, aber afair muss man da jedes txt mal einzeln anlegen
und dann weiterverwursteln

Was genau meinst du damit? Access würde in seinem Fall nur Sinn machen wenn er die Daten ablegen will. Nachdem sie aber schon auf einer Oracle Datenbank liegen ist das nicht notwendig. Man könnte natürlich auch die Text Dateien in Access Tabellen ablegen und mit einem Excel Datenblatt verknüpfen um sie besser auswerten zu können. Die Abfragen kann man ja schön ansteuern.

LG Mike

Das Problem an der Sache ist, dass ich nur gewissen TXT Files auswerten möchte.

Also bei der ersten Suche kann das File 0200 - 0250 betreffen, aber in anderen Suchen von 0001 - 0200

Das kann variieren. Die Files selbst sind Tagesfiles, also Artikel die täglich geändert werden oder neu angelegt werden.

Deshalb hilft mir hier eine DB nur bedingt weiter. Ja natürlich ich könnte 0001 - 9999 einlesen und in eine DB speichern und von der dann grundsätzlich weiter arbeiten. Nur müsste ich tägliche Änderungen auch täglich einspielen. Das will ich so nicht, denn das gibts ja bereits in der Oracle DB. Dazu müsste ich aber die täglichen Änderungen berücksichtigen. D.h. ein Artikel kann irgendwann angelegt werden und in der History des Artikels x mal geändert, gelöscht, wiederangemeldet etc. sein. Das macht es unnötig kompliziert und deshalb will ich dem aus dem Wege gehen.

Deswegen sollen Files von einem gewissen Zeitraum eingelesen werden und danach nach bestimmten Kriterien durchsucht und ausgewertet werden.

Oft will ich gar keine großen Details wissen, mir reichen Kleinigkeiten der Datensätze. Z.B. welche Artikel im Jahr 2013 neu angelegt wurden. Dazu muss ich nur nach Datensätzen suchen, welche eine eine Schnittstellenangabe 1 haben und das Datum innerhalb von 2013 liegt. Und dann reicht mir aus Ausgabe: 15000 Datensätze gefunden.

Man sollte davon ausgehen, dass im Schnitt ca. 300 Files durchsucht werden und alle Artikel ca. 400.000 - 1,5 Mio sind. (Wobei eher am unteren Limit gesucht wird)

Das EDIFACT System selbst ist aus dem Jahre Schnee (glaub Anfang der 90er Jahre "erfunden"), deshalb möchte ich das auch über die Textfiles machen, da ich denke, dass das der einfachste Weg zum Ziel ist, wenn auch nicht der Schnellste.

Solche Suchen werden 1-3 x im Jahr durchgefüht. Vielleicht am Anfang öfters, da ich mir dann die Zahlen von den Vorjahren ebenfalls gleich auswerten lasse. Aber wenn das mal fertig ist, habe ich ca. 3 Suchen pro Jahr.

Solange du dir eine Methodik am Papier überlegst wie du es VBA beibringst dir den gewünschten Output zu geben, wirst du zu einem Ergebnis kommen. Vielleicht wirst du mit der Zeit draufkommen was alles möglich ist und "mehr" Zeit investieren um bessere Auswertungen fahren zu können.

Vielleicht bastelst du dir dann auch noch ein paar Knopferl und Menüs zusammen und dann kann es ein Kollege auch bedienen.

LG Mike

Knopferl und Menüs

oder dynamische ribbonknopferl mit tollen grafiken

die alten werkzeugkästen (commanbar und commandbarcontrol) per vba waren dagegen kindergeburtstag.

Vielleicht bastelst du dir dann auch noch ein paar Knopferl und Menüs zusammen

Ja wenn der erste Schritt mal erledigt ist, kann man darüber nachdenken.

ABER ich bin alleine im Unternehmen. Chef ist ausgelagert, Buchhaltung ist ausgelagert

Kellegin/Kollege wirds wohl nie geben. Die Kollegen im Ausland machen sowieso ihr eigenes Süppchen

in access kannst txt importieren bzw verknüpfen, welche dann (automatisch) aktualisiert werden können. geht natürlich nur, wenn diese vom dateinamen her statisch sind. das sind dann quasi tabellen und mit denen kannst per abfragen und formularen "alles" machen.

ich würd in jedem fall die reine excelvariante bevorzugen, da dynamischer und vermutlich pflegeleichter. klar geht auch die excel-access verbindung, aber wenns nicht sein muss, dann kein exzess

Ja, ich weiß jetzt was du meinst. Ich würde davon aber abraten, da das elendslangsam und ziemlich instabil ist. Die einzige Verbindung die auf Dauer richtig funktioniert ist Excel->Access.

Access ist 100x besser als sein Ruf, vorausgesetzt der Entwickler gibt sich Mühe - aber das ist überall so. Von den vorgefertigten Templates halte ich aber übrigens auch nichts.

LG Mike

Access ist 100x besser als sein Ruf, vorausgesetzt der Entwickler gibt sich
Mühe

das setzt voraus, dass er bereits ein paarmal eingefahren ist und sich gut auskennt. der TE dürfte da keine erfahrung haben und somit würd ich eher abraten, vorallem weil das, was er will, in excel mit vba ziemlich flott und stabil zu bewerkstelligen ist.

das elendslangsam

eines der hauptprobleme von vba. bin in den jahren bei etlichen dingen an die grenzen gestoßen und hab keine wirkliche verbesserungsmöglichkeit gefunden. suchen, sortieren oder funktionen, die man sich erst zusammenschustern muss. das "witzige" ist, dass ich mir bei vielen dingen gedacht hab "oh sh**, das wird ein aufwand" und dabei gibts eine flotte, fertige lösung und bei komplett simplen dingen fehlt genau die eine eigenschaft, die man gern hätte. ka, ob das in anderen sprachen auch so schlimm ist, aber wieso vb(a) eine nischenlösung ist, ist nicht schwer zu erkennen.

ok, danke für die Links, schau ich mir ggf. noch an wenn ich soweit bin.

Excel und VBA hört sich jedenfalls schon mal gut und halbwegs einfach an.

Grep
Awk

Mit freundlichen Grüßen Lukas

Dieser Beitrag bezieht sich auf eine ältere Version des beantworteten Postings!

perl

Dieser Beitrag bezieht sich auf eine ältere Version des beantworteten Postings!

So eine EDIFACT Datei kann ziemlich komplex werden. Sicher, dass du das selbst programmieren willst?

Wenn du die Informationen schon in einer Datenbank hast, würde ich darauf zu greifen. Da kannst du mit ein paar Abfragen solche Auswertungen sehr schnell raus bekommen.

Die Files sind standardisiert aufgebaut. D.h. jede Zeile beginnt mit einer 8 stelligen Nummer gefolgt von Text, Datum, Zahlen oder was auch immer.

Sicher, dass das eine EDIFACT-Datei ist?

EDIFACT schaut so aus:
UNA:+.?'UNB+UNOC:3+Senderkennung+Empfaengerkennung+060620:0931+1++1234567'UNH+1+ORDERS:D:96A:UN'BGM+220+B10001'DTM+4:20060620:102'NAD+BY+++Bestellername+Strasse+Stadt++23436+xx'LIN+1++Produkt_Schrauben:SA'QTY+1:1000'UNS+S'CNT+2:1'UNT+9+1'UNZ+1+1234567'

Dieser Beitrag bezieht sich auf eine ältere Version des beantworteten Postings!

EDIFACT-Datei

Hab ich versehentlich nicht geschrieben.

Ja ich habe sowohl EDIFACT Dateien (die werden bei uns intern verwendet) als auch einfache Textfile (diese werden Zwecks Transport dann in EDIFACT umgewandelt)

Wir verwenden eine uralt Server Anwendung welche aus den TXT Files EDIFACT Files erstellt und diese dann an unseren zentralen Server sendet wo diese dann in eine DB hinein wandern.

Grundsätzlich ist ja EDIFACT nur begrenzt komplex oder kompliziert ... wenn man den Aufbau kennt, ist auch hier der Inhalt leicht zu extrahieren.

Wie dem auch sei, es sind zwar beide Dateien vorhanden und natürlich auch noch in einer DB, aber mir wäre es am liebsten, wenn ich mit den TXT Dateien arbeiten kann.

Dafür scheint VBA+Excel die Beste Variante zu sein.

31.10.2015, 10:16 Uhr - Editiert von Alkestis, alte Version: hier

C#

foreach (string filename in Path.GetFiles("'.txt")
{
string[] contentLines = File.ReadAllLines(filename);
}

Die Daten dann mittels Regex extrahieren (ist etwas mühsamer, aber wenn du mir zwei, drei Beispiele schickst kann ich was zusammenbasteln).

Wenn der Sturm losbricht,
verstummen die Einen vor Schrecken,
und die Anderen breiten, einem Adler gleich, die Flügel aus
und schwingen sich empor.

Herzlichen Dank an Raydoo für die Fotos

Dieser Beitrag bezieht sich auf eine ältere Version des beantworteten Postings!

vielen Dank, aber ich möchte es zuerst selbst probieren. Ich versuche mal mit VBA+Execel ans Ergebnis zu kommen.

Wenn ich wirklich zu unfähig dafür bin, könnte ich mich ja noch mal melden. Ich stelle halt ungern "echte" Beispiel online, sind halt doch Firmendaten

würde auch zu visual studio express und c# raten

AHK (http://ahkscript.org/ )

#SingleInstance, force
SetWorkingDir %A_ScriptDir%
anzahl =
Loop, *.txt,
{
file =
counter =
FileRead, file, %A_LoopFileName%
Loop, parse, file, `n, `r
{
RegExReplace(A_LoopField, "im)2015",, counter) ; <- 2015 = Datum
anzahl += counter
}
}
msgbox %anzahl%
return
--
(ò_ó)
(~,~)
(ö,ö)
(ô_ô)
(´)(>.<]

Das sieht fein und einfach aus.

Vielen Dank, das schau ich mir mal genauer an

das kann jede sprache. ich würds in python machen aber das ist geschmackssache.

Dass ich das richtig verstehe, du hast die Möglichkeit per SQL deine Abfrage zu gestalten und willst unbedingt auf am Filesystem liegende Textfiles zugreifen?

Kapier ich zwar nicht, aber jeder wie er will.

REXX

pong

"Ein Gewitter reinigt die Luft", sagte ein Mann, nachdem ein Blitz seine Frau erschlug

du hast die Möglichkeit per SQL deine Abfrage zu gestalten

nein, die Möglichkeit habe ich nicht (könnte ich aber, nur will ich keinen Zugriff auf die DB haben)

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung