Java: Parsen großer Dateien

Java: Parsen großer Dateien (88 Beiträge, 612 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Hallo!

Ich hab ein Problem beim Parsen von großen Datein (160MB++). Eine Datei enthält mehrere String-Doppelzeilen, aus denen für jede Position Tupel-Objekte (= zwei Chars, zwei Integers) erstellt werden sollen. Diese Objekte sollen in ein Array, was dann die Ausgabe des Parsevorgangs bilden soll.

Das Problem - der Speicher. Mit "java -Xmx2600M" tuts das 64-bit Linux recht weit, aber kurz vor Ende der Datei ist Schluß (Prozess hängt mit 2.7GB Speicher und 0% CPU). Ist Xmx unter 1024M krieg ich sofort einen Fehler mangels Heap Space. Mit kleinen Testdateien funktioniert der Parser hingegen problemlos.

Die Objekte zwischenzuspeichern wäre vielleicht eine Idee, ich weiß aber nicht, wie ich dann am Ende das ganze wieder zu einem Array zusammensetzen soll.

Irgendwelche Ideen, wie man das ohne Hardwareaufrüstung im bösen Ausmaß machen kann?

Grober Vorgang:

BufferedReader <- FileReader <- File
While (BufferedReader nicht leer) {
   Zeile 1 = BufferedReader.readLine()
   Zeile 2 = BufferedReader.readLine()
      For (Zeilenlänge) {
          ArrayList.add(New Tupel(...))
      }
}
Tupel[] = ArrayList.toArray
return Tupel[]

signature: *trau dich doch*

Re: Java: Parsen großer Dateien (Somnatic am 23.11.2006, 15:35:47)

Re(2): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 15:41:42)

Re(3): Java: Parsen großer Dateien (Somnatic am 23.11.2006, 15:46:43)

Re(4): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 16:00:53)

Re(5): Java: Parsen großer Dateien (Somnatic am 23.11.2006, 16:03:43)

Re(6): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 16:07:16)

Re(7): Java: Parsen großer Dateien (Somnatic am 23.11.2006, 16:10:03)

Re(8): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 16:19:15)

Re(9): Java: Parsen großer Dateien (Somnatic am 23.11.2006, 16:26:57)

Re(10): Java: Parsen großer Dateien (Linux_Sucks am 23.11.2006, 17:08:32)

Re(11): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 17:19:19)

Re(10): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 18:20:26)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 23.11.2006, 17:14:41)

Re(6): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 17:22:56)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 23.11.2006, 17:26:16)

Re(8): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 17:28:49)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 23.11.2006, 17:27:47)

Re: Java: Parsen großer Dateien (adhoc am 23.11.2006, 15:53:22)

Re(2): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 16:04:03)

Re(3): Java: Parsen großer Dateien (Somnatic am 23.11.2006, 16:04:38)

Re: Java: Parsen großer Dateien (Linux_Sucks am 23.11.2006, 16:21:03)

Re(2): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 16:26:43)

Re(3): Java: Parsen großer Dateien (Linux_Sucks am 23.11.2006, 16:42:18)

Re(4): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 16:53:31)

Re(5): Java: Parsen großer Dateien (Linux_Sucks am 23.11.2006, 17:14:56)

Re(6): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 17:18:06)

Re(7): Java: Parsen großer Dateien (Linux_Sucks am 23.11.2006, 17:32:39)

Re(7): Java: Parsen großer Dateien (Linux_Sucks am 23.11.2006, 17:38:41)

Re(8): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 17:53:31)

Re: Java: Parsen großer Dateien (nergal am 23.11.2006, 16:34:08)

Re(2): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 16:55:12)

Re(3): Java: Parsen großer Dateien (bneu am 23.11.2006, 17:02:09)

Re(4): Java: Parsen großer Dateien (Linux_Sucks am 23.11.2006, 17:16:56)

Re(5): Java: Parsen großer Dateien (bneu am 23.11.2006, 17:33:50)

Re(6): Java: Parsen großer Dateien (Linux_Sucks am 23.11.2006, 17:34:46)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 23.11.2006, 17:10:17)

Re(2): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 17:16:34)

Re(3): Java: Parsen großer Dateien (nergal am 23.11.2006, 17:27:40)

Re(4): Java: Parsen großer Dateien (m3t4tr0n am 23.11.2006, 17:29:43)

Re(5): Java: Parsen großer Dateien (nergal am 23.11.2006, 17:30:09)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 23.11.2006, 23:32:04)

Re: Java: Parsen großer Dateien (thE am 23.11.2006, 21:49:32)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 23.11.2006, 23:31:06)

Re(3): Java: Parsen großer Dateien (thE am 24.11.2006, 08:16:27)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 08:33:19)

Re(5): Java: Parsen großer Dateien (thE am 24.11.2006, 08:39:06)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 08:45:09)

Re(7): Java: Parsen großer Dateien (thE am 24.11.2006, 09:07:57)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 09:33:39)

Re(9): Java: Parsen großer Dateien (Linux_Sucks am 24.11.2006, 09:39:56)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 09:41:33)

Re(11): Java: Parsen großer Dateien (Linux_Sucks am 24.11.2006, 09:43:03)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 09:47:42)

Re(13): Java: Parsen großer Dateien (Linux_Sucks am 24.11.2006, 09:51:50)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 09:54:56)

Re(15): Java: Parsen großer Dateien (Linux_Sucks am 24.11.2006, 10:00:30)

Wenn wir schon oT sind: (Linux_Sucks am 24.11.2006, 10:06:24)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 10:10:38)

Re(10): Java: Parsen großer Dateien (m3t4tr0n am 24.11.2006, 10:05:28)

Re(11): Java: Parsen großer Dateien (Linux_Sucks am 24.11.2006, 10:09:27)

nun ... doch... (Linux_Sucks am 24.11.2006, 09:48:29)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 09:53:45)

Re(2): nun ... doch... (Linux_Sucks am 24.11.2006, 09:57:08)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 10:08:39)

Re(4): nun ... doch... (m3t4tr0n am 24.11.2006, 11:15:43)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 11:18:13)

Re(9): Java: Parsen großer Dateien (thE am 24.11.2006, 10:37:03)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 10:38:44)

Re(11): Java: Parsen großer Dateien (thE am 24.11.2006, 10:44:38)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 10:46:52)

Re(13): Java: Parsen großer Dateien (m3t4tr0n am 24.11.2006, 11:12:41)

Vom Autor zurückgezogen oder Autor hat seine Registrierung nicht bestätigt (Nagelfar am 24.11.2006, 11:17:11)

Re(2): Java: Parsen großer Dateien (m3t4tr0n am 24.11.2006, 09:56:50)

Re(3): Java: Parsen großer Dateien (thE am 24.11.2006, 10:21:00)

Re: Java: Parsen großer Dateien (Robert Craven am 23.11.2006, 22:00:48)

Re(2): Java: Parsen großer Dateien (Linux_Sucks am 23.11.2006, 22:18:57)

Re(2): Java: Parsen großer Dateien (m3t4tr0n am 24.11.2006, 09:59:49)

Re: Java: Parsen großer Dateien (cyran am 24.11.2006, 10:56:03)

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung