Große CSV-Datei parsen

[Katzenfutter]

Hallo...
Stehe grade vor einem größeren Problem.
Meine Aufgabe: ich muss eine ca. 27MB umfassende CSV-Datei parsen und deren Inhalt letztendlich in eine Datenbank pressen. Letzteres dürfte kein größeres Problem darstellen, MySQL ist da recht gutmütig...

Nur Java bereitet mir grade Kopfschmerzen.
Eine unschöne Lösung (oder auch schön, Ansichtssache!) habe ich: ich lasse immer nur eine Zeile einlesen, parse sie, schreibe sie in die DB und lese die nächste... solange bis EndOfFile.

Hat jemand ne andere, eventuell bessere Lösung für mein kleines CSV-Problem?

Help is much appreciated!

 

[Skeeve]

Nimm Perl

 

[Katzenfutter]

Nimm Perl

Nach eigenem Geschmack würde ich mich mit PHP dran versuchen...
Aber nein.

Soll eine Anwendung für den gewöhnlichen Desktop werden, CrossPlatform und grafisch.
Also Java, da ich sonst nix beherrsche (oder so tue als ob)

 

[Skeeve]

grafisch? Baust' halt AppleScript drumrum...

crossplattform? Nimmst halt Tcl/Tk

Wie auch immer: Wo ist das Problem? Wenn die Zeilen nicht gigantomanisch lang sind (naja, < 27MB schätze ich) liest Du halt Zeile für Zeile ein und pumpst es in die Datenbank. Sowas sollte Java doch locker hinbekommen.

Also ich sehe da keine Probleme. Zumindest keine, die Du hier beschrieben hättest.

 

[Trapper]

Eine unschöne Lösung (oder auch schön, Ansichtssache!) habe ich: ich lasse immer nur eine Zeile einlesen, parse sie, schreibe sie in die DB und lese die nächste... solange bis EndOfFile.

Zumindest das "Schreiben in die Datenbank" könntest du mit Hilfe eines Puffers eleganter machen, indem du immer erst n Einträge sammelst und diese dann in einem Rutsch wegschreibst. Dazu würde sich ein BatchStatement (siehe addBatch in PreparedStatement) anbieten.
Bringt Performance-mäßig vor allem dann etwas, wenn die Datenbank auf einem externen Host läuft und du dich via Netzwerk zu ihr verbindest.

 

[smile]

jdbc -> autocommit ausschalten und die sql statements vernünftig zu batches zusammenfassen. Dann gibts keine Probleme. 27MB sind ja nun auch nicht sooo viel - das würde ja sogar noch in den Speicher passen <duckundrenn>

 

[MatzeLoCal]

Also ich sehe da jetzt auch nicht so das Problem.

27MB ist jetzt auch nicht sooo irre viel.

Wie liest Du denn genau die Daten ein?

 

[Katzenfutter]

FileReader, meinetwegen BufferedReader, mit den gängigen Readern eben.
Muss die einzelnen Reihen aus der CSV-Datei noch parsen, da das Ganze ein leicht seltsames Format hat...
Bin da ein bißchen am Rumspielen, grade auch was JDBC angeht.
Muss dabei auch ein bisschen auf die Performance achten... der Heap wird bei 27MB Daten schon knapp

 

[MatzeLoCal]

Und das übliche

		BufferedReader bufferedReader = new BufferedReader(new FileReader(path));
		String tmpLine = null;
		while((tmpLine = bufferedReader.readLine())!=null) {
			//Verarbeitun
		}

taugt dir nicht?

Ich hab damit gerade testhalber ein 50MB Datei eingelesen und das lief wunderbarst.
Die SQL-Statemens würde ich halt nicht unbedingt "sammeln" und dann abschiessen.

 

[Katzenfutter]

Die Lösung liegt in einem einzigen SQL-Statement.
MySQL liest auch CSV-Dateien ein und schreibt sie, wie gewünscht vergleichbar einem INSERT-Statement, in die Datenbank.

Wen das Statement interessiert, einfach fragen

 

[csharp]

http://dev.mysql.com/doc/refman/5.1/de/mysqlimport.html

 

[Katzenfutter]

http://dev.mysql.com/doc/refman/5.1/de/mysqlimport.html

So mag das vielleicht auch funktionieren, klar.
Nur sollte das ganze per JAVA und JDBC funktionieren.
Also muss da ein passendes SQL-Statement her.

Ich will ein Programm schreiben, welche die Daten importiert, anzeigt und nachher auch auswertet... mit Charts und Hastenichgesehen