Automatisierter Download von PDF Dateien auf Springerlink

[dchrist1]

Hallo zusammen,

ich bin ein Neuling auf dem Gebiet der OS X Programmierung. Würde jetzt aber gerne eine Software entwickeln, die mir PDFs von SpringerLink herunterlädt. Auf SpringerLink kann man mit einem Account einen großen Buchbestand kostenlos bekommen. Meiner Meinung nach herrscht dort eine gewisse Struktur auf den Seiten sodass ich denke, wenn ich den Quellcode einer Seite auslesen kann, diesen dann so weiterverarbeiten kann, dass ich irgendwann zu jedem Buch eine Downloadadresse bekomme.

Könnt ihr mir vielleicht sagen, wie ich es hinbekomme, dass ich Internetseiten in einer Software aufrufe, deren Quelltext mir in eine Variable speichern und dann weiterverarbeiten kann? Oder wie würdet ihr das angehen? Die Struktur der Internetseite ist generell so, dass es zunächst eine Seite gibt, auf denen die bücher aufgelistet sind. Klickt man dann auf ein Buch, öffnet sich deren Seite und ich kann einzelne Kapitel herunterladen als PDF. Und das würde ich gerne automatisieren. D.h. ich gebe ich meiner Software ein Stichwort ein und diese spuckt mir dann irgendwann mehrere Bücher aus, die ich dann downloaden kann. Das ganze kann man dann natürlich auch für andere Seiten ausprobieren, aber ich möchte gerne mit SpringerLink anfangen. Was haltet ihr davon? Denkt ihr, dass das realistisch hinzubekommen ist? Ich habe damals nur mit C und C++ programmiert.

Viele Grüße

 

[quarx]

Schau doch mal hier, so etwas Ähnliches gibt's schon als Python-Skript: http://milianw.github.com/springer_download

 

[Irgendein Held]

Was haelst du von Prototyping in, sagen wir, Ruby? Da kannst du mal schnell einen Parser basteln und schauen wie gut und wie stabil du an die einzelnen Namen und Links der PDF's kommst.
Fuer die Implementierung kommt mir als erstes libcurl in den Sinn, damit geht das ganze eigentlich recht schnell und einfach.

...

[...]http://milianw.github.com/springer_download

Das Python-Script sieht gut aus, job done. =)

 

[blackdemon]

Wie bekomme ich das Ganze zum laufen? Ich hab jetzt pdftk und python installiert aber so ganz blicke ich immernoch nicht durch

 

[quarx]

... der Skript-Aufruf steht doch auf der o.a. Webseite? Er ist im Terminal einzugeben.

 

[SoundAuthority]

Bekomme das Skript leider auch nicht zum laufen...könnte jemand ne kurze Erläuterung unter OS X geben?

 

[rastex]

./springer_download.py -l "HIER DEN LINK VON DER SPRINGERLINK WEBSITE EINTRAGEN IN DER FORM http://www.springerlink.com/content/978-3-540-38439-7 - WICHTIG DABEI SIND DIE ANFÜHRUNGSZEICHEN "

Und den Link natürlich ändern sonst lädst Du das Strömungslehre Buch vom Spurk runter

Viel Spaß damit.

 

[s0f4surf3r]

Hallo, ich bin leider der voll Noob in Solchen Sachen. Habe mir das neueste Python 2.7x geladen und das pdftk und beides unter Lion installiert. Das Script von oben hab ich mir auch geladen. Aber was mache ich nun? Welches Terminal? Muss ich das Script irgendwo hin kopieren? Was muss ich starten und wo eingeben?

Wäre super wenn ihr mir helfen könntet.

 

[MacAlzenau]

Welches Terminal? Gibt nur eines für OS X, im Dienstprogramme-Ordner.
Solange du dort den kompletten Pfad zum Skript eingibst, sollte es egal sein, wo es liegt. Den musst du aber nicht immer eintippen, du kannst das Skript auch mit der Maus ins Terminalfenster ziehen, dann hast du automatisch den korrekten Namen.
Ansonsten muß der Pfad zum Verzeichnis mit deinen Skripten dem Terminal mitgeteilt werden, in der Variable $PATH, dann reicht der Name des Skripts im Terminal.

 

[s0f4surf3r]

äh ok, ich hab jetzt im User Ordner den Ordner bin angelegt und hab das Script reinkompiert. Dann bin ich im Terminal mit cd bin in den Ordner. Dort hab ich dann

./springer_download.py -l "http://www.springerlink.com.ubproxy.ub.uni-heidelberg.de/content/978-3-531-17934-6/contents/"

eigegeben. Das Terminal sagt mir dann:

ERROR: You have to install the packet ImageMagick in order to use convert

Wahh. Hab eben nach dem ImageMagick geschaut. Das verwirrt mich noch mehr, ich bräuchte MacPorts um es zu installieren und für MacPorts bräuchte ich xcode... Aber laut der Seite von dem Milian braucht man das doch gar nicht. oO dieses iconv konnte ich auch nicht wirklich finden. Hab ich das schon? Liegt es daran?

Danke für die Hilfe MacAlzenau

 

[quarx]

ImageMagick für OS X Lion gibt's binär zum Download hier:
http://www.imagemagick.org/script/binary-releases.php#macosx

 

[s0f4surf3r]

danke. Ist für mich alles Chinesisch. Dann hab ich wohl Pech gehabt.

 

[s0f4surf3r]

sonst keiner da, der dieses Skript benutzt? Glaube einfach nicht, dass ich dieses ImageMagick mit allem was dran hängt benötige

 

[quarx]

Warum klickst Du nicht auf den Link in meinem Post und installierst es einfach? Das ist kein Chinesisch. Das Pythonskript kommt nun mal aus der Linux-Welt, da benutzt man fürs Konvertieren von Bildern häufig ImageMagick.

 

[s0f4surf3r]

Macports und xcode brauch man vorher auch noch und auch bei macports bin ich gescheitert. Hab mir jetzt den springer downloader in der VM unter XP installiert. Aber auch damit bekomme ich nichts geladen. Scheint an dem Zugang meiner Uni zu liegen. Ich komme per Link (Proxy steht in der Adresse) auf die Springerseite und nicht per VPN.

 

[quarx]

Nein, Du brauchst weder Xcode noch Macports.

 

[s0f4surf3r]

der erste Satz in dem Link lautet "We recommend MacPorts which custom builds ImageMagick in your environment. Download MacPorts and type:"

 

[quarx]

"Recommend" heißt nicht, dass es nicht auch ohne geht. Nimm meinen Link von weiter oben und Du bekommst ImageMagick OHNE Macports.