• Apfeltalk ändert einen Teil seiner Allgemeinen Geschäftsbedingungen (AGB), das Löschen von Useraccounts betreffend.
    Näheres könnt Ihr hier nachlesen: AGB-Änderung
  • Die Bildungsoffensive hier im Forum geht weiter! Jetzt sollen Kreativität und technische Möglichkeiten einen neue Dimension erreichen. Das Thema in diesem Monat lautet - Verkehrte Welt - Hier geht es lang --> Klick

Automatisierter Download von PDF Dateien auf Springerlink

dchrist1

Idared
Registriert
14.04.08
Beiträge
25
Hallo zusammen,

ich bin ein Neuling auf dem Gebiet der OS X Programmierung. Würde jetzt aber gerne eine Software entwickeln, die mir PDFs von SpringerLink herunterlädt. Auf SpringerLink kann man mit einem Account einen großen Buchbestand kostenlos bekommen. Meiner Meinung nach herrscht dort eine gewisse Struktur auf den Seiten sodass ich denke, wenn ich den Quellcode einer Seite auslesen kann, diesen dann so weiterverarbeiten kann, dass ich irgendwann zu jedem Buch eine Downloadadresse bekomme.

Könnt ihr mir vielleicht sagen, wie ich es hinbekomme, dass ich Internetseiten in einer Software aufrufe, deren Quelltext mir in eine Variable speichern und dann weiterverarbeiten kann? Oder wie würdet ihr das angehen? Die Struktur der Internetseite ist generell so, dass es zunächst eine Seite gibt, auf denen die bücher aufgelistet sind. Klickt man dann auf ein Buch, öffnet sich deren Seite und ich kann einzelne Kapitel herunterladen als PDF. Und das würde ich gerne automatisieren. D.h. ich gebe ich meiner Software ein Stichwort ein und diese spuckt mir dann irgendwann mehrere Bücher aus, die ich dann downloaden kann. :-) Das ganze kann man dann natürlich auch für andere Seiten ausprobieren, aber ich möchte gerne mit SpringerLink anfangen. Was haltet ihr davon? Denkt ihr, dass das realistisch hinzubekommen ist? Ich habe damals nur mit C und C++ programmiert.

Viele Grüße
 
Was haelst du von Prototyping in, sagen wir, Ruby? Da kannst du mal schnell einen Parser basteln und schauen wie gut und wie stabil du an die einzelnen Namen und Links der PDF's kommst.
Fuer die Implementierung kommt mir als erstes libcurl in den Sinn, damit geht das ganze eigentlich recht schnell und einfach.

...

quarx schrieb:
[...]http://milianw.github.com/springer_download
Zum Vergrößern anklicken....
Das Python-Script sieht gut aus, job done. =)
 
Wie bekomme ich das Ganze zum laufen? Ich hab jetzt pdftk und python installiert aber so ganz blicke ich immernoch nicht durch :-(
 
... der Skript-Aufruf steht doch auf der o.a. Webseite? Er ist im Terminal einzugeben.
 
Bekomme das Skript leider auch nicht zum laufen...könnte jemand ne kurze Erläuterung unter OS X geben?
 
Hallo, ich bin leider der voll Noob in Solchen Sachen. Habe mir das neueste Python 2.7x geladen und das pdftk und beides unter Lion installiert. Das Script von oben hab ich mir auch geladen. Aber was mache ich nun? Welches Terminal? Muss ich das Script irgendwo hin kopieren? Was muss ich starten und wo eingeben?

Wäre super wenn ihr mir helfen könntet.
 
Welches Terminal? Gibt nur eines für OS X, im Dienstprogramme-Ordner.
Solange du dort den kompletten Pfad zum Skript eingibst, sollte es egal sein, wo es liegt. Den musst du aber nicht immer eintippen, du kannst das Skript auch mit der Maus ins Terminalfenster ziehen, dann hast du automatisch den korrekten Namen.
Ansonsten muß der Pfad zum Verzeichnis mit deinen Skripten dem Terminal mitgeteilt werden, in der Variable $PATH, dann reicht der Name des Skripts im Terminal.
 
äh ok, ich hab jetzt im User Ordner den Ordner bin angelegt und hab das Script reinkompiert. Dann bin ich im Terminal mit cd bin in den Ordner. Dort hab ich dann

./springer_download.py -l "http://www.springerlink.com.ubproxy.ub.uni-heidelberg.de/content/978-3-531-17934-6/contents/"

eigegeben. Das Terminal sagt mir dann:

ERROR: You have to install the packet ImageMagick in order to use convert

Wahh. Hab eben nach dem ImageMagick geschaut. Das verwirrt mich noch mehr, ich bräuchte MacPorts um es zu installieren und für MacPorts bräuchte ich xcode... Aber laut der Seite von dem Milian braucht man das doch gar nicht. oO dieses iconv konnte ich auch nicht wirklich finden. Hab ich das schon? Liegt es daran?

Danke für die Hilfe MacAlzenau
 
Zuletzt bearbeitet:
danke. Ist für mich alles Chinesisch. Dann hab ich wohl Pech gehabt.
 
sonst keiner da, der dieses Skript benutzt? Glaube einfach nicht, dass ich dieses ImageMagick mit allem was dran hängt benötige
 
Warum klickst Du nicht auf den Link in meinem Post und installierst es einfach? Das ist kein Chinesisch. Das Pythonskript kommt nun mal aus der Linux-Welt, da benutzt man fürs Konvertieren von Bildern häufig ImageMagick.
 
Macports und xcode brauch man vorher auch noch und auch bei macports bin ich gescheitert. Hab mir jetzt den springer downloader in der VM unter XP installiert. Aber auch damit bekomme ich nichts geladen. Scheint an dem Zugang meiner Uni zu liegen. Ich komme per Link (Proxy steht in der Adresse) auf die Springerseite und nicht per VPN.
 
Nein, Du brauchst weder Xcode noch Macports. ;-)
 
der erste Satz in dem Link lautet "We recommend MacPorts which custom builds ImageMagick in your environment. Download MacPorts and type:"
 
"Recommend" heißt nicht, dass es nicht auch ohne geht. Nimm meinen Link von weiter oben und Du bekommst ImageMagick OHNE Macports.
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
2003-2025 Apfeltalk | Made on a Mac
Oben Unten