Projekt: Fileserver über Internet

[n/a]

Hallo Forum!

Letzte Woche habe ich mehr oder weniger zufällig aus einer Kanzleiräumung einige alte PCs mitnehmen dürfen. Vieles davon ist eher alt und schäbig aber es sind doch Pentium II und III installiert. Die genaue Hardwareausstattung werde ich noch herausfinden.

Mit darunter ist ein komplett schallgedämmter Bigtower und da mir schon etwas länger ein "kleines" Projekt vorschwebt, würde ich das gerne mit diesem Tower in die Tat umsetzen.

Folgende Situation: ich bin Fotograf, fotografiere natürlich momentan gezwungenermaßen hauptsächlich digital und habe also zig Fotos, die ich auf einem NAS speichere. Das bereitet mir verständlicherweise eigentlich dauernd Kopfschmerzen, denn was, wenn das NAS hops geht?

Als primäre Sicherungsmethode möchte ich mir eine externe Festplatte holen, die die gleiche Kapazität des NAS hat und die Daten darauf spiegeln. Ist kein Problem, kann das NAS alleine.

Was aber, wenn es im ungünstigsten Fall einen Wohnungsbrand oder ähnliches gibt? Dann wären die Daten trotzdem futsch.

Deswegen habe ich mir überlegt, im Hause meiner Eltern, welches etwa 80km entfernt ist, einen Fileserver aufzubauen, der über das Internet zugänglich ist. Da ich eine feste Adresse benötige, würde ich das Ding ganz gerne über DynDNS ansprechen. Auf diesen Server würde ich dann quasi über Nacht die Daten sichern, welche gerade anfallen.

Fragen gibt es folgende: welches Betriebssystem sollte auf dem Server bestenfalls laufen? Windows will ich eigentlich eher überhaupt nicht, ein textbasiertes System sollte eigentlich reichen.
Ich möchte gerne, daß der Server sich automatisch in den Standby fährt, wenn er einige Zeit keine Daten erhält. Wie wecke ich ihn dann von außerhalb wieder auf?
Wie registriere ich ihn bei DynDNS und wie funktioniert das Ganze dann? Ihr seht vielleicht, ich bin in dieser Richtung etwas unbedarft aber durchaus lernfähig .

Sollte es generell irgendwelche Hinweise an mich geben, so habe ich ein offenes Ohr!

Vielen Dank schonmal im Voraus!

 

[Der Paule]

Betriebssystem: Ein Linux System, Debian ist eine Distribution die für den Server Einsatz immer wieder empfohlen wird. Wie das mit der Einrichtung funktioniert kann ich dir nicht sagen.

StandBy: Das sollte eigentlich mit einer WakeOnLan Funktion möglich sein. Dazu brauchst du eine entsprechende Netzwerkkarte.

DynDNS: Das sollte mit Hilfe eines Routers gelöst werden. Dort kann man dann die DynDNS Adresse angeben mit der man dann das Netzwerk erreichen kann. Entsprechendes Port Forwarding sorgt dann für eine passende Verbindung.

Meine Frage: Welche Datenmengen Fallen am Tag an? Was für eine DSL Verbindung hast du?
Lädst du aus dem Internet viel runter?

Die Fragen beziehen sich auf die Geschwindigkeit des Datenabgleichs. Lohnt sich das dann überhaupt?
Und: es gibt manchmal Situationen wo Provider den Kunden Kündigen weil diese bei einer Flatrate ein zu hohes Datenaufkommen haben. Ob man das bei der heutigen Konkurrenz Situation noch macht sei mal dahin gestellt.

mfg
Paule

 

[n/a]

Gut, danke schon einmal für die ersten Hinweise.

Dann gleich mal zum Datenaufkommen: es ist nicht regelmäßig aber wenn, dann fallen sofort mal einige hundert MB bis einige GB an. Meine momentane DSL-Verbindung ist zu lahm dafür, die will ich aber sowieso aufrüsten (unabhängig vom Fileserver). Da ich aber generell nicht allzuviel runter- oder hochlade, würde das meinem Provider garantiert keine grauen Haare wachsen lassen. Die paar Mal im Monat, wenn ich wieder Daten rüberlade...

Lohnen würde sich das auf jeden Fall für mich. Daten anderweitig dorthin schleppen ist eher Mist, da ich nicht so oft dort bin. Über Internet wäre also optimal.

Bei den Rechnern war auch eine Kiste Kleinzeugs dabei. Dort drin ist auch ein Router . Aber wie sieht das dann aus: meine Eltern haben eine ISDN-Anlage mit DSL und dort hängt schon ein (W)LAN-Router dran. Kann ich dann den anderen Router einfach hinten dranhängen? Weil Du ja schreibst, daß das ganze Netzwerk über die DynDNS-Adresse erreicht werden kann. Das Netzwerk, welches dort schon vorhanden ist, soll aber nicht über DynDNS laufen, nur der Fileserver.

 

[pepi]

Bedenke bei der Gelegenheit auch den Stromverbrauch den so ein "kleiner Server" pro Jahr erzeugt. Wenn so eine Kiste 24/7 durchläuft merkt man das ernsthaft auf der Rechnung. So gesehen wäre ein Linux basierter Router auf dem man rsync rennen lassen kann eine im Betrieb deutlich günstigere Wahl.

Fall jemand im Kopf hat ob die DD-WRT Firmware auch ein rsync mitbringt...
Falls ja, könnte man einen ASUS WLG500 Deluxe oder so als Router hernehmen und dort auf eine angeschlossene HD sichern.

Dafür wirst Du aber wohl einen Client benötigen denn ich gehe mal davon aus, daß Dein NAS nicht selbstständig rsync backups fahren kann, bzw. Du nicht die Möglichkeit hast entsprechende Shell Skripte dort aufrufen zu können.
Gruß Pepi

 

[skepsis]

Ich empfehle dir Eisfair!
Eine ganz schlanke Linux Distribution die genau auf solche kleinen Homeserver zugeschnitten ist. Kein Fummelei, auch als Linux Einsteiger geeignet. Sehr ausführliche Doku!
Hab damit meinem Homeserver laufen und ist IMHO die beste Lösung für solche Anforderungen!

Gruß
Skepsis

 

[n/a]

Bedenke bei der Gelegenheit auch den Stromverbrauch den so ein "kleiner Server" pro Jahr erzeugt. Wenn so eine Kiste 24/7 durchläuft merkt man das ernsthaft auf der Rechnung.

Schon klar, deswegen möchte ich ja, daß der Computer sich nach einer bestimmten Zeit ohne Zugriff in den Standby fährt und eben nicht mit voller Kraft die ganze Zeit durchläuft.

So gesehen wäre ein Linux basierter Router auf dem man rsync rennen lassen kann eine im Betrieb deutlich günstigere Wahl.

Den Router müsste ich kaufen, den Bigtower mit Innereien habe ich schon .

Fall jemand im Kopf hat ob die DD-WRT Firmware auch ein rsync mitbringt...
Falls ja, könnte man einen ASUS WLG500 Deluxe oder so als Router hernehmen und dort auf eine angeschlossene HD sichern.

Müsste dann der jetzige Router im "Elternhaus" ausgetauscht werden? Da ist nämlich ein Netgear WLAN-Router mit 4-Port-LAN-Switch eingebaut.

Dafür wirst Du aber wohl einen Client benötigen denn ich gehe mal davon aus, daß Dein NAS nicht selbstständig rsync backups fahren kann, bzw. Du nicht die Möglichkeit hast entsprechende Shell Skripte dort aufrufen zu können.
Gruß Pepi

Ich bin mir nicht ganz sicher, was das NAS kann, denn es kann automatisch auf eine per USB angeschlossene Platte ein Backup schreiben. Aber ich denke mal, es wird ein einfaches, kleines Programm sein, welches die kompletten Daten schlicht rüberkopiert. Ausprobiert habe ich es noch nicht. Aber ich glaube nicht, daß es die Daten per Internet auf einen Server kopieren kann.

Danke auf jeden Fall für Deine Hilfe!

@skepsis: Danke für den Link. Hat schonmal jemand mit Eisfair gearbeitet? Funktioniert das gut? Kann es das, was ich brauche?

 

[skepsis]

Ich habe hier Eisfair bei mir auf nem alten Pentrium III mit ner 350 GB Platte laufen. Es ist wirklich perfekt. War damals das erste Linux mit dem ich mich beschäftigt habe, war also blutiger Anfänger und bin sofort klar gekommen. Es halt mehr Frickelei als bei einer Windows oder Mac OS Installation, aber es ist vertretbar.
Damit lässt sich so gut wie alles machen. Samba Freigaben, VPN Zugang, IMAP Server, Apache, MySQL, SSH, FTP, Backup und und und.
Die Community rund um die Seite, die ich gepostet habe, ist sehr freundlich und hilfsbereit.
Der Server ist pfeilschnell, weil das System sehr sehr schlank ist. Wirklich auf das wesentliche reduziert im Gegensatz zu anderen Linux Distributionen.
Mein Server läuft absolut stabil, keine Probleme - seit 3 Jahren!
Wenn du noch Fragen hast, kannst mich auch direkt ansprechen, PN, ICQ etc.!

Gruß
Skepsis

 

[n/a]

So, hallo Leute, ich grabe mal den Fred wieder aus, weil ich gerade nicht weiß, wie ich weitermachen soll. Es wäre nett, wenn ihr mir einfach mal Denkanstöße geben würdet, damit ich möglicherweise alleine weitersuchen kann.

Also folgende Situation: mein Fileserver hier läuft perfekt mit Ubuntu 7.10 und hat insgesamt 1,5 TB Nutzkapazität (RAID 5), was erstmal für einige Zeit reichen sollte. Momentan sichere ich wichtige Dateien per Unison (ein nettes Backup-Programm) auf eine externe Platte. Die ist aber bald voll (320 GB).

Mit meinem Bruder habe ich jetzt im Elternhaus einen weiteren Filesererver aufgebaut. Hat circa 1 TB nutzbaren Speicherplatz. Dort ist auch Ubuntu 7.10 installiert (Eisfair habe ich probiert, kam aber auf keinen grünen Nenner, da es anscheinend auch kein RAID unterstützt).

So, wie gehe ich nun vor, wenn ich die beiden Server per Internet miteinander verbinden will? Ich habe leider keine Ahnung, wo ich anfangen soll, da das absolutes Neuland für mich ist. Welche Protokolle kann ich verwenden? Was ist SSH (das bietet mir Unison an, welches ich gerne weiterbenutzen würde)? Für weitere Hilfe wäre ich unendlich dankbar!

 

[skepsis]

Du könntest das ganze über ein VPN machen. Bedenke aber dabei, dass immer die Upload Geschwindigkeit der Flaschenhals ist! Wenn der eine Server zum anderen Daten überträgt, dann geschied das durch den Upload am einen Standort (Sender) und durch den Download am anderen Standort (Empfänger). Die meisten Consumer DSL Anschlüsse sind asynchron. Das bedeutet du hast evtl. 6 Mbit/s Downstream aber dann nur 600kbit/s Upstream. Das bremst die Sache erheblich aus, bzw. macht dein Vorhaben sehr teuer, wenn du dir einen Anschluss zulegen willst, der nen schneller Upstream hat.
Ich weiß ja nicht was du vorhast, ob das ganze nur für den privaten Datenaustausch gedacht ist, oder dahinter größere Pläne stecken. Aber hast du vielleicht schonmal über eine Webserver basierte Lösung nachgedacht? Du könntest dir nen Root Server mieten, dort hast auch volle Zugriffsrechte, der ist aber schneller ans Internet angeschlossen!

Gruß
Skepsis

P.S.: SSH ist einach ein Protokoll um eine Verbindung zwischen zwei Computern herzustellen. Also du loggst dich z.B. bestimmt per SSH an deinem Server ein, um ihn aus der Ferne zu bedienen. Du kannst es auch zur Datenübertragung verwenden. In diesem Zusammenhang solltest du dir aber auch mal SFTP anschauen!

 

[n/a]

Danke Dir für die schnelle Antwort, das Problem mit ADSL und wie das im Grunde funktioniert, sind mir bekannt. Habe hier jetzt eine 3 Mbit-Leitung mit 512 kbit Upload. Sicher nicht so toll, aber mehr ging an meinem Wohnort nicht.

Ich weiß ja nicht was du vorhast, ob das ganze nur für den privaten Datenaustausch gedacht ist, oder dahinter größere Pläne stecken. Aber hast du vielleicht schonmal über eine Webserver basierte Lösung nachgedacht? Du könntest dir nen Root Server mieten, dort hast auch volle Zugriffsrechte, der ist aber schneller ans Internet angeschlossen!

Gruß
Skepsis

Der Fileserver im Elternhaus soll ja so eine Art Webserver werden. Meinetwegen über DynDNS oder was auch immer. Der sollte sich also mit dem Internet verbinden können, damit ich hier von mir aus mit meinem Fileserver ein Backup übers Netz fahren kann.

Ach ja: die dortige Leitung wird nicht das Problem, dort ist bald Kabel-DSL mit irgendwas über 20 Mbit installiert...

 

[fealXX]

hm
ich weiss nich ob das jetz so die fette idee is^^
und obs gehtweiss ich auchnet wirklich^^
pass auf:
ich würds so machen das du quasi auf deinem fileserver bei deinen eltern sone art cronjob einrichtest der von deinem NAS abfragt obs neue daten gibt
wenn ja wirds runtergeladen
danach gehts ab in den standby wieder

wäre so meine idee
den download würd ich per php machen
=)

 

[skepsis]

Habe hier jetzt eine 3 Mbit-Leitung mit 512 kbit Upload. Sicher nicht so toll, aber mehr ging an meinem Wohnort nicht.

Der Fileserver im Elternhaus soll ja so eine Art Webserver werden. Meinetwegen über DynDNS oder was auch immer. Der sollte sich also mit dem Internet verbinden können, damit ich hier von mir aus mit meinem Fileserver ein Backup übers Netz fahren kann.

Also ich habe bei mir ca 1Mbit/s Upstream und das ist schon auf die Dauer etwas mühselig zum Daten hin und her schieben. Mit 512 kbit/s wird das sehr zäh. Es kommt natürlich drauf an, über welchen Umfang wir hier sprechen. Aber du kannst dir ja mal ausrechen, wie lange er allein brauchen würde eine Änderung von 5 GB zu übertragen. Außerdem musst du ja dabei bedenken, dass deine Leitung dann in der Zeit belegt ist durch deinen Server. Das merkst du dann auch, wenn du surfen und/oder downloaden willst.

Ach ja: die dortige Leitung wird nicht das Problem, dort ist bald Kabel-DSL mit irgendwas über 20 Mbit installiert...

Die dortige Leitung wäre ja auch nicht das große Problem. Da nützen dir die 20 Mbit/s auch nicht viel, denn wie gesagt der Flaschenhals sind deine 512 kbit/s Upstream!
Ich würde das mir an deiner Stelle nochmal überlegen, ob da Aufwand/ Kosten und Nutzen in einem richtigen Verhältnis zueinander stehen.

Gruß
Skepsis

 

[n/a]

Ick weeß, daß mein Upstream der Flaschenhals ist, wollte nur klarstellen, daß "dort" keine Modemverbindung oder sowas installiert ist, ich die krassen 512 kbit also voll ausfahren kann .

Zum Thema Kosten(Aufwand)/Nutzen: kosten würde das ganze nix. Ich hab ne Flatrate, "dort" ist ne Flatrate, beide Server stehen schon, wäre also "nur" der Aufwand, beides per Internet zu verbinden. Klar wird das ganze zäh, ich würde das halt über Nacht laufen lassen. Da haben wir hier auch den billigen Strom .

Die "Startdateien", also die vielen, vielen Gigabyte, die schon vorhanden sind, würde ich dann erstmal per externer HD dorthin bringen, sodaß wirklich nur neue Dateien und Dateiänderungen über das Internet geschickt werden müssen. Der Nutzen des ganzen: sollte es hier mal irgendein krasses Ereignis geben (Blitzeinschlag, Feuer, was auch immer und was ich absolut nicht hoffe (toi, toi, toi)) und meine Daten hier wären komplett weg, hätte ich einen zweiten Satz 70 km entfernt. Für mich schon ein immenser Vorteil, der fast jeden Aufwand rechtfertigt. Die Ladedauer und Praktikabilität ist erstmal hintenan gestellt. Also wie das ganze erledigen?

@fealxx: Du meinst also, ich sollte meinen Fileserver (das mit dem NAS hat sich erstmal erledigt, das kann erstens nicht ins Internet und zweitens ist es schon sehr lange in Reparatur...) ins Internet bringen und dann von meinen Eltern aus abfragen? Warum so kompliziert? Warum nicht andersrum und ich starte die Synchronisation manuell von hier?

 

[n/a]

So Mädels, wieder einen Schritt weiter oder auch nicht.

Der Server läuft jetzt und ich habe einen dyndns-Account eingerichtet, welcher auch soweit funktioniert. Man kommt über dyndns zu meinen Eltern.

Nun, wie weiter? Wie komme ich auf den Server? Kennt sich jemand mit FTP oder sonstwie aus? Der Server läuft, wie gesagt und ich habe eigentlich schon einen FTP-Server auf dem Teil installiert (vsftpd), komme aber in der Konfiguration nicht weiter.

Was muß ich tun, damit ich per FTP auf das Teil zugreifen kann oder soll ich eine andere Datenverbindung benutzen?

Die Ports sind weitergeleitet und ich kann mich schon mit FTP mit dem Server verbinden (jedenfalls kann Cyberduck eine Verbindung herstellen) aber ich kann weder Daten hochladen, noch sonst irgendwas machen. Was nun? Bitte Hilfe!

 

[WDZaphod]

Ich würde einfach Port 22 (ssh) und 873 (rsync) aufmachen, und per Cronjob einmal pro Stunde rsyncen.
Den cronjob aber erst starten, wenn der erste sync durch ist, der wird nämlich sicher länger als eine Stunde dauern

rsync muß auf beiden Rechnern installiert sein (apt-get install rsync), sonst wird nichts gebraucht...

Die Syntax sieht ungefähr so aus (wg. der Optionen in die Hilfe schauen!):

rsync -avzb -e ssh /mein/pfad/ [email protected]:/der/fernpfad

 

[n/a]

rsync wäre natürlich eine Idee. Aufmachen heißt in diesem Fall auf die betreffende IP weiterleiten, richtig?

SSH wäre nämlich eigentlich auch mein Mittel zur Wahl gewesen, ich wußte nur nicht, wie ich das anstellen soll. rsync läuft bei mir hier gerade lokal und sichert Daten auf mein NAS. Ist, so glaube ich, auch standardmäßig bei Ubuntu dabei.

Dann werde ich das mal probieren! Danke soweit!

 

[WDZaphod]

rsync wäre natürlich eine Idee. Aufmachen heißt in diesem Fall auf die betreffende IP weiterleiten, richtig?

Jap, diese Ports (TCP) auf die ServerIP weiterleiten...

SSH wäre nämlich eigentlich auch mein Mittel zur Wahl gewesen, ich wußte nur nicht, wie ich das anstellen soll. rsync läuft bei mir hier gerade lokal und sichert Daten auf mein NAS. Ist, so glaube ich, auch standardmäßig bei Ubuntu dabei.

Wenns mit SSH sein soll, ist SCP dein Freund. Der synct (oder genauer gesagt: Repliziert) aber nicht, sondern kopiert nur.
Du solltest aber vorher noch ein Key-Paar erzeugen, damit die ganze Sache ohne Eingabe von Passworten läuft!

 

[pepi]

Ich würde einfach Port 22 (ssh) und 873 (rsync) aufmachen[…]

Das ist schon ein Port zuviel. rsync kann schließlich ssh als Transport verwenden! Außerdem wäre es sehr empfehlenswert den SSH Port nicht direkt freizugeben sondern nach Möglichkeit von einem beliebigen hohen Port nach 22 am vorgeschalteten Router/NAT-Firewall zu übersetzen. Man will schließlich nicht jedes dumme Bruteforceskript auf sich aufmerksam machen.
Jeder der ein wirklich gutes Passwort für seinen Admin Account hat, darf sich jetzt ein Stückchen Schokolade nehmen. Alle anderen gehen Passwort ändern.

[…]rsync […] auch standardmäßig bei Ubuntu dabei.[…]

rsync ist auf fast jedem Pinguin/Daemon/Swirl/Chameleon/Sternchen/Schnabeltier/Andres-beliebtes-POSIX-Maskottchen vorinstalliert, so natürlich auch unter Mac OS X.

[…]Wenns mit SSH sein soll, ist SCP dein Freund. Der synct (oder genauer gesagt: Repliziert) aber nicht, sondern kopiert nur.
Du solltest aber vorher noch ein Key-Paar erzeugen, damit die ganze Sache ohne Eingabe von Passworten läuft!

Deswegen verwendet man auch rsync und nicht scp für solche Zwecke. Host Keys sind absolut empfehlenswert!


Wer die Backups vom Server holen lassen will, der kann gerne mein mlbackup einsetzen welches genau dafür geeignet ist. (Verwendet rsync, optional ssh transport, autorotation, berücksichtige Mac Spezifische Absonderlichkeiten des Filesystems soweit sie am Zielsystem abgebildet werden können.) Feedback immer willkommen.
Gruß Pepi

 

[n/a]

So, endlich habe ich es geschafft. Gerade lade ich die Daten auf den Server bei meinen Eltern hoch. Erstmal zum Testen "nur" rund 7 GB. Wird wahrscheinlich ewig dauern, aber wat soll's .

Dann fahre ich demnächst dorthin und bringe per externer Festplatte die gesamten restlichen Daten auf den Server, sodaß ich dann per rsync oder was auch immer die Daten aktuell halten kann.

Es war eine schwere Geburt, aber endlich hat es funktioniert! Danke an alle, die mir geholfen haben!

 

[skepsis]

Glückwunsch!
Es ist ja immer schön, wenn am Ende solche Projekte wirklich ein Erfolg steht!
Viel Spaß damit und hoffentlich arbeitet alles immer schon reibungslos und zuverlässig!

Gruß
Skepsis