NAS: Effizienz bei vielen Dateien

[Wuchtbrumme]

Hallo,
Bilder (nicht RAW) von iOS-Geräten sammle ich und synce sie mittels PhotoSync.app auf ein Verzeichnis auf dem NAS. Ist bequem.
Jetzt habe ich aber eine Größenordnung erreicht, wo ich da mal durchgehen müßte, sortieren, wegwerfen was nicht mehr benötigt wird usw. Dazu muss man das Verzeichnis auf dem NAS überhaupt erst mal sichten. Und ich stelle fest, da hat sich soviel angesammelt, dass nicht einmal das Öffnen des Verzeichnisses über SMB vernünftig geht. Da sprechen wir von 2,5min Warten - und jeder Mauszeigerruckler im Finder bringt den spinning ball mit erneutem 2,5min Warten.
Vielleicht war die Tatsache, dass jeder weitere Sync beim ersten Mal abbrach, schon ein Indiz.

Zahlenmäßig sind wir bei 36.000 Dateien aus mittlerweile 5 Jahren, zwischen 0,1 und 5MB. Ich habe das Verzeichnis schon auf eine SSD im NAS verschoben (SATA, durch PCIe2.0 x1 ziemlich limitiert). Das verbessert aber nur von "geht gar nicht" auf "geht eigentlich auch nicht", sprich von 2,5min auf 0,5min - immer noch weit weg von etwas, das man akzeptieren könnte, wenn man bedenkt, 36.000 Dateien muss man ansehen.

Ich nehme an, die vielen kleinen Dateien erzeugen das Verhalten und ich meine, das sollte normal sein.Meine Frage geht in Richtung Workflow (muss ich ein Wegsortieren regelmäßiger machen um zuviele Dateien zu vermeiden), oder falsche Einstellungen oder Tips, wie das besser geht. Eine Möglichkeit sehe ich schon, man könnte in PhotoSync.app auf dem iOS-Gerät für jeden Sync einen extra Ordner mit z.B. Datum anlegen - damit werde ich aber Duplikate bekommen.

Wie macht Ihr das (abgesehen davon, das nicht so eskalieren zu lassen wie ich durch meine Faulheit...) ?

 

[dtp]

Um was für ein NAS handelt es sich denn? Ich habe auch ca. 30.000 Bilder auf meiner Synology DiskStation 718+ und da geht das Anschauen über die Photo Station immer noch sehr flüssig. Auch mit der Photos Mobile App klappt das gut, sofern die Mobilfunk-Datenrate es her gibt.

Bei mir ist es übrigens so, dass ich per Photosync die Bilder direkt vom iPhone auf das NAS in jeweils automatisch erzeugte Unterordner "yyyy-mm" eines Verzeichnisses "unsortierte Bilder" verschiebe. Gleichzeitig werden sie nach dem Schema "yyyy-mm-dd HH-MM-ss" umbenannt und auf dem iPhone per Photosync gelöscht. Anschließend kann ich mir die Bilder dann in Ruhe ansehen und in extra angelegte Ordner (z.B. Urlaube, Ereignisse, Portraits, etc.) verschieben. Das ist aber vermutlich nicht der Workflow, der für macOS sinnvoll ist.

 

[Wuchtbrumme]

sind die Dateien in *einem* Verzeichnis?
Es ist ein Qnap TS-653D mit 6x 7200rpm-NAS-Disks (CMR) im RAID5.

 

[AndaleR]

damit werde ich aber Duplikate bekommen.

Die Snyology-App bietet doch auch die Funktion, nur neue Dateien zu sichern?

Ok, dann kann das wieder weg - war mir relativ sicher, dass du Synology nutzt…

 

[dtp]

sind die Dateien in *einem* Verzeichnis?

Nee, die befinden sich in entsprechenden Unterverzeichnissen. Die Photo Station von Synology bietet hier aber die Möglichkeit, nach einer entsprechenden Indizierung Verzeichnis unabhängige Alben zu erzeugen. Dafür sollte man dann aber schon ein performantes Gerät haben.

Mit QNAP kenne ich mich leider nicht aus.

 

[Wuchtbrumme]

dass du Synology nutzt…

hehe, nee, nee - ich habe zielsicher aufs falsche Pferd gesetzt (wieder an der falschen Stelle vermeintlich 300 Euro gespart...) und bin auch prompt verar***t worden (PCIe2.0 x1, argh, ich könnte jetzt noch platzen). Und dass das Ding md benutzt und nicht BTRFS oder ZFS ist gleich das nächste. Die bloated Software ist auch ärgerlich, das ständige Festplattengeratter sowieso. Das beste an dem Teil ist ein Knopf (!) - der importiert Bilder von der Speicherkarte und unmountet die Speicherkarte. So sinnlos diese Workflows sind, es ist bis auf dass das Ding die mechanischen Schritte auch selbst erledigen dürfte so gut wie es sein kann. Fun fact: dieser Knopf hält mich sogar davon ab, einfach Truenas drauf zu installieren. Aber dafür bin ich am Überlegen, nur für Importe ein ganz kleines Qnap mit Knopf zu besorgen.

Nee, die befinden sich in entsprechenden Unterverzeichnissen.

dann vermute ich, liegt die Unauffälligkeit bei so vielen Dateien daran.

Ich bin schon dabei, mit einem

find . -name 'IMG_0*.PNG' -exec mv {} ../0/ ';'

durch die Dateien zu gehen und zumindest Blöcke von Dateien in Unterverzeichnisse zu sortieren. Wenn da nur 1-4k-Dateien je Verzeichnis sind, sollte es eigentlich besser werden. Nur halt nichts, was man gerne macht und muss auch wiederholt werden, wenn sich an meinem "Algorithmus" nichts ändert.

 

[dtp]

Das beste an dem Teil ist ein Knopf (!) - der importiert Bilder von der Speicherkarte und unmountet die Speicherkarte.

Mein NAS steht so, dass ich da ohne Verrenkungen gar nicht ran komme. So ein Knopf würde mir daher überhaupt nichts bringen.

Kennst du das Exiftool? Damit kann man auch sehr gut eine Verzeichnisstruktur anhand der EXIF-Daten erzeugen. Das sollte doch eigentlich auch als Job auf einem QNAP NAS ausführbar sein, oder?

Ich hatte das vor einigen Jahren mal auf meiner Synology genutzt:

Dazu das Paket-Zentrum öffnen und unter "Community" auf den "Einstellungen"-Button klicken. Hier dann den Reiter "Paketquellen" auswählen und auf den "Hinzufügen"-Button klicken. Anschließend unter Name "Community Package Hub" und unter Ort "https://www.cphub.net/" eintragen und mit Klick auf den "OK"-Button bestätigen.

Das Paket "Exiftool" auswählen und installieren. Bei den Exiftools handelt es sich um eine Perl-Bibliothek. Es könnte also sein, dass man auch noch "Perl" auf der DS installieren muss.

Nun müssen die Exiftools noch aufgerufen und konfiguriert werden. Dazu bietet die DS den Aufgabenplaner an. Diesen erreicht man über die Systemsteuerung. Im Aufgabenplaner klickt man auf den Button "Erstellen" und dann auf "Benutzer-definiertes Skript". Unter Vorgang trägt man "Exiftool" und unter Benutzer "root" ein. In das Feld Benutzer-definiertes Skript trägt man dann den folgenden Befehl ein:

/usr/bin/exiftool "-filename<CreateDate" -d "/volume1/photo/Import/%Y-%m/%Y-%m-%d %H-%M-%S%%-c.%%le" -r /volume1/import

und bestätigt das Ganze durch Klick auf den "OK"-Button.

Die nun erstellte Aufgabe muss abschließend noch getriggert werden. Dazu klickt man auf den Reiter "Zeitplan" und stellt den für sich passenden Ablauf ein. Natürlich kann man auch eine einmalige Triggerung ausführen.

 

[doc_holleday]

Zur allgemeinen Workflow-Frage:

Entweder Bilder blockweise vom NAS auf die interne SSD des Mac kopieren, aussortieren, Rest wieder auf's NAS packen.
Oder mit einer Software arbeiten, die eigene Vorschau-Bilder anlegt. Lighroom müsste das doch können, oder? Beim Durschauen, dann alles, was zu löschen ist mit 1-Stern bewerten oder rotem Tag oder sowas und dann am Ende en-block löschen.

 

[Wuchtbrumme]

Ich bin schon dabei, mit einem

find . -name 'IMG_0*.PNG' -exec mv {} ../0/ ';'

durch die Dateien zu gehen und zumindest Blöcke von Dateien in Unterverzeichnisse zu sortieren. Wenn da nur 1-4k-Dateien je Verzeichnis sind, sollte es eigentlich besser werden.

die Herangehensweise war unrealistisch, das NAS über Netzwerk einfach zu schwachbrüstig. Ich konnte auf die lokale Shell (ssh) und habe da mit dem obigen Befehl im Dateisystem das Problem in 3min behoben bekommen. Jetzt geht's auch übers Netz akzeptabel flott; 4k Dateien pro Verzeichnis bekommt das Ding mit leichter Verzögerung hin.

 

[jensche]

Ich habe keine Ahnung von Qnap, evtl. würde dir ein Adapter via USB für schnellere Netzwerkspeeds helfen:

QNA-UC5G1T | Verbinden Sie sich mit 5GbE Netzwerken über USB 3.2 Gen 1

Der leichte und tragbare QNAP QNA-UC5G1T USB 3.2 Gen 1 auf 5GbE Adapter bietet die Möglichkeit, Ihrem Windows-Computern oder QNAP NAS einen zusätzlichen Netzwerkanschluss hinzuzufügen. Mit der Unterstützung von 5GbE/ 2,5GbE/ 1GbE / 100MbE-Verbindungen ist der QNA-UC5G1T besonders für Laptops...

www.qnap.com

Ich selbst nutze meine Synology nur mit einem 2.5Gbe USB Adapter und bekomme so gut fast den doppelten Durchsach im Netz.

 

[dtp]

Ich selbst nutze meine Synology nur mit einem 2.5Gbe USB Adapter und bekomme so gut fast den doppelten Durchsach im Netz.

Meine DS 718+ hat dafür sogar extra einen zweiten Ethernet-Port integriert. Den nutze ich aber nicht, da sie mir auch so schon schnell genug ist und ich ansonsten eh alles über das WLAN mache, so dass dessen Bandbreite der Flaschenhals ist.

 

[jensche]

zweiten Ethernet-Port

Ja, Link-Aggregation funktioniert nicht mit jedem Switch. In solchen Fällen ist ein 2,5-Gigabit-Ethernet-USB-Adapter eine ausgezeichnete Lösung. Der Flaschenhals liegt oft bei herkömmlichen Festplatten und beim Hosting im Web.

In meinem Büro habe ich kürzlich vollständig auf 2,5 Gigabit Ethernet umgestellt. Die Geschwindigkeitssteigerung ist enorm, und du möchtest nicht mehr zurückgehen. Leider schaffen meine NAS-Festplatten nur 180 Megabyte pro Sekunde. Mit 2,5 Gigabit Ethernet könnten theoretisch bis zu 280 Megabyte pro Sekunde erreicht werden.

 

[Wuchtbrumme]

in meinem o.g. Fall war die Rechenleistung und die Tatsache der vielen kleinen Dateien das restriktierende, bevor eine Netzwerkleitung beschränken konnte. Das TS-653D hat zwei physische 2,5Gbit-Anschlüsse.

 

[James Atlick]

Und dass das Ding md benutzt und nicht BTRFS oder ZFS ist gleich das nächste.

BTRFS auf Synology ist ein Gebastel Sondergleichen. Genau genommen ist es gar kein echtes BTRFS (weil BTRFS ja auch noch gar nicht produktiv tatsächlich funktioniert) sondern ein mdraid als RAID mit dem Dateisystem BTRFS drübergeklatscht. Synology oder Review

Da ist mir die QNAP Variante:
"wir haben echtes ZFS, aber dies halt auch nur bei Hardware die genug stark ist für ZFS" (wobei ich es dort noch bedenklich finde, dass QNAP nicht durchwegs ECC RAM verwendet) einiges lieber.

Wobei ich um beide Firmen einen weiten Boden mache, deren Software ist ein grässliches, unsicheres Gebastel.
Hardcoded root Passwort
telnet offen für Support
Spass mit SSH

in meinem o.g. Fall war die Rechenleistung und die Tatsache der vielen kleinen Dateien das restriktierende, bevor eine Netzwerkleitung beschränken konnte.

Denke ich auch. Zudem scheint macOS irgendwie nicht gleich gut umgehen zu können mit grossen SMB shares wie Windows.
Das gleiche Share mit 2600 Ordnern dauert bei mir länger unter macOS denn unter Windows.
Um ein Ausbremsen von Seiten deines NAS ausschliessen zu können, wäre es spannend wie lange die Auflistung per SSH mit dem Befehl "ls" geht.

 

[FuAn]

Deshalb benutze ich nfs weil es imho unter macOS nach wie vor schneller und zuverlässiger ist.

 

[Scotch]

Unter macOS ist jedenfalls SMB ein Witz. Allein einen Windows-Rechner am gleichen NAS zu benutzen, wird schon Wunder wirken.

Aber so richtig Wunder wirken bei sehr großen Fotomengen nicht die Netzwerkprotokolle, sondern SW die die Folder indiziert. Da wartet man dann 1x (beim ersten Zugriff auf einen Folder) und danach geht's fix, weil die ganzen Previews lokal erzeugt und gecached werden. Und das Öffnen eines einzelnen Bildes z.B. für eine Vollbildansicht merkt man dann qausi nicht, zumindest nicht bei so kleinen Bilddateien wie beim TE.

In Syno Photos geht das deshalb so fix, weil die Serverkomponente genau das macht (und die Apps lokal ebenfalls). Wenn man Photos aber z.B. mal eben 10.000 neue Bilder serviert, dann rödelt das NAS auch erst mal ewig und drei Tage - aber eben nur 1x.

Also Tip: Konkret für das Sichten und Arbeiten mit großen Fotobibiliotheken einschlägige SW nutzen. Z.B. Fotos (Library lokal, Mediendateien aber auf dem NAS, also nicht in die Library kopieren). Ich nutz' Bridge und LR, PS Elements und x-andere können das auch.

 

[James Atlick]

Deshalb benutze ich nfs weil es imho unter macOS nach wie vor schneller und zuverlässiger ist.

Verstehe nicht, warum Apple so sehr auf SMB anstelle von NFS setzt. Auch bei TimeMachine raten sie zu SMB. Die NFS Dokumentation ist so gut wie nicht vorhanden, bis ich mal rausgefunden habe ob NFSv4 unterstützt wird...

 

[voyager]

Ich hab n Qnap NAS (TS435xeu) , mit 4x 4TB SSD als Raid 5 (angebunden über 2x10G LAG) , und keine mit großen Datenmengen Probleme.

Wie ist die RAM auslastung bei deinem NAS ?

 

[Wuchtbrumme]

Ich hab n Qnap NAS (TS435xeu) , mit 4x 4TB SSD als Raid 5 (angebunden über 2x10G LAG) , und keine mit großen Datenmengen Probleme.

Wie ist die RAM auslastung bei deinem NAS ?

große Datenmenge ist ja relativ. Ich habe in den Verzeichnissen nicht viele Gigabyte, aber eben viele kleine Dateien.
Ich sehe, die Hardwareausstattung des TS435xeu ist ARM-basiert (und scheint insgesamt etwas neuer zu sein, u.a. PCIe 3rd gen x1 etc). Der Sellerie in meinem ist etwas schwach auf der Brust. Es gibt 32GB, die nicht ausgelastet waren. Das Verhalten scheint sich reproduzieren zu lassen - könnte ja auch an der Architektur oder an einem Bug liegen.

 

[Marcel Bresink]

Um überhaupt das Problem zu verstehen: Liegen tatsächlich 36.000 Dateien in einem einzigen Ordner, oder in Unterordnern dieses Ordners?