exakte Dateigrößen von zwei Dateien auf unterschiedlichen Medien vergleichen?

[Birnenmost]

Hallo,

gibt es eine App, die nicht nur irgendwelche abgespeicherten tags oder Finder-Werte vergleicht, sondern bei zwei gliechnamigen Dateien anzeigt, ob diese die gleiche Dateigröße haben (wenn diese auf zwei unterschiedlichen Festplatten liegen)?

Ich habe Mac OS X 10.9 Intel und 10.4/10.5 PPC zur Verfügung.

Danke.

 

[MacAlzenau]

Die Infobox im Finder reicht nicht?
Wenn es um massenhaftes Vergleichen geht, müsste sich das über das Terminal machen lassen.

 

[Birnenmost]

Ich habe jetzt ein paar Empfehlungen aus diesem Thread https://www.apfeltalk.de/community/...oppelte-dateien-zu-finden-vergleichen.495939/ ausgeschlossen: a) kostenpflichtige raus, b) welche wo von Problemen berichtet wurde.

Ich habe jetzt das hier gefunden https://nektony.com/duplicate-finder-free
Ich habe den Entwickler angeschrieben und der sagte, dass bit mit bit verglichen wird. Dann sollte es doch ok sein, oder ist gegen die App was einzuwenden? Weiß jemand was, was dagegen spricht?


Edit: "File Difference" von Vera Shang könnte ein Kandidat sein, wenn ich mir die Screenshots ansehe, leider steht in den Kommentaren, dass es öfter zusammenbricht.

 

[Wuchtbrumme]

Geht es Dir eigentlich um Duplikate finden? Dabei verlasse ich mich weder auf Dateinamen noch Dateigrösse. Einzig der binäre Vergleich gibt Sicherheit, hilfsweise, bei nicht allzugrosser Paranoia, auch ein Hash (md5). Früher, Anwendungsfall "komplett auf neue Festplatte migrieren", bin ich rekursiv durch die Verzeichnisse mit md5 und hatte dann eine Textdatei, mit der man wiederum das Ziel vergleichen konnte.

Heute benutze ich Tidy Up! - viel komfortabler geht es nicht. Auswahl Quelle und Ziel als unterschiedliche Buckets, Ziel mit um eins höherer Priorität, Dateien komplett vergleichen und am Ende bekommt man verschiedene Resultateeimer. Den mit "kann gelöscht werden" nach Quelle sortieren (darin sind alle Duplikate im Vergleich mit Ziel aus der Quelle), die kann man dann löschen - es ergibt sich dann die Nullmenge.

 

[Birnenmost]

Genau darum ging es mir.

Ich möchte 100% identische Dateien finden. Deshalb ja auch der Wunsch eine byte-by-byte / bit-by-bit comparison zu haben.

Mir wurde gesagt, dass TidyUp dies beherrsche. Dieses nektony "Duplicate File Finder" hat laut Entwickler auch diese Fähigkeit (nicht zu verwechseln mit Cisdem Duplicate Finder, welches ein Klon ist). Was mich aber sehr wundert ist, dass TidyUp mehrere Stunden braucht und Duplicate File Finder nur einige Minuten. Deshalb dachte ich schon, ob vielleicht letzterer nur den md5 hash nimmt.

Ich habe beide verglichen (und auch den Nachfolger nektony Duplicate Expert) und bin mit beiden, bzw. allen drei zufrieden. Bin mir aber über deren Herangehensweise wie gesagt nicht hundertprozent sicher, eben wegen der unterschiedlichen Suchzeiten. Am Ende ist einer doch nicht 100% akurat.

Was ich halt auf jeden Fall verhindern will sind "falsch-positive" Ergebnisse (logischerweise auch welche, die nur nach Dateigröße und/oder Name gleich sind).

Spoiler: Nebenbemerkung

Es gibt sehr beliebte Programme wie Gemini2, die hier z.B. nicht immer genau sind. Laut https://www.cisdem.com/resource/best-duplicate-file-finder-mac.html und auch irgendwo anders habe ich es gelesen, "Can find duplicate files with the same name and some duplicates with the same content" (naja und autodelete scheint wohl manchmal falsch zu liegen, aber das würde ich eh nicht nutzen).

Bei nektony's Duplicate File Finder https://nektony.com/uncategorized/duplicate-finder-comparison-chart wird noch die Sortierung der Ergebnisse nach Größe und dass auch "similar folders" angezeigt werden können, genannt. Also Ordner, wo sowohl Duplikate, als auch Unikate drin sind; also wo nicht beide Ordner komplett identisch sind. Aber ich hätte gedacht, das erübrigt sich eh, da man doch eh Dateien vergleicht und diese dann löscht. Wer löscht denn einfach so ganze Ordner. Ich könnte mir eher vorstellen, dass man bei "similar folders" durcheinander kommt. Egal.

PS: Disk Drill scheint wohl auch eine Duplikate-finden Funktion zu haben. Ob das wohl md5 hashes oder bit-by-bit Vergleich nutzt?

 

[Birnenmost]

Was wäre denn, wenn nur der md5 hash verglichen würde? Was könnte da negatives passieren?

Lässt die Dauer, die die Suche braucht auf das verwendete Verfahren schließen oder ist einfach nur der eine Algorithmus besser als der andere?


PS: TidyUp findet scheinbar nur im einfachen Modus Duplikate. Wenn man nämlich auf den erweiterten Modus geht, muss man ja Krierien eingeben und die sind nicht bit-genau, sondern z.B. gleiches Erstellungsdatum und Dateigröße. Dabei werden unterschiedliche Dateien als gleiche angeboten. Edit: ok, der erweiterte modus ist scheinbar ja extra dafür nicht nach bit-identischen Dateien zu suchen, sondern eben nach Kriterien, die der User auswählt. Will man bit-identisch testen, nimmt man eben den einfachen modus.
Im einfachen Modus muss ich zudem die ganze Platte und nicht nur einen Ordner durchsuchen lassen. Die externe Platte lässt sich auch nur anwählen, wenn ich einmal auf "erweiterter modus" gehe, dort das Häkchen bei der externen setze und dann wieder auf "einfacher Modus" zurückschalte. - Ich frag mich @Wuchtbrumme ob Tidy Up worklich bit-identische Dateien finden kann und zwar ausschließlich bit-identische. Edit: im einfachen modus einzelne Ordner auf externen HDDs lassen sich durchsuchen, wenn man den ausgeblichenen "bearbeiten" button nutzt und nicht zu blind ist ihn zu sehen, wie ich.

 

[Wuchtbrumme]

Was wäre denn, wenn nur der md5 hash verglichen würde? Was könnte da negatives passieren?

es können unterschiedliche Dateien denselben Hashwert erhalten. Nennt sich Kollision. Du kannst aber davon ausgehen, dass das hinreichend unwahrscheinlich ist und zudem, bei TidyUp!, auch soooo unmöglich, wenn man zusätzlich die Dateigröße als Kriterium heranzieht.

Unterschiede in der Geschwindigkeit ergeben sich durch clevere Algorithmen. Du musst nämlich nicht jede Datei mit jeder vergleichen, sondern nur die, die gleich groß sind. Muss man natürlich auch so einstellen...

 

[Birnenmost]

es können unterschiedliche Dateien denselben Hashwert erhalten. Nennt sich Kollision. Du kannst aber davon ausgehen, dass das hinreichend unwahrscheinlich ist und zudem, bei TidyUp!, auch soooo unmöglich, wenn man zusätzlich die Dateigröße als Kriterium heranzieht.

OK, hab beim Entwickler nachgefragt. TidyUp nutzt bit-by-bit comparison, nicht md5 hash. Genauso wie "nektony's Duplicate File Finder und Duplicate Expert. Jetzt muss ich nur noch herausfinden, welches VErfahren Disk Drill nutzt.

(Um md5 hash muss man sich also wohl nur bei anderen Programmen sorgen machen. Bei den Programmen Duplicate Manager und Duplicate Detective erscheint während dem Suchvorgang "checking hashes". Bei einem von beiden steht glaube ich sogar explizit "md5 hash" da.).

 

[Birnenmost]

Disk Drill nutzt md5 hashes, sagt der Entwickler.

Bei Duplicate Manager bekam ich die Antwort des Entwicklers "The Duplicate Manager calculates an unique "hash sum" for each file and compares "hash sums". So it equal to bit-by-bit comparison."

Ist jetzt die Frage, ob ich "TidyUp!" und "nektony's Duplicate File Finder" wegen bit by bit comparison bevorzuge und dann aber immer nur ein File nach dem anderen löschen kann (free Version) - ODER - Disk Drill nehme und mich aus Bequemlichkeit auf die md5 hashes allein verlasse und dafür aber mehrere Files auf einmal löschen kann.

 

[Birnenmost]

es können unterschiedliche Dateien denselben Hashwert erhalten. Nennt sich Kollision. Du kannst aber davon ausgehen, dass das hinreichend unwahrscheinlich ist und zudem, bei TidyUp!, auch soooo unmöglich, wenn man zusätzlich die Dateigröße als Kriterium heranzieht.

Unterschiede in der Geschwindigkeit ergeben sich durch clevere Algorithmen. Du musst nämlich nicht jede Datei mit jeder vergleichen, sondern nur die, die gleich groß sind. Muss man natürlich auch so einstellen...

Nochmal zum hashwert. "hinreichend unwahrscheinlich". Ich vergleiche Schnipsel von editierten Filmprojekten. Da geht es mir darum zu sehen, ob die selbe Szene eine Millisekunden kürzer oder länger ist. Ich überlege jetzt, in der GUI wird ja nur z.B. angezeigt: Datei A 200MB, Datei B 200MB. Wenn die aber 200..........01 Byte und 200..........00 Byte unterschiedlich sind, dann ist die Frage, ob das bei der Verwendung von Hashes nicht genau dazu kommen kann, dass solche minimalen Unterschied unter den Tisch fallen.

Duplicate Detective schrieb ja
"The Duplicate Manager calculates an unique "hash sum" for each file and compares "hash sums".
So it equal to bit-by-bit comparison."
Naja, es wäre dann ja doch nicht gleich, wenn es z.B. wegen gleichem Hash zwei Dateien mit einer Größe von 200MB anzeigen würde, sich aber mit Apfel+I sehen ließe, dass in der letzten Stelle der Dateigröße eine unterschiedliche Ziffer steht.

 

[Wuchtbrumme]

wenn Du einen Grundkurs in (deutscher) Informatik besuchst, kannst Du locker die Wahrscheinlichkeiten ausrechnen, mit denen es zu einer Kollision kommen könnte. Ich würde mir da keinen Kopf machen.

 

[Birnenmost]

OK Hab verstanden. Ich dachte mir schon sowas wie "extrem unwahrscheinlich".

Ich hab jetzt nochmal einen Praxis-Test gemacht, das Ergebnis bezüglich TidyUp! wird dich interessieren, dieses scheint wohl auch Bilder mit gleichem Motiv, aber unterschiedlicher Größe zu finden (naja, vielleicht hatten die Bilder auch tags).

Bei Duplicate File Finder von nektony kann man in der kostenlosen Version scheinbar mehrere Files löschen, sofern es Bilder sind. Auch zahlreiche gleichzeitig angekreuzte. Aus irgendeinem Grund wollte er bei den DV-Film-Dateien mit der free Version keine löschen.

Ich habe nochmal Nektony's Duplicate File Finder, TidyUp!, Duplicate Manager ud Disk Drill über einen USB-stick mit Bildern laufen lassen. Bis auf TidyUp fanden alle 241 gleiche. TidyUp! fand 245 gleiche. Ich habe dann mit einem der anderen Programme erst die 241 gelöscht. Danach waren es noch 4 gleiche in TidyUp. Was genauer betrachtet dann 2x 2gleiche waren. ABER! diese hatten zwar das gleiche Motiv und die gleiche Auflösung, aber die Dateigröße war unterschiedlich. Interessant. Also unbedingt vor dem löschen die Dateigröße in der Anzeige ansehen!

Für andere USer; der Vollständgkeit halber: Hier hab ich noch weiteres, was mir bei der Suche aufgefallen ist zusammengetragen https://www.apfeltalk.de/community/...oppelte-dateien-zu-finden-vergleichen.495939/

 

[MacAlzenau]

Ich überlege jetzt, in der GUI wird ja nur z.B. angezeigt: Datei A 200MB, Datei B 200MB. Wenn die aber 200..........01 Byte und 200..........00 Byte unterschiedlich sind, dann ist die Frage, .

Ich weiß nicht, ob das hilft, aber bei mir mit 10.9 wird im Finder via cmd-I die exakte Bytezahl angezeigt, nicht auf MB gerundet.
Baut Apple auch da mittlerweile Mist?

 

[franky273]

Nein, Bytes sind Bytes ... es geht da nur um die 1000er Rundung. Da ein ein Byte immer 2er Potenzen sind, hat man da eben früher immer mit 1024 gerechnet. Die Festplattenhersteller und Apple haben aber irgendwann mit 1000 gerechnet, da das menschlich logischer ist und vor allem da sich 128GB besser anhören als 120GB

 

[Wuchtbrumme]

es geht da nur um die 1000er Rundung. Da ein ein Byte immer 2er Potenzen sind, hat man da eben früher immer mit 1024 gerechnet. Die Festplattenhersteller und Apple haben aber irgendwann mit 1000 gerechnet, da das menschlich logischer ist und vor allem da sich 128GB besser anhören als 120GB

jein. Du hast zwar Recht, aber Du beziehst Dich auf Festplattenverkäufer
Im Finder auf dem Mac werden zwei Werte angezeigt. Wert 1 ist die Größe der Datei in Bytes (ich nenne das mal "netto"), Wert 2 entsprechend "brutto", d.h. inklusive des "Verschnitts" durch das Dateisystem, z.B. inklusive zusätzlicher Cluster auf FAT-Laufwerken, aber der Wert kann auch kleiner sein, z.B. wenn für die Datei eines Dateisystem-Komprimierung aktiviert ist.

Natürlich muss man die Netto-Größen vergleichen, denn die bezieht sich immer auf die Datei, unabhängig von irgendwelchen Speicherorten.

Was Tidy!Up angeht - ich habe jetzt keine Option gefunden, nach Bildinhalten zu vergleichen (auch solche Suchprogramme gibt es). Entweder hast Du Dich daher vielleicht durch die Bytes und "auf dem Datenträger" ins Bockshorn jagen lassen oder unpassende Vergleichseinstellungen - wodurch z.B. ein paar korrupte oder abgeschnittene Bytes am Dateiende eines ansonsten identischen Bildes vielleicht nicht auffallen.

Meine Settings sind:
x Objektgröße gleich
x Dateiinhalt-Optionen
x Inhalt der Dateien vergleichen
x Art ist nicht Ordner

...damit kommt man im Großen und Ganzen erst einmal gut hin.

 

[Birnenmost]

Ich weiß nicht, ob das hilft, aber bei mir mit 10.9 wird im Finder via cmd-I die exakte Bytezahl angezeigt, nicht auf MB gerundet.
Baut Apple auch da mittlerweile Mist?

Ich bezog mich auf die GUI der Vergleichsprogramme. Da steht

Sommerferien001 (in Ordner A) = 3MB ---- ist identisch mit ---- Sommerferien001 (in Ordner B) = 3MB

Das meinte ich. Da erkennst du nichts. ABER

Wenn ich dann beide im Finder mit cmd+i aufrufe, dann steht dort z.B. 3000000021 Byte und die andere Datei hat 300000002 Byte. Also haben sie zwar beide ungefährt 3MB im Vergleichsprogramm, aber Finder sagt ja, dass sie bis auf die letzte Stelle doch nicht gleich sind. Das könnte z.B. sein, wenn ein Pixel im Bild falsch ist (wäre so ein Gedanke von mir).

Das ist ein konstruiertes Beispiel.

 

[Birnenmost]

...

Was Tidy!Up angeht - ich habe jetzt keine Option gefunden, nach Bildinhalten zu vergleichen (auch solche Suchprogramme gibt es). Entweder hast Du Dich daher vielleicht durch die Bytes und "auf dem Datenträger" ins Bockshorn jagen lassen oder unpassende Vergleichseinstellungen - wodurch z.B. ein paar korrupte oder abgeschnittene Bytes am Dateiende eines ansonsten identischen Bildes vielleicht nicht auffallen.

...

Was TidyUp! angeht, da ging es um deutliche Dateigrößenunterschiede. Zwei identisceh Bilder, glaube gleiche Auflösung, aber unterschiedliche Dateigröße (das andere hatte also ne andere Bitrate, war quasi weniger scharf).

Die Sache mit der letzten Stelle der cmd+i Angabe in Byte, mit dem erfundenen Beispiel wollte ich nur einer Befürchtung von mir Ausdruck verleihen. Dass so etwas (nämlich, dass die letzte Stelle abweicht) evtl. nicht registriert wird von den Vergleichsprogrammen, wenn sie nicht bit/Byte genau vergleichen.

 

[Wuchtbrumme]

sorry, aber das ist mir noch nicht ein einziges Mal passiert.

 

[MacAlzenau]

Nein, Bytes sind Bytes ... es geht da nur um die 1000er Rundung.

Das hat jetzt aber nichts damit zu tun, daß der Finder exakte Bytezahlen angibt.
Und ob das Dezimalsystem hier "menschlich logischer" ist - was immer damit gemeint sein mag, daß es da anscheinend unterschiedliche Logiken geben soll - lassen wir mal im Raums stehen. Solche Diskussionen wurden schon oft genug geführt. Ergebnislos. Das sind halt zwei Philosophien.

 

[franky273]

Hi, deine Frage war ja die hier:

Ich weiß nicht, ob das hilft, aber bei mir mit 10.9 wird im Finder via cmd-I die exakte Bytezahl angezeigt, nicht auf MB gerundet.
Baut Apple auch da mittlerweile Mist?

Die exakte Bytezahl kann sich nicht unterscheiden zwischen den Systemen ... das war damit gemeint.