Wann wird Apple mit HFS+ dem Beispiel folgen - XFS lernt Features von Btrfs und ZFS

[FritzS]

Wann wird Apple reagieren und auch HFS+ aktualisieren?
Es muss ja nicht ZFS oder Btrfs komplett abgekupfert werden, z.B. wäre eine eine Integritätsprüfung für Daten durchaus nützlich - und das durchgängig auch am Motherboard.

Die Strukturen auf den Festplatten und in den Chips werden immer kleiner, die verarbeitete Datenmenge immer größer, das erhöht die Gefahr eines zufälligen Bit-Kippens.

Bei einem Foto oder Videos mag es u.U. gar nicht auffallen. Bei einem Programm oder z.B. Excel-Sheet kann das fatale Folgen haben.

http://www.heise.de/newsticker/meld...Schnellstrasse-im-Netzwerk-Stack-3313514.html

Das XFS-Dateisystem soll einige Features lernen, die Anwender an Btrfs und ZFS schätzen. Der Netzwerk-Code bekommt einen Express-Pfad, um bestimmte Aufgaben erheblich effizienter erledigen zu können.
Das in zwei bis vier Wochen erwartete Linux 4.8 wird eine neue Infrastruktur in XFS enthalten, mit der das Dateisystem einen Schwung von Funktionen lernen soll, die bislang Btrfs und ZFS auszeichnen; darunter Deduplizierung, Reflink-Kopien und eine Integritätsprüfung für Daten. Der Netzwerkstack erhält mit dem "Express Data Path" (XDP) eine Schnellstraße für bestimmte Netzwerkpakete, um den Overhead bei deren Verarbeitung erheblich zu reduzieren; damit lassen sich beispielsweise Denial-of-Service-Angriffe besser abwehren und Forwarding effizienter realisieren.

PS: Leider keinen anderen Forenbereich dazu gefunden

 

[Marcel Bresink]

Apple hat im Juni angekündigt, HFS+ aufzugeben. Es wird in einigen Monaten durch das neue Apple-Dateisystem APFS ersetzt. Zum Thema Integritätsprüfung hat sich Apple allerdings bisher ausgeschwiegen, so dass einige befürchten, dass diese nicht kommt.

APFS wird im Moment in Vorabversionen getestet. Es wird zu einem noch unbekannten Zeitpunkt in 2017 offiziell erscheinen. Ab dann werden alle Apple-Geräte (macOS, iOS, watchOS und tvOS) ab Werk mit APFS vorformatiert sein. Bestehende Volumes können während des Betriebs ohne Datenverlust von HFS+ nach APFS konvertiert werden.

 

[FritzS]

Ohne Integritätsprüfung wäre APFS auch wieder eine Krücke, oder seht Ihr das anders?

Die Integritätsprüfung über alle Bereiche eines Computers hinweg, wird aufgrund der immer kleiner werdenden Strukturen zu einen Muss.
Quanteneffekte, Teilchenbeschuss aus dem All, usw. erhöhen hier die Möglichkeit von Fehlern.

Über eine Integritätsprüfung habe ich da (auf die Schnelle) nichts gefunden:

https://de.wikipedia.org/wiki/APFS_(Dateisystem)

http://www.golem.de/news/apfs-apple-erstellt-eigenes-modernes-dateisystem-1606-121496.html

https://developer.apple.com/library...s.html#//apple_ref/doc/uid/TP40016999-CH2-SW1

https://developer.apple.com/library...ual/APFS_Guide/Introduction/Introduction.html

http://arstechnica.com/apple/2016/0...ocumentation-for-apfs-apples-new-file-system/

 

[Ballon]

@FritzS
Ich habe mal gehört, das möglich wäre aber wegen den iOS und watchOS Geräte erstmal nicht machen werden, Performance Probleme. Ob Apple für macOS einbaut könnte ja immer noch passieren.

 

[FritzS]

Es gibt für das Motherboard, CPU, RAM, usw. auch Möglichkeiten Integritätsprüfungen per Software durchzuführen - irgendwo habe ich darüber mal gelesen, die Quelle aber nicht gemerkt. Natürlich bremst dies das System etwas - aber was tun denn Windows Nutzer so um CPU Time abzufackeln - siehe Virenscanner.

 

[Rastafari]

z.B. wäre eine eine Integritätsprüfung für Daten durchaus nützlich - und das durchgängig auch am Motherboard.

Hast du auch nur die leiseste Vorstellung davon, wieviele Schichten von solchen Plausibilitätsprüfungen es schon seit ewig gibt?
Du könntest genauso fordern, jemand könne doch mal ausprobieren, ob man Autos nicht auch mit diesem neumodischen "Benzin" antreiben könnte, denn das Zeug müsste sich doch eigentlich auch irgendwie verbrennen lassen...?

 

[FritzS]

Hast du auch nur die leiseste Vorstellung davon, wieviele Schichten von solchen Plausibilitätsprüfungen es schon seit ewig gibt?

Lass mal davon hören

 

[Rastafari]

Ich kann sie nicht zählen. Schätzen würde ich so um die 50 bis 100.

 

[FritzS]

Ich wollte nicht die Zahl, sondern über die Technik dahinter lesen.

Dass Festplatten selbst auf unterster Ebene Prüfungen durchführen, weiß ich - bekommt das das OS aber rechtzeitig vor einem angekündigten Total Crash (Fehler häufen sich) mit? SMART weiß ja mehr darüber - werden die Werte aber vom macOS ständig abgefragt?

Und wie sieht es in allen flüchtigen Speichern, von der CPU bis zum RAM aus. In den meisten Fällen werden ja keine ECC RAM eingesetzt.

Usw.

 

[Rastafari]

werden die Werte aber vom macOS ständig abgefragt?

Selbstredend.

wie sieht es in allen flüchtigen Speichern, von der CPU bis zum RAM aus

Dass eine CPU zum flüchtigen Speicher zählt ist mir neu.
Und was das jetzt mit irgendeinem Filesystem zu tun haben soll ist mir sowieso restlos unklar.

 

[tjp]

Die Integritätsprüfung über alle Bereiche eines Computers hinweg, wird aufgrund der immer kleiner werdenden Strukturen zu einen Muss.
Quanteneffekte, Teilchenbeschuss aus dem All, usw. erhöhen hier die Möglichkeit von Fehlern.

In Server und Workstations verwendet man seit vielen Jahren deshalb ECC RAM. Viele CPUs können ebenfalls die Caches, die Register und die Datenpfade per ECC schützen. Apple verzichtet aber bewußt auf den Einsatz von ECC fähigen CPUs und Chipsätzen in den meisten Apple Produkte. Nur der nMP nutzt auch die ECC Fähigkeit der Hardware.

Es gibt von Intel passende Xeons die man anstatt i5 und i7 in den iMacs und den MacBookPros einsetzen könnte. Lediglich für die Skylake M und Y CPUs gibt es bisher keine ECC Varianten.

 

[FritzS]

@Rastafari
Gibt es in der CPU denn keinerlei flüchtige Speicher, oder willst Du mich bloß häckeln?
Gibt es sonst, außer in CPU und RAM, in anderen „Chips“ am Mainboard keinerlei flüchtige Speicher?
Und selbst auf den „Datenleitungen“ = Bus könnten bei der Übertragung einzelne Bits „umfallen“

https://de.wikipedia.org/wiki/Southbridge
https://de.wikipedia.org/wiki/Northbridge
https://de.wikipedia.org/wiki/Prozessor
https://de.wikipedia.org/wiki/Register_(Computer)
https://de.wikipedia.org/wiki/Puffer_(Informatik)
https://de.wikipedia.org/wiki/Bus_(Datenverarbeitung)
https://de.wikipedia.org/wiki/PCI_Express
usw.

Und was das jetzt mit irgendeinem Filesystem zu tun haben soll ist mir sowieso restlos unklar.

:rolleyes:

Das ist eine „Gesamtschau“ auf alle Fehlermöglichkeiten in der Datenverarbeitung eines PCs - der RAM Speicher ist ja nur eine Facette davon.

 

[FritzS]

@tjp
Danke!

Um all dies umzusetzen müsste man derzeit wohl einen passenden PC selbst zusammenbauen und Hackintosh (ich hoffe hier kein Sakrileg) verwenden.

Meines Wissens bietet Intel dazu sogar kleine Barebones mit XEONs und ECC RAM an. Ob diese Hackintosh fähig sind weiß ich nicht.

 

[tjp]

Intel selbst bietet keinerlei Workstation Mainboards bzw. Barebones mehr an, da sie sich aus dem Desktop Markt komplett zurückgezogen haben. Es gibt nur noch einige wenige Serverboards und Serverbarebones. Es gibt aber andere Anbieter, die Workstationbarebones anbieten z.B. SuperMicro. Die gezeigten Konfigurationen sind nur so etwas wie Beispiele, da sich über die Vertragshändler jede beliebige Kombination von Gehäuse und Mainboard bestellen läßt.

Der Trend beim Hackintosh-Bau geht ohnehin zu VM + GPU Passthrough, da man dadurch weniger abhängig von Apples Unterstützung von neuen Prozessoren ist. Funktionieren tut das mittlerweile mit Linux und KVM als Host OS+Hypervisor. Bei der kleinen Xeon E3 Plattform betreibt man die Linux Grafikausgabe mit dem IGP und an OSX wird eine nVidia GPU durchgereicht. Man braucht dann entweder zwei Monitore oder einen mit zwei Eingängen. Bei den Xeon E5 kann man zwei oder mehr physikalische Grafikkarten verwenden.

 

[GunBound]

Um all dies umzusetzen müsste man derzeit wohl einen passenden PC selbst zusammenbauen und Hackintosh (ich hoffe hier kein Sakrileg) verwenden.

Du hast Angst wegen etwaiger Speicherfehler und willst gleichzeitig eine Bastellösung à la Hackintosh verwenden? Ist ja lustig.

Auf Hardwareebene wurde schon alles dazu gesagt: lediglich der Mac Pro unterstützt überhaupt noch ECC-RAM (u.a. dank Xeon-Prozessor). Auf Softwareebene kenne ich mich zu wenig aus.

Wenn du so viel Wert auf akkuraten flüchtigen Speicher legst, dann rate ich dir zu deinem eigenen Vorschlag: selbst einen Computer zusammenzubauen (dann gibt's neben ECC-RAM z.B. auch GPUs mit Integritätsprüfung des VRAM, z.B. aus der NVIDIA Tesla-Serie). Für Berechnungen, die besonders exakt sein müssen, wird wohl Redundanz unter Computern benötigt werden. Für alles andere reicht das, was Apple anbietet.

 

[SchaubHome]

@FritzS, auch wenn der Eintrag schon alt ist, ZFS gibt es für Mac auch ohne Apple schon länger als dieser Eintrag!
Siehe: https://openzfsonosx.org/
Zu der Erwähnung von S.M.A.R.T. halte ich nicht sonderlich viel. Ich hatte eine Hitachi Platte im Macbook, die ist so schnell abgeraucht, dass S.M.A.R.T. nicht mal einen Fehler zuvor meldete.

Das mit ECC RAM ist auch so ein Thema. Ja, es gibt Doppelbitfehler, die nicht mal über ECC abgefangen werden
Siehe: https://storagemojo.com/2007/09/19/cerns-data-corruption-research/
Was hilft aber das dann?

Die Aussage "Für alles andere reicht das, was Apple anbietet" empfinde ich als Dummheit von Apple. APFS ist hier echt nur halbgar! APFS kann Fehler erkennen, Ja. Es scheint aber nicht gemacht worden zu sein um Fehler zu beheben. Unfehlbares gibt es von Menschen noch nicht, darin hilft auch kein Apple Glaube!

 

[FritzS]

Die Aussage "Für alles andere reicht das, was Apple anbietet" empfinde ich als Dummheit von Apple. APFS ist hier echt nur halbgar! APFS kann Fehler erkennen, Ja. Es scheint aber nicht gemacht worden zu sein um Fehler zu beheben. Unfehlbares gibt es von Menschen noch nicht, darin hilft auch kein Apple Glaube!

Diese Aussage kommt aber nicht von Apple!
Und man kann Apple zu Gute halten, die meisten Windows PCs, Laptops verfügen auch nicht über ECC RAM.
Sicherlich auch nicht jene die auf den Schreibtischen der „Hoheitsverwaltung“ (z.B. Finanzamt), bei Versicherungen und Banken stehen.

Haben eigentlich Geldausgabe Automaten, Kassensysteme EEC RAM und dementsprechende Prozessoren eingebaut?

Die Fehlerkorrektur scheint so wie die jetzt aufgetretenen CPU Bugs ein grundsätzliches Problem der gesamten Computertechnik zu sein! Darin gibt es kaum Ausnahmen.

 

[SchaubHome]

Vorab, der Kommentar (anderer Foren Eintrag) war von mir, der ist aber verschwunden, warum weiß ich nicht.

Ich verstehe den Wahn einfach nicht, man diskutiert über ECC RAM, aber setzt Dateisysteme ohne vernünftigen Schutz ein. Selbst wenn XFS COW (Copy On Write) kennt, so verlässt es sich immer noch auf die Sicherheit der CRC Prüfung auf der Festplatte bzw. Controller. Dabei ist dieser Schutz mehrfach schlecht und für heutige größeren Systeme (>10TB) nicht mehr sinnvoll. Wir brauchen so etwas wie Erasure Coding oder Hashcoding auch auf Einzelplatten. Was viele nicht wissen 1/3 der Platte wird heute schon für schlechte Sektoren etc. verwendet und selbst SSD's haben auch kaum eine bessere Fehlerkorrektur. Warum erweitert man dann die Ablage der Daten nicht gleich mit einem vernünftigen Hashcode. Da würde ich sogar den XFS Verfechtern Recht geben, bis auf die Tatsache, dass ZFS und auch Objektspeicher eine durchgehende Prüfung haben, also von Platte bis CPU und RAM. Zu APFS nur kurz, es kann zwar Fehler erkennen, was schon mal gut ist, aber Fehlerbehebung scheint nicht möglich zu sein. Fraglich ist halt, was befindet sich dann später in der Timemachine/APFS Sicherung?

 

[FritzS]

Ich habe vor längerer Zeit mal einen Artikel gelesen, wo man dies über Algorithmen einfach per Rechenleistung erreichen könnte. Das bedeutet aber, dass Rechenvorgänge mitunter 2x (oder mehr) durchgeführt werden müssen, zudem muss man per Software Checksums auf den Speichermedien ablegen, aber auch Checksums für alle Speicherbereiche in den Chips (ICs, RAM) erstellen. Das könnte sogar unabhängig vom Filesystem erfolgen.

Soweit ich mich entsinne war dies eine wissenschaftliche Studie, wie man dies realisieren könnte - aber noch kein fertiges Produkt.

Und welcher OS Hersteller würde das implementieren wollen, bremst es doch den Rechner.

 

[SchaubHome]

Ja, es gibt da unterschiedliche Ansätze. ZFS legt Daten mit Prüfsumme ab. Erasure Coding legt es verteilt ab und errechnet den korrekten Block daraus. Objektspeicher legen die Prüfsumme in der XML Datei ab oder ggf. in einem ebenso separaten Steuerblock. Letztlich können alle drei Systeme beim Lesen garantieren, dass der Block korrekt gelesen wird. Bei 256 Bit sind die Prüfsummen so groß, dass man von der Anzahl her das sichtbare Universum komplett mit einem Zuckerwürfel pro unterschiedlicher Prüfsumme füllen könnte. Da hält CRC 8 Bit mit 256 Möglichkeiten oder CRC16 mit 65536 Möglichkeiten auf der Platte nicht mit.

Ich habe selbst derzeit über 200 Terabyte ZFS Systeme in einer VMware Umgebung am Laufen. Die CPU Belastung ist minimal, das macht vielleicht 3 - 5% aus. Aktuell betreibe ich damit 320 virtuelle Maschinen und die Aufnahme von rund 20 Überwachungskameras sowie 10 Oracle Datenbanken und 5 SQL Server Maschinen.