Ich muss also für jeden User eine Gruppe definieren, da ich ja auch individuelle Rechte vergeben möchte.
Nein. Natürlich kann man auch für Benutzer beliebige Rechte einzeln definieren (zusätzlich neben den Rechten des Objekteigentümers). Man versucht das nur wann immer es geht zu vermeiden, weil sich das als nicht praxisgerecht herausgestellt hat.
Spricht etwas dagegen die Gruppe wie die User zu nennen oder müssen User- und Gruppennamen unterschiedlich sein?
Da spricht nichts gegen, aber das ist wie gesagt völlig unnötig.
Die Reihenfolge bestimmt den Zugriff oder das erste erfolgreiche Zugriffsrecht?
Nochmal: Zuerst wird die Liste der Zugriffssteuerungseinträge von oben nach unten abgearbeitet und dann die Liste der POSIX-Rechte in der Reihenfolge Eigentümer, Gruppeneigentümer, Andere. Die erste passende Übereinstimmung gilt. Es gibt darüberhinaus sogenannte kanonische Sortierungsregeln, nach denen innerhalb der Zugriffssteuerungsliste Verbotseinträge üblicherweise vor Erlaubniseinträgen stehen.
Könnte man nicht alle Rechte mit logisch ODER verknüpfen und dann wäre die Reihenfolge egal?
Nein, denn einzelne Zugriffssteuerungseinträge dürfen sich widersprechen und die Definition von "Andere" wäre dann nicht mehr möglich.
Wenn Du z.B. "Maria hat Vollzugriff" und "Maria darf nicht schreiben" in die Liste einfügst, ist das ein Widerspruch, der nur durch die Reihenfolge aufgelöst werden kann.
Wenn ein User in 3 Gruppen enthalten ist, die alle einem Objekt zugewiesen sind, jedoch nur in der letzten Gruppe ein Leserecht eingeräumt wird, müsste der User ja lesen dürfen, korrekt?
Das ist ein anderes gutes Beispiel. Auch hier gilt: Die Reihenfolge innerhalb der Rechteliste legt fest, was der User darf. Möglicherweise darf der User nicht lesen.
Und wie setze ich die Standardrechte für "Andere" und "Staff"? Dann müsste ich diese Gruppe und diesen User in dem Wurzelobjekt definieren und dort auf "Keine Rechte" setzen und vererben lassen (mit Server-App).
Vererben geht nicht, da dies wie gesagt POSIX-Rechte sind. Aber Du meinst vermutlich "manuell einmal nach unten übertragen".
Die beiden Objekte "Andere" und "Staff" hatte ich nämlich vorher schon mit dem Finder gelöscht, noch bevor ich den Server installiert hatte.

Was hat das illegale Löschen dieser Objekte denn für Auswirkungen?
Wie gesagt geht das in Wirklichkeit gar nicht, aber der Finder tut so, als könnte er das. Er bastelt dann mithilfe von Rechtedefinitionen etwas, was der Benutzer gemeint haben könnte. Das kann sogar in jeder Version von OS X anders sein. Eine mögliche Lösung für "staff" wäre hier in diesem Beispiel, dass der Finder "keine Rechte" als POSIX-Recht für den Gruppeneigentümer einstellt. Eine andere Lösung wäre aber auch, dass stattdessen für die Gruppe "staff" ein "Verbot für alle Rechte" an irgendeiner Stelle in die Zugriffssteuerungsliste einsortiert wird.
Genau deshalb ist das Arbeiten mit Berechtigungen im Finder so gefährlich: Man hat überhaupt keine Kontrolle, was genau passiert. Der Finder führt garantiert keine illegalen Operationen aus, aber aufgrund seiner naiven Präsentation der Rechte gibt es so viele Mehrdeutigkeiten, dass er quasi auf eigene Faust eine Umsetzung der Rechte auswählt, die meist ganz anders ist, als man haben wollte.
Um die wirklichen Rechte anzuzeigen, musst Du entweder Server.app, die Kommandozeile oder bessere Programme als den Finder verwenden.