[10.6 Snow Leopard] Xserve Software-RAID1 "Eingeschränkt" nach jedem Neustart

gbyte · 08.01.13

Hardware:

Xserve 1,1 (Dual-Core Intel Xeon 3,0 GHz), 8GB DDR2 FB-DIMM, Bay 1 mit 500GB, Bay 2 mit 500GB, Bay 3 mit 1000GB.

(Die Festplatten in Bay 1 und Bay 2 sind beide aus der gleichen Produktreihe und als RAID1 konfiguriert. Dieses RAID1 beherbergt das Betriebssystem.)

Software:

Mac OS X Server Version 10.6.8 (unlimited User)

Problem:

Besagtes RAID1 ist nach jedem Neustart des Servers eingeschränkt und stellt sich innerhalb einiger Stunden selbstständig wieder her.

Frage:

Ist es normal, dass dieses RAID1 bei einem Neustart des Servers nicht sauber durchstartet? Habe im Netz einiges gefunden dieses Verhalten angeht, allerdings hauptsächlich bei Ubuntu, bzw. Linux Servern. Gibt es so etwas wie den Superblock auch bei HFS, den man angeblich in der Linuxwelt nullen soll.

Bin für jeden Tipp dankbar!

Gruß,

GByte

[EDIT]
Die Festplatten sind, soweit es mir möglich ist, geprüft und in Ordnung. Die Platte die wiederhergestellt wird ist abwechselnd die in Bay 1 oder Bay 2.

Das RAID1-System wurde nachträglich erstellt: Server wurde auf einer Festplatte installiert und in Betrieb genommen. Das System wurde dann mit dem Festplatten-Dienstprogram der OS X Server 10.6 CD auf eine dritte Festplatte geklont. Dann wurde das RAID1 mithilfe des Festplatten-Dienstprogrammes der OS X Server 10.6 CD erstellt und das ursprüngliche System von der dritten Platte auf das RAID1 zurückgeklont.
[/EDIT]

Scotch · 08.01.13

Nein, das ist nicht normal. Geben die SMART-Records irgendwas her?

gbyte · 08.01.13

Der S.M.A.R.T.-Status beider Platten steht auf geprüft. Das Log (aus dem Festplatten-Dienstprogramm) der beiden Platten sieht folgendermaßen aus:

Bay 1:

Code:

2013-01-08 21:55:38 +0100:             RAID-Teilbereich:    disk4s2 (RAID-Teilbereich für „Server HD“) - 0x101a1d190     Object Type = DUDiskDMDisk
     Object reference = 0x101a1d190


wholeDiskName = disk4 
diskIdentifier = disk4s2 
DADiskRef = <DADisk 0x101a1b5f0 [0x7fff7122fee0]>{id = /dev/disk4s2} 
partitionID = 2 
rawDeviceNode = /dev/rdisk4s2 
mountPoint = (null) 
volumeName = (null) 
     filesystem = NULL 
ioContent = Apple_RAID 
deviceTreePath = IODeviceTree:/PCI0@0/RP01@1C/P8PC@0/SAS@2/PRT0@0/IOSCSIParallelInterfaceDevice@6 
bayName = "Bay 1" 
UUID = (null) 
mediaName = Raid Partition 1 
directChildrenOfDisk = 0 
isWritableMedia YES 
isWritableVolume NO 
isEjectable NO 
isWhole NO 
isNetworkDisk NO 
isLeaf NO 
isCDROM NO 
isDVDROM NO 
isOpticalDisk NO 
isJournaled Nein 
isErasableOpticalMedia NO 
opticalMediaType = (null) 
opticalDeviceType = (null) 
deviceName = (null) 
isInternal YES 
isRAIDMaster (DM=NO) (DU=Nein)
isRAIDSlice (DM=YES) (DU=Ja)
isRAIDSpare (DM=NO) (DU=Nein)
RAIDSetProperties = {
    "AppleRAID-AutoRebuild" = 1;
    "AppleRAID-CanAddMembers" = 1;
    "AppleRAID-CanAddSpares" = 1;
    "AppleRAID-ChunkCount" = 15251583;
    "AppleRAID-ChunkSize" = 32768;
    "AppleRAID-ContentHint" = "Apple_HFS";
    "AppleRAID-HeaderVersion" = 131072;
    "AppleRAID-LevelName" = Mirror;
    "AppleRAID-Members" =     (
        "C39CDE4E-66C0-4449-AC8E-A98464D9CA01",
        "9BF0B2F8-A198-481D-AB8E-9C346DD4F9FE"
    );
    "AppleRAID-RemovalAllowed" = Any;
    "AppleRAID-SequenceNumber" = 5;
    "AppleRAID-SetName" = "Server HD";
    "AppleRAID-SetStatus" = Degraded;
    "AppleRAID-SetTimeout" = 30;
    "AppleRAID-SetUUID" = "7BD07B9B-B7F6-40ED-BCEB-1F841F2F5E8A";
    "AppleRAID-SizesCanVary" = 0;
    "AppleRAID-Spares" =     (
    );
    "BSD Name" = disk5;
} 
RAIDMemberProperties = {
    "AppleRAID-ChunkCount" = 15251583;
    "AppleRAID-HeaderVersion" = 131072;
    "AppleRAID-MemberIndex" = 0;
    "AppleRAID-MemberStatus" = Rebuilding;
    "AppleRAID-MemberType" = "AppleRAID-Members";
    "AppleRAID-MemberUUID" = "C39CDE4E-66C0-4449-AC8E-A98464D9CA01";
    "AppleRAID-Rebuild-Progress" = 172578865152;
    "AppleRAID-SequenceNumber" = 0;
    "BSD Name" = disk4s2;
} 
ioKitSize 499763888128 
totalSize 499763888128 
freeSpace 0 
protocol = SAS 
mediaType = Allgemein 
permissionsEnabled NO 


smartStatus: 
children = 0 
visibleChildren = 0 
RAIDSetUUID (null) 
cachedRAIDSetUUID (null) 
RAIDMemberUUID C39CDE4E-66C0-4449-AC8E-A98464D9CA01 
cachedRAIDMemberUUID C39CDE4E-66C0-4449-AC8E-A98464D9CA01 
RAIDParentUUID 7BD07B9B-B7F6-40ED-BCEB-1F841F2F5E8A 
RAIDUUID C39CDE4E-66C0-4449-AC8E-A98464D9CA01 
diskType kRaidSliceType 
isRootDisk Nein 
isDiskImage NO 
isNonAppleDiskImage Nein 
isOpticalDevice Nein 
diskImagePath =  
isFireWireDisk NO 
isUSBDisk Nein 
isATADisk Nein 
isSCSIDisk NO 
isSATADisk Nein 
isSASDisk Ja 
isDVDRAM Nein 
isXsanDisk NO 
isFibreChannelDisk NO 
isBootVolume NO 
needsPseudoPartitionDisk NO 
isPseudoDisk NO 
isOfflineDiskImage NO 
canBeRestoreSource Nein 
canBeRestoreTarget Nein, with erase Ja 
supportsPacketWriting Nein 
hasBlankOpticalMedia Nein 
isTransientDisk Nein 
diskHasBootPartition NO 
partitionStartLocation 209735680 


busSpecificKeys:

Bay 2:

Code:

2013-01-08 21:55:38 +0100:             RAID-Teilbereich:    disk2s2 (RAID-Teilbereich für „Server HD“) - 0x11550f610
     Object Type = DUDiskDMDisk
     Object reference = 0x11550f610


wholeDiskName = disk2 
diskIdentifier = disk2s2 
DADiskRef = <DADisk 0x1004af510 [0x7fff7122fee0]>{id = /dev/disk2s2} 
partitionID = 2 
rawDeviceNode = /dev/rdisk2s2 
mountPoint = (null) 
volumeName = (null) 
     filesystem = NULL 
ioContent = Apple_RAID 
deviceTreePath = IODeviceTree:/PCI0@0/RP01@1C/P8PC@0/SAS@2/PRT1@1/IOSCSIParallelInterfaceDevice@7 
bayName = "Bay 2" 
UUID = (null) 
mediaName = Raid Partition 2 
directChildrenOfDisk = 0 
isWritableMedia YES 
isWritableVolume NO 
isEjectable NO 
isWhole NO 
isNetworkDisk NO 
isLeaf NO 
isCDROM NO 
isDVDROM NO 
isOpticalDisk NO 
isJournaled Nein 
isErasableOpticalMedia NO 
opticalMediaType = (null) 
opticalDeviceType = (null) 
deviceName = (null) 
isInternal YES 
isRAIDMaster (DM=NO) (DU=Nein)
isRAIDSlice (DM=YES) (DU=Ja)
isRAIDSpare (DM=NO) (DU=Nein)
RAIDSetProperties = {
    "AppleRAID-AutoRebuild" = 1;
    "AppleRAID-CanAddMembers" = 1;
    "AppleRAID-CanAddSpares" = 1;
    "AppleRAID-ChunkCount" = 15251583;
    "AppleRAID-ChunkSize" = 32768;
    "AppleRAID-ContentHint" = "Apple_HFS";
    "AppleRAID-HeaderVersion" = 131072;
    "AppleRAID-LevelName" = Mirror;
    "AppleRAID-Members" =     (
        "C39CDE4E-66C0-4449-AC8E-A98464D9CA01",
        "9BF0B2F8-A198-481D-AB8E-9C346DD4F9FE"
    );
    "AppleRAID-RemovalAllowed" = Any;
    "AppleRAID-SequenceNumber" = 5;
    "AppleRAID-SetName" = "Server HD";
    "AppleRAID-SetStatus" = Degraded;
    "AppleRAID-SetTimeout" = 30;
    "AppleRAID-SetUUID" = "7BD07B9B-B7F6-40ED-BCEB-1F841F2F5E8A";
    "AppleRAID-SizesCanVary" = 0;
    "AppleRAID-Spares" =     (
    );
    "BSD Name" = disk5;
} 
RAIDMemberProperties = {
    "AppleRAID-ChunkCount" = 15251583;
    "AppleRAID-HeaderVersion" = 131072;
    "AppleRAID-MemberIndex" = 1;
    "AppleRAID-MemberStatus" = Online;
    "AppleRAID-MemberType" = "AppleRAID-Members";
    "AppleRAID-MemberUUID" = "9BF0B2F8-A198-481D-AB8E-9C346DD4F9FE";
    "AppleRAID-SequenceNumber" = 5;
    "BSD Name" = disk2s2;
} 
ioKitSize 499763888128 
totalSize 499763888128 
freeSpace 0 
protocol = SAS 
mediaType = Allgemein 
permissionsEnabled NO 


smartStatus: 
children = 0 
visibleChildren = 0 
RAIDSetUUID (null) 
cachedRAIDSetUUID (null) 
RAIDMemberUUID 9BF0B2F8-A198-481D-AB8E-9C346DD4F9FE 
cachedRAIDMemberUUID 9BF0B2F8-A198-481D-AB8E-9C346DD4F9FE 
RAIDParentUUID 7BD07B9B-B7F6-40ED-BCEB-1F841F2F5E8A 
RAIDUUID 9BF0B2F8-A198-481D-AB8E-9C346DD4F9FE 
diskType kRaidSliceType 
isRootDisk Nein 
isDiskImage NO 
isNonAppleDiskImage Nein 
isOpticalDevice Nein 
diskImagePath =  
isFireWireDisk NO 
isUSBDisk Nein 
isATADisk Nein 
isSCSIDisk NO 
isSATADisk Nein 
isSASDisk Ja 
isDVDRAM Nein 
isXsanDisk NO 
isFibreChannelDisk NO 
isBootVolume NO 
needsPseudoPartitionDisk NO 
isPseudoDisk NO 
isOfflineDiskImage NO 
canBeRestoreSource Nein 
canBeRestoreTarget Nein, with erase Ja 
supportsPacketWriting Nein 
hasBlankOpticalMedia Nein 
isTransientDisk Nein 
diskHasBootPartition NO 
partitionStartLocation 209735680 


busSpecificKeys:

[EDIT]

Hier noch eine Übersicht der verbauten Platten und deren Partitionen:

Code:

srv01:~ admin$ diskutil list
/dev/disk0
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *3.0 TB     disk0
   1:                        EFI                         209.7 MB   disk0s1
   2:                  Apple_HFS RAID_5_Server           3.0 TB     disk0s2
/dev/disk1
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *3.0 TB     disk1
   1:                        EFI                         209.7 MB   disk1s1
   2:                  Apple_HFS RAID_5_TimeMachine      3.0 TB     disk1s2
/dev/disk2
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *500.1 GB   disk2
   1:                        EFI                         209.7 MB   disk2s1
   2:                 Apple_RAID                         499.8 GB   disk2s2
   3:                 Apple_Boot Boot OSX                134.2 MB   disk2s3
/dev/disk3
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *1.0 TB     disk3
   1:                        EFI                         209.7 MB   disk3s1
   2:                  Apple_HFS Dovecot_HD              999.9 GB   disk3s2
/dev/disk4
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *500.1 GB   disk4
   1:                        EFI                         209.7 MB   disk4s1
   2:                 Apple_RAID                         499.8 GB   disk4s2
   3:                 Apple_Boot Boot OSX                134.2 MB   disk4s3
/dev/disk5
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:                  Apple_HFS Server HD              *499.8 GB   disk5

[/EDIT]

Scotch · 08.01.13

gbyte schrieb:
Der S.M.A.R.T.-Status beider Platten steht auf geprüft.

Naja, sonst würde wohl nicht mal mehr der Rebuild klappen

Ich meinte eher, ob das Fehlerlog was hergibt. Kannst du mit den smartmontools o.ä. auslesen. Wenn du keine tools dafür hast, kannst du zumindest die wichtigsten Fehlerraten auch mit dem FDP auslesen (FDP->HDD auswählen (kein Volume auswählen!)->CMD-I).

gbyte · 08.01.13

Smartmontools sind nicht installiert ... leider (werde ich mich wohl mal als Nächstes dransetzen). Mit cmd+i auf der HDD (nicht das Volumen) gibt auch nicht gerade aussagekräftige Infos. Dort steht bei S.M.A.R.T-Status, der beiden Platten, ja dieses "Überprüft" welches ich meinte.

Danke Dir übrigens für die Anteilnahme an meinem Problemchen

Gruß,

GByte

Scotch · 08.01.13

Huh? Welches OS setzt du denn ein? Bei mir sieht das z.B. so aus:

Bildschirmfoto 2013-01-08 um 22.55.51.png

Alles andere als z.B. "0" bei "Hochlaufversuchen" würde z.B. auf eine defekte HDD und/oder Spannungsversorgung hinweisen und könnte deine Kaltstartprobleme erklären.

QuickMik · 09.01.13

was sagt den smart utilitiy ?

ich würde das RAID einfach neu erstellen....
1.) USB stick mit 10.6.8 (reicht ein client) basteln und davon booten
2.) system platte mit dem FDP in ein image klonen (wiederherstellung prüfen)
3.) raid verbund komplett löschen, platten initialisieren, RAID 1 wieder basteln
4.) das image wieder zurück klonen

oder gleich 2 neue platten rein. 500GB platten kosten z.z. sowieso nicht mehr die welt.

HTH
mike

stk · 09.01.13

Kann auch einer der Laufwerksschlitten sein! Werden die HDDs den Bein Hochfahren sauber gemointed?

gbyte · 09.01.13

Guten Morgen in die Runde und ein Dank für die rege Anteilnahme.

Scotch schrieb:
Welches OS setzt du denn ein?

Es handelt sich um Mac OS X Server 10.6.8 (unlimited clients) und die Festplatten-Dienstprogramm Version ist 11.5.2 (Build 298.4).

Scotch schrieb:
Bei mir sieht das z.B. so aus:

Na das ist doch mal eine detailliertere Anzeige. Leider ist meine Anzeige da etwas sparsamer (siehe screenshots):

QuickMik schrieb:
was sagt den smart utilitiy?

SMART Utility und SMARTReporter sagen beide das alles okay ist.

QuickMik schrieb:
ich würde das RAID einfach neu erstellen.... oder gleich 2 neue platten rein.

Das werde ich wohl zwangsweise in Angriff nehmen. Dann kann ich auch gleich auf ein 1TB RAID1 updaten.
Theoretisch müsste es doch gehen, einfach die zwei 500GB Platten zu entfernen, zwei 1TB Platten einzubauen, RAID1-Verbund erstellen und von einer der 500GB Platten das System zurück zu klonen, richtig? Würde mir die Offline-Zeit ja um die Hälfte kürzen. Oder habe ich da einen Denkfehler?

stk schrieb:
Kann auch einer der Laufwerksschlitten sein! Werden die HDDs den Bein Hochfahren sauber gemointed?

Das es an den Schlitten liegt, kann ich leider nicht Hundertprozentig ausschließen. Optisch machen alle drei einen guten Eindruck. Die Kabel sind optisch in Ordnung und weißen keinerlei Knicke, Einkerbungen, oder Schnitte auf. Die Steuerplatinen der Schlitten zeigen auch keine Auffälligkeiten (Verfärbungen, oder der Gleichen). Ich habe auch alle drei Schlitten mehrfach untereinander getauscht, womit dieses Phänomen mit allen Schlitten auftritt. Diese Tests sind leider mit viel Zeit verbunden, da nach jedem Neustart eben das RAID degraded ist.

Es gibt keinerlei Auffälligkeiten in den Logs, dass es sich um ein Mount-Problem handeln könnte. Die Platten Mounten, und das RAID wird als degraded erkannt. Ich dachte auch schon, dass eventuel eine Platte schneller gemountet ist, und dann bereits Daten geschrieben werden bevor die zweite verfügbar ist. Womit sich ja ein Unterschied des Datenbestandes ergeben würde und das RAID eventuell als eingeschränkt eingestuft würde. Aber dieses sollte doch von dem Software-RAID-System sauber behandelt werden können und nicht zu diesem Fehlerbild führen, oder?

Letztendlich werde ich wohl auf die neuen Platten setzen müssen, und weiter testen.

Gruß,

GByte

Scotch · 09.01.13

gbyte schrieb:
Theoretisch müsste es doch gehen, einfach die zwei 500GB Platten zu entfernen, zwei 1TB Platten einzubauen, RAID1-Verbund erstellen und von einer der 500GB Platten das System zurück zu klonen, richtig?

Wenn du ein reines SW-RAID mit OS X Bordmitteln nutzt, sollte das funktionieren, da dann die einzelne alte Platte als degraded RAID erkannt werden muesste. Wenn du einen dedizierten RAID-Controller eingebaut hast, funktioniert das nur, wenn du die alte Platte auch/parallel zu den Neuen an dem Controller anschliesst.

Dein wenig Auskunftsfreudiges FDP ist ja spannend

Ich schau' heute abend mal auf einem 10.6.8 System nach, ob das bei mir auch nur so wenig Infos bringt, oder ob es am HDD-Typ liegt. Das ist aber mehr akademisches Interesse, da ja auch mit den anderen Tools anscheinend nicht viel Verwertbares oder Erhellendes zu Tage kommt.

gbyte · 09.01.13

Es handelt sich um ein reines Software-RAID, keine Controller-Card eingebaut. Hier zur Vervollständigung mal die Aufzeichnungen von SMART Utility und SMARTReporter:

Gruß,

GByte

QuickMik · 10.01.13

gbyte schrieb:
Das werde ich wohl zwangsweise in Angriff nehmen. Dann kann ich auch gleich auf ein 1TB RAID1 updaten.
Theoretisch müsste es doch gehen, einfach die zwei 500GB Platten zu entfernen, zwei 1TB Platten einzubauen, RAID1-Verbund erstellen und von einer der 500GB Platten das System zurück zu klonen, richtig? Würde mir die Offline-Zeit ja um die Hälfte kürzen. Oder habe ich da einen Denkfehler?

also ich würde sagen ja.
ausserdem....theoretisch gibt es zwischen theorie und praxis keinen unterschied, praktisch aber schon.

wenn du die geschichte sauber lösen willst......die vorgehensweise hab ich aber schon oben beschrieben.
und lange braucht das sicher nicht. downtime ~1h
wenn alles gut geht. wenn nicht ist es auch egal, dann kannst du ja immer noch deine alten systemplatten reinschieben.

HTH
mike

gbyte · 11.01.13

Ich danke für die Tips, Anregungen und Infos die ich von Euch erhalten habe. Ich habe gerade zwei neue SAS Platten bestellt, die wohl Montag oder Dienstag eintreffen. Danach einen günstigen Zeitpunkt zum Tausch aussuchen und los kann's gehen. Ich melde mich dann nach dem Wechsel der Platten noch mal (hoffentlich mit einem positiven Feedback - denn Festplatten Trays ohne verbauter Platte scheint man hier gar nicht (so einfach) zu bekommen).

Dank und Gruß,

GByte

QuickMik · 11.01.13

eigentlich garnicht. ich hab noch 2 hier. von einem ausgemusterten......
aber die darf ich dir nicht.....sonst hauen mir die admins eine rein

gbyte · 11.01.13

*lol* das ist genau das was ich meinte. Auf dem deutschen Markt finde ich nur noch Trays in Verbindung mit 1GB Platten (offizielle vom Service Provider). Die kosten allerdings um die 400 Euro das Stück. Das letzte Tray hab ich aus den Staaten, für 50 Euro incl. Versandt. Das, plus eine neue Platte ist immer noch um einiges billiger als hier vor Ort.

Gruß,

GByte

gbyte · 15.01.13

Lange Rede kurzer Sinn: Problem behoben.

Nach einigem Hin und Her, dem Austausch von Platten sowie der Platten-Trays, Neuerstellung des RAID1-Verbundes, ist mir aufgefallen, dass die Platten (obwohl alle vom selben Hersteller, selber Produktreihe und selber Größe sind) in unterschiedlichen Zeitabständen vom System erkannt, bzw. eingebunden wurden. Die Erkennung fand innerhalb von Sekunden, bis hin zu 11 Minuten statt.

Also bildete dies ein anderes Problem ab, welches das ursprüngliche Problem (RAID bei jedem Boot eingeschränkt) nur als Konsequenz hat.

Nach eingehender Suche fand ich heraus, dass Apples, bzw. der Xserve PATA/SATA/SAS Controller nicht auf Anfragen von HDDs ohne Apple-Firmware, bezüglich des gewünschten Datendurchsatzes, antwortet.

Zur Auswahl stehen in meinem Fall 1,5 MB/sec, oder 3,0 MB/sec. Die Festplatten fragen also den Controller an, dieser antwortet aber nicht. Nach unterschiedlichsten Zeiten fallen die Platten dann auf 1,5 MB/sec zurück und werden eingebunden. Dies hat zur Folge, dass bei einem RAID1 von der ersten verfügbaren Teilplatte gebootet wird, obwohl die zweite Platte noch nicht zur Verfügung steht. Sobald die zweite Platte eingebunden wurde, ist allerdings bereits ein enormer Unterschied im Datenbestand, bedingt durch das Hochfahren, eingetreten und das RAID ist eingeschränkt.

Die Lösung ist eigentlich so schmerzfrei wie simpel. Per Jumper habe ich alle Festplatten auf 1,5 MB/sec eingestellt, wodurch nun keine Anfragen mehr an den Controller geschickt werden und auch nicht auf eine Antwort gewartet wird. Die Platten werden nun alle schön gleichzeitig eingebunden.

Es besteht keine Einschränkung des RAID1 mehr nach einem Neustart.

Danke an alle für die Tips und die Unterstützung.

Gruß,

GByte

QuickMik · 16.01.13

perfekt! hatte ich auch mal so ähnlich. auch bei einem xserve.
allerdings hatte ich dort kein RAID.
supertoll finde ich aber die "bis zu 11 minuten"
man muß sich wieder mal bei apple sehr "bedanken"

[10.6 Snow Leopard] Xserve Software-RAID1 "Eingeschränkt" nach jedem Neustart

Gelbe Schleswiger Reinette

Bittenfelder Apfel

Gelbe Schleswiger Reinette

Bittenfelder Apfel

Gelbe Schleswiger Reinette

Bittenfelder Apfel

deaktivierter Benutzer

Grünapfel

Gelbe Schleswiger Reinette

Bittenfelder Apfel

Gelbe Schleswiger Reinette

deaktivierter Benutzer

Gelbe Schleswiger Reinette

deaktivierter Benutzer

Gelbe Schleswiger Reinette

Gelbe Schleswiger Reinette

deaktivierter Benutzer

Wir schützen Ihre Privatsphäre

Informationen auf einem Gerät speichern und/oder abrufen

Personalisierte Anzeigen und Inhalte, Anzeigen- und Inhaltsmessungen, Erkenntnisse über Zielgruppen und Produktentwicklungen (Optionale Cookies)

Datenübermittlung an Partner in anderen Staaten (Drittanbieter-Cookies)