Am 26.3.2015 zu einem Ausfall eines Datenspeichers ESDS-B24F-R2842-6B der Firma Infortrend. Diese Datenspeicher kommen für VMs mit "Standard Performance Storage" zu Einsatz.
Das Gerät selbst meldete keinerlei Fehler und war über die letzten 25 Monate absolut zuverlässig im Einsatz.
Weder der Fehlerzustand APD (All Paths Down) noch PDL (Path to Device lost) wurde ausgelöst. Eine direkte Überprüfung der beiden Storagecontroller ergab ebenfalls keine Auffälligkeiten.
Nach weiteren Tests stellte sich heraus, dass das betreffende Gerät noch IOPS entgegen nahm, aber nicht mehr ausführte bzw. quittierte. Dieser Zustand ist in keinem der etablierten Redundanzmechanismen definiert.
Das Gerät wurde schließlich abgeschaltet, um einen definierten APD Zustand zu erreichen. Im Anschluß daran war es erforderlich, alle betroffenen VMs manuell zu überpüfen und ggf. Dateisystemprüfungen durchzuführen.
Wir werden heute umgehend Kontakt mit VMware und Infortrend aufnehmen und versuchen, die Ursache des Fehlers zu ermitteln, damit wir ein erneutes Auftreten ausschließen könnnen. Parallel zur Ursachenforschung werden wir alle Möglichkeiten prüfen, das aktuelle Infrastruktursetup noch besser gegen solche Fehlerzustände abzuhärten bzw. deren Auswirkungen zu minimieren. Informationen dazu erhalten Sie zu einem späteren Zeitpunkt.
Für detaillierte Auskünfte stehen wir Ihnen gerne telefonisch zur Verfügung.
