Hardwareausfall

13.08.2010

Am gestrigen Abend um 19:15 Uhr hat es zu unserem großen Bedauern in unserem Münchner Rechenzentrum einen Hardwareausfall gegeben, der einen Großteil unserer Kundenprojekte betroffen hat. In Folge eines noch nicht vollständig geklärten Hardwaredefektes kam es zu einer Inkonsistenz und Beschädigung auf Ebene des Festplattendateisystems.

Um dieses Problem zu beheben, wurden bereits unmittelbar nach dem Auftreten des Problems technische Maßnahmen ergriffen und Dateisystemreparaturen durchgeführt, welche das Problem dem Anschein nach weitgehend behoben hatten. Fehlende oder weiterhin inkonsistente Daten, darunter die SQL-Datenbanken, wurden darüber hinaus dem aktuellsten Backup (aus der vorherigen Nacht) entnommen und eingespielt.

Damit schien die Beeinträchtigung behoben zu sein. Leider haben wir bei weiteren vorgenommenen Überprüfungen heute Morgen jedoch festgestellt, dass die Schäden auf Dateisystemebene größer waren als angenommen. So kam es insbesondere auch bei als unbeschädigt und einwandfrei erkannten Daten zu Beschädigungen und Datenverlusten, ohne dass das Dateisystem oder das für die Überprüfung zuständige Programm dies bemerkt hätten.  

Vor diesem Hintergrund blieb uns leider keine andere Wahl, als ein vollständiges Restore der Serverdaten - auf selbstverständlich neue Hardware - aus dem letzten vorhandenen Backup, welches in der Nacht zum 12.08.2010 erstellt worden ist, vorzunehmen.

Uns ist bewusst, wie unangenehm eine erforderliche Backup-Rückspielung ist, weshalb wir auch alles getan haben, um diese Notwendigkeit zu vermeiden. Aufgrund des seltenen und unüblichen Fehlers konnten jedoch weder das RAID-System noch die vorgenommenen Dateisystemüberprüfungen und -reparaturen das Auftreten von nicht erkannten beschädigten Daten verhindern. Genau diese Situation ist jedoch besonders gefährlich für Sie, da wohlmöglich augenscheinlich unbeschädigte Daten unbemerkt fehlerhafte oder völlig "wirre" Inhalte aufweisen, ohne dass dies zeitnah auffallen muss oder zu beheben wäre. Da weder Sie alle auf Ihrem Webspace vorhandenen Daten überprüfen noch wir dies automatisiert tun können (immerhin sind die Dateien nicht als fehlerhaft markiert und wir wissen nicht, was in jeder Datei stehen *müsste*), verblieb als Möglichkeit nur ein komplettes Restore aller Daten.  

Alle betreffenden Arbeiten wurden heute um 11:53 Uhr abgeschlossen und das in der Nacht zum 12.08.2010 erstellte Backup Ihrer Daten und Datenbanken auf einen vollständig neuen Server zurückgespielt. Ihre E-Mailaccounts waren davon übrigens nicht betroffen.