BÜRGERSCHAFT DER FREIEN UND HANSESTADT HAMBURG Drucksache 21/18291 21. Wahlperiode 17.09.19 Schriftliche Kleine Anfrage der Abgeordneten Jennyfer Dutschke (FDP) vom 09.09.19 und Antwort des Senats Betr.: Ausfall des E-Mail-Systems der Freien und Hansestadt Hamburg (FHH) Am frühen Nachmittag des 06.09.2019 kam es zu einem Komplettausfall des E-Mail-Systems der FHH. E-Mails konnten bis in den späten Abend hinein weder empfangen noch gesendet werden. Auch der Zugang zum Internet war – soweit er überhaupt noch bestand – teilweise merklich verlangsamt. Gemäß Erklärung Dataports habe „ein Konfigurationsfehler in der komplexen zentralen Hardware-Management-Infrastruktur (…) im Rechenzentrum zu einem großflächigen Ausfall der Hardware-Infrastruktur geführt.“ Dadurch seien „(…) E-Mail-Systeme und Fachverfahren der Verwaltung in Schleswig- Holstein, Hamburg, Bremen und Sachsen-Anhalt nicht mehr verfügbar“ gewesen. Notwendige „Nacharbeiten“ würden noch das unmittelbar auf den Ausfall folgende Wochenende in Anspruch nehmen. Vor diesem Hintergrund frage ich den Senat: 1. Welcher Art war der eingangs beschriebene „Konfigurationsfehler“? a. Wie und wann hat er seinen Weg in die zentrale Hardware-Management -Infrastruktur gefunden? b. Aus welchen Gründen wurde er vorab nicht entdeckt? c. Was war konkreter Auslöser der Fehlerkaskade, die letztlich zum plötzlichen Versagen des kompletten E-Mail-Systems und weiterer Dienste geführt hat? Durch einen Mitarbeiter von Dataport wurde in das System zur Steuerung der Server- Hardware eines Herstellers eine fehlerhafte Eingabe gemacht. Hierdurch wurde auf allen Servern gleichzeitig hardwarenahe Software aktualisiert. Eine solche Aktualisierung wird normalerweise beim nächsten regulären Start des Systems aktiviert (etwa so wie ein Update beim PC). Durch die Fehlkonfiguration wurden alle Server sofort heruntergefahren und neu gestartet. Das Management-System gab im Vorwege keine Warn- oder Systemmeldungen, durch die diese Auswirkungen erkennbar gewesen wären. Die Fehlkonfiguration führte am 6. September um 14.08 Uhr dazu, dass auf den Servern laufende Anwendungen unmittelbar abstürzten und auch andere Server in Mitleidenschaft gezogen wurden, weil sie abgeschaltete Server nicht erreichten. Einzelne Server waren unmittelbar nach dem Neustart ohne manuellen Eingriff wieder funktionsfähig – daher wurden zum Beispiel Mails schon nach kurzer Zeit wieder angenommen . Bei der Mehrheit der Fachanwendungen musste beim Neustart manuell eingegriffen werden, insbesondere um Dateninkonsistenzen zu vermeiden. Die Reihenfolge des manuellen Wiederanfahrens der Anwendungen richtete sich nach dem Drucksache 21/18291 Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode 2 vereinbarten Verfügbarkeitsniveau und der Prioritätenliste der Länder für den Fall eines solchen umfassenden Wiederanlaufprozesses. 2. Wie viele E-Mail-Accounts waren von dem Fehler in der FHH beziehungsweise insgesamt betroffen? Es waren alle E-Mail-Accounts der FHH betroffen (circa 80 000 Postfächer). 3. Erhielten Absender von E-Mails an Adressen der FHH eine Fehlermeldung („Mailer-Daemon“) oder Ähnliches darüber, dass diese dem Empfänger (noch) nicht zugestellt beziehungsweise zugänglich gemacht werden konnten? Die Absender wurden über die verzögerte Zustellung informiert. 4. Sind alle Mails, die während des Ausfalls des Outlooks an E-Mail- Adressen der FHH geschickt wurden, dennoch ohne größere Verzögerungen zwischen ihrer jeweiligen Sendezeit und ihrer Empfangszeit auf den Servern der FHH beziehungsweise Dataports eingegangen, konnten jedoch mangels funktionierenden E-Mail-Programms bloß nicht gelesen werden? Wenn nein, wie stellt sich der Sachverhalt dar? a. Inwieweit kam es zu welchen zeitlichen Verzögerungen zwischen Sendezeiten der E-Mails und ihrer jeweiligen Empfangszeit auf dem FHH- beziehungsweise Dataport-Server? b. Sind Fälle bekannt, in denen E-Mails gar nicht zugestellt wurden? Wenn ja, circa wie viele E-Mails betrifft dies? Alle Mails wurden ohne größere zeitliche Verzögerung von den E-Mail-Servern der FHH angenommen. 5. Inwieweit waren auch digitale Faxfunktionen von dem Ausfall betroffen, bei denen Faxe beispielsweise auf E-Mail-Konten eingehen (eFax)? Die digitale Faxfunktion (eFax) war ebenfalls von dem Ausfall betroffen. a. Sind Fälle bekannt, bei denen hierdurch Fristen – beispielsweise im Rahmen von Rechtsstreitigkeiten, Widerspruchsverfahren oder Ähnlichen – wegen des Ausfalls nicht eingehalten wurden? b. Wie wurde oder wird mit entsprechenden Fristsachen umgegangen, die aufgrund des Ausfalls nicht fristgerecht vorlagen? Derartige Fälle sind bislang nicht bekannt. Sofern Dokumente nachweislich (Sendebericht ) aufgrund der technischen Störung nicht fristwahrend eingegangen wären, stünde es den Betroffenen frei, nach den gesetzlichen Vorschriften einen Antrag auf Wiedereinsetzung in den vorigen Stand zu stellen. 6. Welche weiteren Fachverfahren waren von dem Fehler betroffen? a. Wann waren beziehungsweise sind sie jeweils wieder vollständig verfügbar? Ein hoher Anteil der Fachverfahren war von dem Ausfall betroffen. Eine konkrete Aufstellung kann durch den zeitgleichen Ausfall der Management-Systeme und der Dokumentation nicht erstellt werden. Bis Freitagabend (6. September 2019) wiederhergestellte Verfahren: ‐ Alle Verfahren, die mit Wiederanlauf der Server ohne weitere manuelle Tätigkeiten wieder verfügbar sind (wie zum Beispiel der gesicherte Internetzugang über Terminalservice ), ‐ E-Mail-System, ‐ SharePoint/FHHPortal, ‐ LYNC, Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode Drucksache 21/18291 3 ‐ OK.Ewo, ‐ Zentraler Meldebestand (ZMB), ‐ Elektronische Poststelle (EPS), ‐ Internetzugang, ‐ Goverment Gateway und OSI, ‐ KoPers, ‐ BasisWeb (Justizvollzugsanstalten), ‐ EPS Web und Command X (Polizei). Am Samstag (7. September 2019) wiederhergestellte Verfahren: ‐ Aufrufanlagen für die Bezirke, ‐ Einsatzdokumentationssystem für die Feuerwehr, ‐ Prosoz, ‐ Managed Print, ‐ eFax, ‐ SAP, ‐ SPExpert. Am 9. September 2019 standen ab 11.30 Uhr alle Verfahren zur Verfügung. b. Wie viele Nutzerinnen und Nutzer waren beziehungsweise sind hiervon jeweils betroffen? Es waren alle Nutzerinnen und Nutzer in der FHH betroffen, allerdings in unterschiedlichem Grad. 7. Aus welchen Gründen war auch der Internetzugang teilweise merklich verlangsamt oder gar komplett ausgefallen? Durch die Störung war auch die sogenannte Namensauflösung („Übersetzung“ der vom Anwender eingebenden Adresse (zum Beispiel www.hamburg.de) in die technische Zieladresse) beim Aufruf von Seiten im Internet betroffen, sodass der Aufruf nur verlangsamt oder nicht funktionierte. 8. Welche „Nacharbeiten“ wurden oder werden bis wann genau fertiggestellt ? Die Nacharbeiten umfassten den Start von verfahrensabhängigen Diensten in definierten Reihenfolgen. Sie wurden mit der vollständigen Bereitstellung der Verfahren am 9. September 2019 abgeschlossen.