BÜRGERSCHAFT DER FREIEN UND HANSESTADT HAMBURG Drucksache 21/5323 21. Wahlperiode 26.07.16 Schriftliche Kleine Anfrage der Abgeordneten Jennyfer Dutschke und Michael Kruse (FDP) vom 18.07.16 und Antwort des Senats Betr.: Ausfall der IP-Telefonie der Freien und Hansestadt Hamburg (FHH) Zum wiederholten Male sind in der vergangenen und auch zu Beginn dieser Woche zahlreiche Dienststellen der FHH an mehreren Tagen über jeweils mehrere Stunden telefonisch nicht erreichbar gewesen beziehungsweise konnten ihrerseits niemanden anrufen, da die neuen Next-Generation- Network(NGN)-IP-Telefone der Stadt ausgefallen waren. Medienberichten zufolge lag dies an einem Fehler im Firewall-Server.1 Ein Fehler in den „Firewalls“ beziehungsweise – bezogen auf die Funktionalität IP-Telefonie – sogenannten Session Border Controllern (SBC) war bereits in der vergangenen Legislaturperiode Auslöser eines großflächigen Ausfalls der Telefonanlagen und daraufhin Thema Schriftlicher Kleiner Anfragen sowie im Unterausschuss IuK-Technik und Verwaltungsmodernisierung (UA IuK).2 In dessen Sitzung am 12.06.2014 wurde durch Vertreter von Senat und Dataport erklärt, dass durch Schaffung zusätzlicher Redundanzen ein erneuter Ausfall der SBC hinreichend unwahrscheinlich geworden sei. Vor diesem Hintergrund fragen wir den Senat: 1. Welche Dienststellen und jeweils etwa wie viele Endgeräte waren beziehungsweise sind von dem eingangs geschilderten Ausfall jeweils von wann bis wann betroffen? (Bitte einzeln auflisten.) Von der Störung waren vorübergehend bis zu 6.000 Telefone des Amtsgerichts Hamburg -Bergedorf, des Amtsgerichts Hamburg St. Georg, des Staatsarchivs, des Zentrums für Aus- und Fortbildung, der Bezirksämter Bergedorf, Harburg und Hamburg- Nord, der Behörde für Umwelt und Energie, der Behörde für Stadtentwicklung und Wohnen, der Bürgerschaftskanzlei, der Eichdirektion-Nord, der Finanzämter Altona, Barmbek-Uhlenhorst, Bergedorf und Oberalster, der Norddeutsche Akademie für Finanzen und Steuerrecht Hamburg, der f & w fördern und wohnen AöR, der KZ- Gedenkstätte Neuengamme, der HafenCity Universität Hamburg, der Hamburger Gesellschaft für Vermögens- und Beteiligungsmanagement mbH, des Landesbetriebs für Immobilienmanagement und Grundvermögen, der Justizvollzugsanstalten Billwerder , Fuhlsbüttel, Glasmoor und Hahnöfersand, des Landesbetriebs Verkehr, des Landesbetriebs Geoinformation und Vermessung, des Landesbetriebs Hamburgische Münze, des Hamburgischen Oberverwaltungsgerichts, des Planetariums, der Polizeidienststellen , des Landesbetriebs RathausService, der Senatskanzlei, der Sozialthe- 1 Vergleiche http://www.abendblatt.de/hamburg/article207833261/Server-Fehler-legt-Tausende- Behoerdentelefone-lahm.html beziehungsweise http://www.abendblatt.de/hamburg/ article207841341/Telefone-in-Hamburgs-Behoerden-und-Aemtern-immer-noch-gestoert.html. 2 Vergleiche Drs. 20/10773 und Ausschussprotolle Nummern 20/7 und 20/8 des UA IuK. Drucksache 21/5323 Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode 2 rapeutischen Anstalt Hamburg, des Statistikamts Nord, des Telefonischen Hamburg- Service, der Technischen Universität Hamburg-Harburg, der Untersuchungshaftanstalt , des Universitätskrankenhauses Hamburg-Eppendorf, des Landesamts für Verfassungsschutz , der Hamburger Volkshochschule und der hsh portfoliomanagement AöR betroffen. Die Störung wurde am 13. Juli 2016 um 9.15 Uhr festgestellt. Die Systeme waren am 14. Juli 2016 ab circa 13.30 Uhr wieder verfügbar für die Polizei, die Senatskanzlei, den Landesbetrieb Rathaus-Service, die Bürgerschaftskanzlei, den Telefonischen HamburgService, die drei Bezirksämter und die vier Justizvollzugsanstalten . Am 15. Juli 2016 standen die Systeme ab circa 14.00 Uhr für alle Bereiche wieder uneingeschränkt zur Verfügung. Am 18. Juli 2016 um 10.15 Uhr kam es zu einer erneuten Überlastsituation, die um 12.30 Uhr behoben war. Betroffen waren hiervon die Polizei, die Senatskanzlei, der Landesbetrieb RathausService, die Bürgerschaftskanzlei , die oben genannten Bezirksämter und Justizvollzugsanstalten. 2. Was waren Ursache und Auslöser des Ausfalls? Die Fehlerursache ist noch nicht abschließend geklärt. 3. Wann wurden die Ausfälle der letzten Woche zuerst durch wen beziehungsweise welche Dienststelle bemerkt? Durch Dataport AöR (Dataport) beziehungsweise die betroffenen Dienststellen. Um Übrigen siehe Antwort zu 1. 4. Wann wurden diese Ausfälle zuerst an Dataport gemeldet? Mit welcher Dringlichkeit und welcher Priorität wurde diese erste Störungsmeldung durch Dataport eingestuft? Jeweils wann wurde diese Dringlichkeit und Priorität gegebenenfalls weiter hochgestuft? 5. Wann wurde durch Dataport mit der Problembehebung begonnen? Die Fehlerbehebung erfolgte sofort mit höchster Priorität. Im Übrigen siehe Antwort zu 1. 6. Wann wurde durch wen entschieden, Spezialisten des Komponentenherstellers Oracle einzufliegen und wann trafen diese ein? Welche Kosten waren beziehungsweise sind hiermit verbunden und wer trägt diese? Der Vertragspartner Unify wurde von Dataport umgehend am 13. Juli 2016 um 9.15 Uhr eingebunden und beteiligte sich zusammen mit der Firma ORACLE Deutschland B.V. & Co. KG über Fernwartung unmittelbar an der Fehleranalyse und -behebung. Eine Prüfung der Hardwarekomponenten vor Ort erfolgt seit dem 18. Juli 2016. Die Arbeiten werden im Rahmen des bestehenden Supportvertrages erbracht und führen zu keinen zusätzlichen Kosten für Dataport beziehungsweise die Freie und Hansestadt Hamburg. 7. Welche Parallelen bestehen zu dem Vorfall im Februar 2014? Inwieweit hängt auch der aktuelle Vorfall mit der Installation neuer Software oder eines Updates auf die SBC zusammen? Keine. a. Wurde eine solche Software-Installation beziehungsweise ein Update über eine Fernwartungsfunktion der SBC vorgenommen? b. Wann und durch wen wurde im Rahmen einer solchen Installation beziehungsweise eines solchen Updates – gegebenenfalls auch physisch vor Ort – auf die SBC zugegriffen? Nein. Im Übrigen: entfällt. 8. Warum konnte ein Systemfehler, der den Medienberichten zufolge in einem der SBC lag, zu einem derart großflächigen und langwierigen Ausfall führen, obgleich nach dem Vorfall 2014 extra eine Erweiterung Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode Drucksache 21/5323 3 der Redundanz in der System-Architektur, auch und gerade hinsichtlich der SBC, vorgenommen wurde3? Nach den Störungen im Jahr 2014 wurde das Netz in Cluster segmentiert und die Redundanz erhöht, sodass der Fehler nicht zu einem Gesamtausfall, sondern zu einer Störung von maximal 10 Prozent der Endgeräte geführt hat. 9. Wie viele SBC sind aus welchen Gründen jeweils wann und wie lange zusammengebrochen? Inwieweit resultierte der jeweilige Zusammenbruch dabei durch einen unangekündigten oder gar unautorisierten Zugriff von außen? Ein Session Border Controlling (SBC) ist nicht ausgefallen. Es hat keine unangekündigten oder unautorisierten Zugriffe von außen gegeben. 10. Inwieweit wurde bei der Problembehebung wie 2014 beispielsweise durch „Überbrücken“ (Bypassing) der SBC jeweils wie lange gegen welche Sicherheitsstandards verstoßen? Es hat keinen Verstoß gegen Sicherheitsstandards gegeben. 11. Wie häufig ist es in den Jahren 2015 und 2016 in jeweils welchen Dienststellen zu jeweils wie vielen sonstigen Ausfällen der NGN-Telefonanlagen gekommen und etwa wie viele Endgeräte waren davon jeweils betroffen? a. Wie lange dauerten diese Ausfälle jeweils? b. Was waren jeweils Ursache und Auslöser des Ausfalls? Im genannten Zeitraum hat es keine generellen Ausfälle der Telefoninfrastruktur gegeben. Im Übrigen siehe Anlage. Die Anzahl der jeweils betroffenen Telefone wird nicht gesondert dokumentiert und kann nachträglich nicht erhoben werden. 12. Wurde durch die oben genannten Ausfälle und/oder den großen Ausfall der NGN-Telefonanlagen im Juli 2016 von Dataport gegen ein Service Level Agreement (SLA) mit der FHH verstoßen? Wenn ja, in welchem Umfang und mit welchen Konsequenzen? Nein. 13. In welchem Umfang wurde 2014 oder später durch die FHH oder Dataport von wem Schadenersatz oder anderweitige Kompensation für einen Ausfall der NGN-Anlagen verlangt? Ist es in dieser Sache zu einem Rechtsstreit gekommen? Wenn ja, wann wurde dieser mit welchem Ausgang entschieden? Es lagen keine Schäden vor, die Grundlage von Schadenersatzansprüchen hätten sein können. Die Abnahme der von der Firma Unify gelieferten Komponenten beziehungsweise Leistungen erfolgte im Oktober 2010. Laut Vertrag wären Ansprüche innerhalb von 24 Monaten nach Abnahme geltend zu machen gewesen. 14. Wurde der 2014 von Dataport vorgelegte Vorschlag zur weiteren Verbesserung der Ausfallsicherheit durch Schaffung eines zusätzlichen physischen Netzes nach dem 12.06.2014 noch einmal in der zuständigen Behörde thematisiert3? Wenn ja, zu welchen Anlässen jeweils wann und mit welchen Ergebnissen ? Ja. Der Vorschlag wurde im Juni 2014 geprüft und nach Abwägung der Kosten und relativ geringen Nutzenerwartungen nicht weiter verfolgt. 3 Vergleiche Protokoll Nummer 20/8 des UA IuK. Drucksache 21/5323 Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode 4 Anlage Kurzbeschreibung Lösung Datum Statistikamt Nord: Rufnummer kann vom Innenministerium Schleswig-Holstein aus nicht erreicht werden Fehler und Entstörung durch den Anrufer bei seinem Anbieter 29.04.2015 Statistikamt Nord: Rufnummer kann vom Innenministerium Schleswig-Holstein aus nicht erreicht werden Serverkommunikationsprobleme beim Provider Telefonica4 29.04.2015 Landesbetrieb Straßen, Brücken und Gewässer: Nummernkreis 42826 von extern nicht erreichbar Serverkommunikationsprobleme beim Provider Telefonica 17.06.2015 In Einzelfällen: Webseite zur Steuerung von Telefonfunktionen wie Anrufbeantworter und Rufumleitung lässt sich nicht aufrufen Neustart des betroffenen Servers 21.09.2015 Nummernkreis 040 428 26 - externe Anrufe kommen nicht an Serverkommunikationsprobleme beim Provider Telefonica 21.09.2015 Verwaltungsbereiche der Allgemeinbildenden Schulen: Webseite zur Steuerung von Telefonfunktionen wie Anrufbeantworter und Rufumleitung nicht erreichbar Fehlende, nicht beauftragte Freischaltung von Rechnern auf die Webseite 24.09.2015 Statistikamt Nord: keine externe Telefonie möglich Defekt einer zentralen Kompo-nente beim Provider Telefonica 27.01.2016 Staatsanwaltschaft Standort Kaiser-Wilhelm-Str. 100: Keine Netzwerkverbindung/Telefonie ausgefallen Stromunterbrechung am Kundenstandort 22.03.2016 In Einzelfällen: Webseite zur Steuerung von Telefonfunktionen wie Anrufbeantworter und Rufumleitung nicht erreichbar Fehlende, nicht beauftragte Freischaltung von Rechnern auf die Webseite 06.04.2016 In Einzelfällen: Störung der Anrufbeantworterfunktion - Nachricht abhören über Telefon nicht möglich Softwareupdate des betroffenen Servers 07.04.2016 In Einzelfällen: Anrufbeantworter kann nicht besprochen werden von extern/Ansage wird nicht abgespielt Anpassung der Software durch Hersteller notwendig 07.04.2016 Providerstörung Telefonica: Rufnummern werden teilweise nicht erreicht Datenbank-Problem beim Provider Telefonica 27.04.2016 4 Die Weiterleitung von Gesprächen nach extern (außerhalb der FHH) und von extern erfolgt über den Provider (Vertragspartner) Telefonica.