BÜRGERSCHAFT DER FREIEN UND HANSESTADT HAMBURG Drucksache 21/16288 21. Wahlperiode 26.02.19 Schriftliche Kleine Anfrage der Abgeordneten André Trepoll und Carsten Ovens (CDU) vom 18.02.19 und Antwort des Senats Betr.: KI und Automatisierte Entscheidungsprozesse in der öffentlichen Verwaltung – Wo entscheiden in Hamburg schon jetzt die Maschinen? Im Januar haben die Bertelsmann Stiftung und die Organisation „Algorithm Watch” eine gemeinsame Studie (vergleiche https://algorithmwatch.org/wpcontent /uploads/2019/02/Automating_Society_Report_2019.pdf) veröffentlicht , die das Fortschreiten automatisierter Entscheidungsprozesse innerhalb der EU untersucht. Gemeint sind auf Algorithmen basierende Technologien, die, anhand vorhandener Referenzdaten, autonom Entscheidungen treffen. Dabei können diese Technologien als Teilaspekt des Überbegriffs der Künstlichen Intelligenz (KI) betrachtet werden. Während sich der Senat mit dem Einstellen von sogenannten Chief Digital Officers (CDO) rühmt und stets angibt, die Entwicklung und Nutzung von KI vorantreiben zu wollen, ist in Hinblick auf den tatsächlichen Einsatz von autonomen Entscheidungsprozessen innerhalb der öffentlichen Verwaltung wenig Konkretes bekannt. Lediglich auf Nachfrage (Drs. 21/13799) benennt der Senat im letzten Jahr erstmals einige KI-Projekte der Verwaltung beziehungsweise der städtischen Unternehmen. Dabei ist völlig ungeklärt, an welcher Stelle die Nutzung solcher Technologien ihre Grenzen finden sollte und wie dies regulatorisch festzulegen ist. In Anbetracht der Tatsache, dass solche autonom entscheidenden Technologien nicht mehr bloß eine abstrakte, theoretische Idee, sondern an vielen Stellen bereits gängige Praxis sind, stellt sich die Frage, wie es um die Situation in Hamburg bestellt ist. Vor diesem Hintergrund fragen wir den Senat: Vor dem Hintergrund des verstärkten Einsatzes von KI in wirtschaftlichen Geschäftsprozessen hat die Bundesregierung in ihrer KI-Strategie die Potenziale sowie die Risiken des Einsatzes von KI auch für staatliche Aufgaben beschrieben. Im Rahmen der Beantwortung dieser Anfrage wird zwischen „automatisierten Entscheidungen “ und „autonomen Entscheidungen auf Grundlage Künstlicher Intelligenz (KI)“ unterschieden. Unter Automation werden programmierte Abläufe verstanden, die Schlüsse auf der Basis von Regeln ziehen. Automatisierte Entscheidungsprozesse in diesem Sinne werden in der deutschen Verwaltung und somit auch in Hamburg schon seit Jahren eingesetzt. Beispielsweise bearbeiten die Steuerverwaltungen Steuererklärungen mit Hilfe automatisierter Verfahren (vergleiche § 155 IV AO). So werden bei der Prüfung der Erklärungsdaten eines Steuerfalls Risikomanagementsysteme eingesetzt, die dem Bearbeiter nach vorher personell festgelegten Risikokriterien, Bearbeitungshinweise Drucksache 21/16288 Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode 2 zu Fällen in seinem Zuständigkeitsbereich geben. Werden keine Bearbeitungshinweise ausgesteuert, ist eine vollmaschinelle Erstellung eines Steuerbescheides ohne menschliches Tätigwerden möglich. Auch beim automatisierten gerichtlichen Mahnverfahren handelt sich beispielsweise um ein Verfahren mit regelbasierten Entscheidungen , bei denen eine Sachbearbeiterin oder ein Sachbearbeiter grundsätzlich erst bei der Bearbeitung etwaiger Widersprüche zum Einsatz kommt (vergleiche 689 I ZPO). Autonome und teilautonome Entscheidungen mithilfe von KI gehen über die oben beschriebene Automation hinaus. Wenn automatisierte Entscheidungen autonom erfolgen, lässt sich der Entscheidungsprozess nicht mehr nach einem vorbestimmten Regelsatz nachvollziehen, da ein solches System mit seiner Umwelt interagiert, indem es neue Informationen verarbeitet und auf ihrer Grundlage Aktionen ausführt (zum Beispiel Mustererkennungen oder laufend verbesserte Bewertungsmodelle). § 35a VwVfG zieht eine ausdrückliche rechtsstaatliche Grenze für den Einsatz von automatisierten (und somit auch autonomen) Entscheidungen. Dort, wo ein Ermessen oder Beurteilungsspielraum besteht und somit eine menschliche Beurteilung eines Sachverhalts gesetzlich erforderlich ist, kann eine Entscheidung mit Rechtswirkung nach außen nicht automatisiert erlassen werden. Das Ermessen eines Verwaltungsmitarbeiters im Verwaltungsverfahren oder eines Richters im Gerichtsverfahren ist durch KI mithin nicht ersetzbar. Der Senat begrüßt den bundesweit angestoßenen politischen Prozess hinsichtlich der Innovationspotenziale und Grenzen des Einsatzes von KI in Wirtschaft und Verwaltung und antwortet vor diesem Hintergrund wie folgt: 1. Welche Handlungsfelder definiert der Senat, in Anlehnung an die im Dezember 2018 von der Bundesregierung vorgestellten „Nationalen Strategie für Künstliche Intelligenz“ (KI-Strategie) (vergleiche https://www.ki-strategie-deutschland.de/home.html?file=files/ downloads/Nationale_KI-Strategie.pdf), für die Weiterentwicklung des Einsatzes von KI in Hamburg? a. An welchen Stellen kommt dem Einsatz von algorithmengesteuerten Technologien dabei eine zentrale Bedeutung zu? Der Senat prüft derzeit gemeinsam mit den Fachbehörden die zwölf Handlungsfelder der KI-Strategie der Bundesregierung in Hinblick auf die Weiterentwicklung des Einsatzes von KI in Hamburg. Ein besonderes Augenmerk kommt bei dieser Prüfung unter anderem dem Einsatz von KI in der Wirtschaft und Wissenschaft zu (insbesondere Technologietransfer). Im Übrigen siehe Vorbemerkung. b. Wie haben sich die in Drs. 21/13799 genannten Projekte bislang entwickelt? Bitte je Projekt angeben. Zu den in Drs. 21/13799 zu Fragen 5. und 6. benannten Kooperationsprojekten zwischen Hamburger Hochschulen, Forschungseinrichtungen und der Hamburger Wirtschaft können folgende Sachstände genannt werden: Universität Hamburg (UHH) Projektname Projektpartner Entwicklung DFG-Transregio (TRR-169) „Crossmodales Lernen: Adaptivität, Prädiktion und Interaktion“ Projektpartner: Universität Hamburg, Universitätsklinikum Hamburg- Eppendorf (UKE) sowie folgende Partner in Peking : Tsinghua University , Chinese Academy of Sciences, Peking University , Beijing Normal University. Der Transregio entwickelt sich planmäßig. Die erste Förderphase endet in 2019, die Beantragung der zweiten Förderphase läuft. „Cross-Modal Learning“, gefördert durch die Landes- Universität Hamburg, Universitätsklinikum Das Projekt wurde erfolgreich im Dezember 2017 Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode Drucksache 21/16288 3 Projektname Projektpartner Entwicklung forschungsförderung Hamburg Hamburg-Eppendorf abgeschlossen. „neurodapt!“ gefördert durch die Landesforschungsförderung Hamburg Universität Hamburg, Universitätsklinikum Hamburg-Eppendorf, Max-Planck- Gesellschaft zur Förderung der Wissenschaften e.V., Universität Lübeck, Klinikum Eilbek, Helmut Schmidt- Universität Universität der Bundeswehr Das Projekt der Landesexzellenzinitiative wurde Ende 2013 erfolgreich abgeschlossen. Das Zentrum „Systemische Neurowissenschaften “ am UKE führt das Projekt seitdem als Graduiertenschule „neurodapt!“ fort. "iPlanB - Interactive Big- Data-Analysis for Construction Site Planning" Universität Hamburg und der Work Place Solution GmbH Das Projekt verläuft planmäßig . ahoi.digital- Forschungsprojekt "Forum 4.0: Maschinelle Analyse, Aggregation und Visualisierung von Nutzerkommentaren “ Universität Hamburg, Technische Universität Hamburg und HAW Das Projekt verläuft planmäßig . ahoi.digital- Forschungsprojekt „Adaptive crossmodale Sensordatenerfassung " Universität Hamburg, Technische Universität Hamburg Das Projekt verläuft planmäßig . Anwendung von KI Techniken bei Thorax-Röntgen- Aufnahmen Universitätsklinikum Hamburg-Eppendorf (UKE), Firma Phillips Erste Ergebnisse zeigen, dass maschinelle Lernverfahren Auffälligkeiten in aufgenommenen Bildern detektieren können und so die Befundung der Bilder erleichtert wird. In der Zukunft soll das medizinische Expertenwissen in KI-basierten Assistenzsystemen gebündelt werden, so dass es rund um die Uhr in der Klinik verfügbar ist. Verbundprojekt „MALEKA – maschinelle Lernverfahren für die kardiovaskuläre Bildgebung “ Firma Philips, Innovations - und Förderbank Hamburg (IFB) Das Projekt befindet sich noch in der Datenerhebungsphase . Das Projekt Digitale Speicherstadt der Fakultät Design, Medien und Information der Hochschule für Angewandte Wissenschaften Hamburg (HAW Hamburg) ist abgeschlossen und über eine App im App Store abrufbar: https://williamlindley.eu/. Hinsichtlich der Kooperation der HAW mit der Miniatur Wunderland Hamburg GmbH zum autonomen Fahren (mit Methoden der Künstlichen Intelligenz) wurde ein studentisches Projekt vor Kurzem erfolgreich abgeschlossen. Bezüglich der Kooperation der HAW mit der Miniatur Wunderland Hamburg GmbH zu Intelligenter Sensorik (mit Methoden der Künstlichen Intelligenz) konnten Vorgespräche geführt, die Problemstellung weiterentwickelt sowie Sensoren und KI-Verfahren identifiziert und getestet werden . Das Kooperationsprojekt mit der Miniatur Wunderland Hamburg GmbH und der TUHH zur autonomen Steuerung von Modellschiffen (mit Methoden der Künstlichen Intelligenz) ist nach Aufbau des Schiffes aufgenommen worden. Drucksache 21/16288 Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode 4 Das Deutsche Elektronen-Synchrotron (DESY) hat sich zusammen mit sieben Kooperationspartnern erfolgreich um die Förderung von „Data Science in Hamburg – Helmholtz Graduate School for the Structure of Matter“ (DASHH) beworben. Der DASHH- Graduiertenschule stehen ab dem 1. April 2019 für sechs Jahre jeweils 2 Millionen Euro pro Jahr zur Verfügung. Die erste Ausschreibung von Promotionsprojekten wurde veröffentlicht. Über die Förderprogramme „Programm für Innovation (PROFI)“ und „InnoRampUp“ der IFB sind folgende Sachstände zu konkreten Kooperationsprojekte im Bereich der Künstlichen Intelligenz bekannt: Nr. Förderprogramm Bezeichnung der Maßnahme Beschreibung Sachstand 1 PROFI Transfer Plus Interaktive Big-Data- Analysen für die Planung von Baumaßnahmen Projekt in Kooperation mit Hochschule Erfolgreicher Projektabschluss in 2018. Projektergebnisse werden verwertet. 2 PROFI Transfer Plus ARGUS - Wirkungsbasiertes Cyber Security System für den Mittelstand Projekt konnte nicht erfolgreich abgeschossen werden, da der Industriepartner den Geschäftsbereich Cyber Security geschlossen hat. 3 PROFI Transfer Plus MALEKA - Maschinelle Lernverfahren für die kardiovaskuläre Bildgebung Laufend – plangemäß . 4 PROFI Standard DeepLearning MS – „Lernbasierte Lösung zur vollautomatischen Bestimmung der Läsionsaktivität auf MRT-Bildern von Patienten mit multipler Sklerose für die klinische Versorgung“ Laufend – plangemäß . 5 PROFI Standard Projekt CAI - Collective Audit Intelligence Erfolgreicher Projektabschluss in 2018. Projektergebnisse werden verwertet. 6 InnoRampUp Intelligente Informationstechnologie & personalisierte Datenanalyse: Online Hotelbuchungsportal Erfolgreicher Projektabschluss in 2015. Projektergebnisse wurden verwertet. 7 InnoRampUp Installation einer Basisarchitektur zur Integration von Datenerfassung und -analyse Erfolgreicher Projektabschluss in 2018. Projektergebnisse wurden verwertet. 8 InnoRampUp Digitalisierung der Informationsprozesse in der Industrie mit Augmented Reality Aus der Hochschule ausgegründet Laufend – plangemäß . Zu den in Drs. 21/13799 genannten Projekten ist folgender Sachstand bekannt: Im Bereich der digitalen Verwaltung kann durch den Einsatz Künstlicher Intelligenz in Gestalt von Machine Learning die Akzeptanz der elektronischen Akte gesteigert und Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode Drucksache 21/16288 5 die Dokumentation des Verwaltungshandelns deutlich verbessert werden. In einem Proof of Concept wurde dieser Ansatz erfolgreich belegt. Dabei wurden auf Basis des Volltexts von Akteninhalten ausgewählte beschreibende Metadaten mit einer Treffergenauigkeit zwischen 60 und 90 Prozent zugeordnet. Es wird davon ausgegangen, dass diese durch ein weiteres Trainieren des Systems noch gesteigert werden kann. Aktuell werden die Erkenntnisse mit einigen Fachbehörden vertieft und ein Umsetzungsprojekt für die Freie und Hansestadt Hamburg vorbereitet. Der 115-Bot der die Beauskunftung des telefonischen HamburgServices unterstützen soll, läuft seit dem 10.01.2019 auf hamburg.de im „stillen“ Testbetrieb. Die öffentliche Bekanntgabe durch eine entsprechende Pressemitteilung ist in Vorbereitung. Im Rahmen länderübergreifender Themenkreise und Projekte der Landesjustizverwaltungen wird weiterhin zu konkreten fachlichen und technischen Fragestellungen evaluiert , inwieweit sich der aktuelle Stand der KI-Entwicklung eignet, um einen tatsächlichen Nutzen in den Arbeitsabläufen bei den Gerichten und Staatsanwaltschaften zu erzielen. Beispielsweise wird untersucht, inwieweit eine geeignete Extraktion von Metadaten bei eingehendem Schriftverkehr möglich ist, um zum Beispiel Aktenzeichen oder andere relevante Daten eindeutig zu identifizieren, sodass deren manuelle Erfassung entfallen könnte. Im Rahmen der eCulture Agenda 2020 der Behörde für Kultur und Medien wurde 2016/2017 gemeinsam mit dem FOKUS – Fraunhofer-Institut für offene Kommunikationssysteme Berlin ein Pilotprojekt zur automatisierten Bilderkennung und deren Verschlagwortung (Autotagging) mit Metadaten sowie einer semantischen Analyse gescannter Texte konzipiert. Die Überlegungen, inwieweit die beschriebenen Technologien weiter erprobt oder eingesetzt werden können, sind noch nicht abgeschlossen. Die Umsetzung des Vorprojektes der Behörde für Umwelt und Energie sowie der Behörde für Stadtentwicklung und Wohnen zum Einsatz von Methoden des Maschinellen Lernens zur Automatisierung von Verwaltungsdiensten hat sich weiter konkretisiert und soll am Beispiel der Auswertung von Bürgerbriefen erprobt werden. Hierbei soll auch auf Erfahrungen des Projektes DiPlanung der Behörde für Stadtentwicklung und Wohnen zurückgegriffen werde. HAMBURG WASSER hat im Jahr 2016 ein lernfähiges System zur Belüftungssteuerung auf dem Klärwerk Dradenau erprobt. Das Belüftungssystem kann mittels eines neuronalen Netzes gesteuert werden. Weitere Einsatzmöglichkeiten werden erprobt. HAMBURG ENERGIE erprobt selbstlernende Systeme zur Erhöhung der Energieeffizienz in der Energieproduktion und -versorgung. So werden beispielweise Energiebedarfsprognosen durch KI unterstützt und der Einsatz von Erzeugungsanlagen wird mit der Zielstellung eines emissionsarmen Betriebes optimiert. Seit dem 1. Januar 2019 befinden sich die ersten Kunden von HAMBURG ENERGIE in der strommarktoptimierten Belieferung. Für Entwicklungen innerhalb der KI-Thematik befindet sich Gasnetz Hamburg weiterhin in der Eruierung als Teil der Konzeptphase. Es wurden im Zuge dessen noch keine konkreten Anwendungen der Technologie identifiziert. Die Stadtreinigung Hamburg nutzt für ihre „Sauber-App“ (Menü „Müllecke fotografieren und melden“) eine lernende Bilderkennungssoftware. Das Verfahren ist aus einer Pilotphase in die Produktion übergegangen. Von den 60 bei der Stadtreinigung Hamburg klassifizierten Problemarten auf den mit der SRH-APP erstellten Fotos werden aktuell zehn über IBM Watson klassifiziert. Hier liegt die Erkennungsrate bei circa 80 Prozent. Die Erkennung wird kontinuierlich durch Training verbessert und weitere Problemarten werden kontinuierlich hinzugefügt. Im Projekt Digitale Bauleitplanung wird bis Ende 2019 das Topic Modell der Wissensdatenbank , das Grundlage für die semantischen Suchfunktionen ist (Flexion und sinngleiche Worte), weiter optimiert. Über verschiedene Heuristiken und Algorithmen und Feedback-Mechanismen soll zudem der bestehende Scoring-Mechanismus für Suchergebnisse weiterentwickelt werden. Die teilautomatisierte Unterstützung des Abwägungsprozesses in der Bauleitplanung durch den digitalen Wissensassistenten soll so weiterentwickelt werden, dass das Tool auch in anderen Beteiligungskontexten (Projekt DiPas) eingesetzt werden kann. Ziel dabei ist die automatisierte Aufteilung Drucksache 21/16288 Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode 6 von Stellungnahmen in ihre einzelnen Argumente sowie die Bereitstellung entsprechender Textbausteine für die Abwägung. Die weiterhin vorgesehene Entwicklung eines Schwärzungstools zur automatisierten Erkennung personenbezogener Daten in Dokumenten stellt eine weitere generell zu nutzende Funktion unter Einsatz von KI- Methoden dar. Im LGV ist die externe Untersuchung der Möglichkeit des Einsatzes von KI in der Grundstückswertermittlung abgeschlossen. Der Abschlussbericht wird im Rahmen eines Workshops Anfang März vorgestellt. Dann wird ebenfalls darüber entschieden, ob und gegebenenfalls in welcher Weise KI zur Anwendung kommen könnte. Der Test von Chat-Bot-Technologien zum Recherchieren, Auffinden und Downloaden von Daten in Zusammenhang mit der „Urban Data Plattform Hamburg“ ist noch nicht abgeschlossen. Die Beauftragung der Erstellung eines Prototyps zur Evaluierung der Einsatzmöglichkeiten ist in Vorbereitung. Beim Projekt Follow-the-Greens am Flughafen Hamburg wurde die erste Realisierungsstufe des Systems mit dem Hersteller spezifiziert und befindet sich derzeit in der Realisierung bis Mitte des Jahres 2019. Begleitende Maßnahmen wurden begonnen oder bereits umgesetzt. Das Projekt zur Entwicklung einer neuen Software Im Bereich der Disposition immobiler Ressourcen (Flugzeugpositionen, Gates, Check-In-Counter und Gepäckbänder) befindet sich seit Januar des Jahres 2019 in Umsetzung. Der aktuelle Aufbau eines Data Warehouse beziehungsweise einer Business Intelligence Plattform sieht mittelfristig eine Verprobung von „lernenden“ Algorithmen zu Prognosezwecken vor. Seit dem Jahr 2017 verfügt der Flughafen Hamburg über einen Facebook -Chatbot, der sich in stetiger Weiterentwicklung befindet, um zu jeder Tageszeit schnell und aktuell Informationen zu Flügen und dem Flughafen geben zu können. 2. Welche konkreten Schlüsse und Handlungsempfehlungen leitet der Senat aus der KI-Strategie der Bundesregierung ab? Siehe Antwort zu Frage 1. a. 3. Wie bewertet der Senat die Ergebnisse, Empfehlungen und den zugrunde liegenden Erarbeitungsprozess der KI-Strategie? Der Erarbeitungsprozess der KI-Strategie lag in der Zuständigkeit der Bundesregierung und wird durch den Senat nicht bewertet. Die Ergebnisse und Empfehlungen der KI-Strategie eröffnen ein breites und somit begrüßenswertes Spektrum an möglichen KI-Aktivitäten auch für Hamburg. Konkrete Rahmenbedingungen und Strukturen, die in der KI-Strategie bisher nicht festgelegt sind, müssen gemeinsam mit den Bundesbehörden im Einzelfall erörtert werden. 4. In Drs. 21/13799 verweist der Senat bei der Frage nach einer lokalen KI- Strategie auf sein Konzeptpapier „Digitale Stadt“, welches jedoch das Thema KI nicht unmittelbar thematisiert oder gar Perspektiven aufzeigt. Ist der Senat mittlerweile der Ansicht, dass eine lokale KI-Strategie auch für Hamburg erarbeitet werden sollte? Wenn nein, warum nicht? Wenn ja, gibt es bereits konkrete Pläne dazu, wie diese aussehen kann? Die Prüfungen sind noch nicht abgeschlossen. 5. Inwieweit ist sich der Senat darüber im Klaren, ob und in welcher Form automatisierte Entscheidungsprozesse in der öffentlichen Verwaltung zuträglich sind beziehungsweise in der Zukunft zuträglich eingesetzt werden können? Automatisierte Entscheidungsprozesse im Sinne des § 35a VwVfG werden in der öffentlichen Verwaltung schon seit Jahren zuträglich eingesetzt (siehe Vorbemerkung ). Die Senatskanzlei hat im Oktober 2018 gemeinsam mit dem Rechtsstandort Hamburg e.V. und dem Hans-Bredow-Institut für Medienforschung ein hochrangiges Rechts-Kolloquium zu KI in der öffentlichen Verwaltung durchgeführt (www.ki-undverwaltung .de). Auffassung der bundesweit anerkannten Experten hierbei war, dass Bürgerschaft der Freien und Hansestadt Hamburg – 21. Wahlperiode Drucksache 21/16288 7 eine technische, ethische und rechtliche Prüfung zukünftiger Anwendungsszenarien im jeweiligen Einzelfall erfolgen müsse. 6. Inwiefern berücksichtigt der Senat bei der Implementierung algorithmisierter Entscheidungsprozesse ethische Fragen? Welche Themen stehen hier für den Senat im Mittelpunkt? Der Senat berücksichtigt ethische Fragen sowie rechtsstaatliche Vorgaben. Die genaue Ausgestaltung muss in jeweiligen Einzelfall erarbeitet werden. Neben zwingenden gesetzlichen Vorgaben sind die leitenden Wertentscheidungen des Grundgesetzes auch auf diesem Feld Richtschnur. 7. An welchen Stellen werden, auf der Basis von Algorithmen innerhalb Hamburger Behörden, Landesbetriebe oder sonstiger stadteigener Institutionen beziehungsweise solcher, an denen die Stadt beteiligt ist, bereits autonome oder teilautonome Entscheidungen getroffen? Bitte jeweils einzeln, nach Art der zur Anwendung kommenden Technologie, Einsatzort innerhalb der jeweiligen Stelle und zu treffender Entscheidung , ausweisen. Auf Basis von regelbasierten Algorithmen wird in der deutschen Verwaltung bereits seit vielen Jahren in geeigneten Fällen automatisiert entschieden (siehe Vorbemerkung ). Autonome und teilautonome Entscheidungen mit unmittelbarer Rechtswirkung, in denen ein Algorithmus eigenständige, nicht vorprogrammierte Entscheidungen trifft, werden durch die Hamburger Behörden, Landesbetriebe und stadteigenen Institutionen hingegen nicht getroffen.