Die Antwort wurde namens der Bundesregierung mit Schreiben des Bundesministeriums der Justiz und für Verbraucherschutz vom 2. Juli 2019 übermittelt. Die Drucksache enthält zusätzlich – in kleinerer Schrifttype – den Fragetext. Deutscher Bundestag Drucksache 19/11351 19. Wahlperiode 03.07.2019 Antwort der Bundesregierung auf die Kleine Anfrage der Abgeordneten Roman Müller-Böhm, Stephan Thomae, Grigorios Aggelidis, weiterer Abgeordneter und der Fraktion der FDP – Drucksache 19/10965 – Aussagen der Bundesministerin der Justiz und für Verbraucherschutz zur Algorithmenkontrolle V o r b e m e r k u n g d e r F r a g e s t e l l e r Die kürzlich zurückgetretene Bundesministerin der Justiz und für Verbraucherschutz , Dr. Katarina Barley, hat am 24. Mai 2019 zu den Forderungen der Verbraucherschutzministerkonferenz bezüglich einer Algorithmenkontrolle Stellung bezogen. Dabei betonte sie, dass das letzte Wort bei wichtigen Entscheidungen immer der Mensch haben müsse. Gleichzeitig forderte die Bundesministerin Dr. Katarina Barley eine Überprüfbarkeit bei Entscheidungen, die Computer über Menschen treffen sowie eine stärkere Regulierung des Trackings auf europäischer Ebene (www.bmjv.de/SharedDocs/Zitate/DE/2019/052419_ Algorithmen.html;jsessionid=2522E98D37E43D92C4EC3FC2A04B0A56.1_ cid334). Fraglich ist, welche konkreten Maßnahmen aus den Aussagen der Bundesministerin , insbesondere nach ihrem Rücktritt, folgen. 1. Inwiefern fühlt sich die Bundesregierung an die Aussagen und Forderungen der ehemaligen Bundesjustizministerin, Dr. Katarina Barley, hinsichtlich der Verbraucherschutzministerkonferenz (www.bmjv.de/SharedDocs/Zitate/DE/ 2019/052419_Algorithmen.html;jsessionid=2522E98D37E43D92C4EC3FC 2A04B0A56.1_cid334) auch nach ihrem Rücktritt gebunden? 2. Inwiefern stimmt die Bundesregierung den Aussagen und Forderungen der ehemaligen Bundesjustizministerin, Dr. Katarina Barley, hinsichtlich der Verbraucherschutzministerkonferenz zu? Vorabfassung - w ird durch die lektorierte Version ersetzt. Drucksache 19/11351 – 2 – Deutscher Bundestag – 19. Wahlperiode 3. Welche Maßnahmen folgen für die Bundesregierung im Allgemeinen und das Bundesministerium der Justiz und für Verbraucherschutz (BMJV) im Speziellen aus der Aussage der ehemaligen Bundesjustizministerin Dr. Katarina Barley, es brauche Transparenz und Überprüfbarkeit bei Entscheidungen , die Computer über Menschen treffen? 4. Gab oder gibt es Bestrebungen oder Vorbereitungen innerhalb der Bundesregierung im Allgemeinen und dem BMJV im Speziellen, eine Regulierung von Algorithmen hinsichtlich ihrer Transparenz, Nachvollziehbarkeit oder Überprüfbarkeit vorzunehmen? Wenn ja, welche? Die Fragen 1 bis 4 werden zusammen beantwortet. Algorithmen-basierte Entscheidungen bergen neben vorhandenen Chancen auch Risiken, etwa wenn damit die Verarbeitung von Verbraucherdaten verbunden ist und weil häufig die Anwendbarkeit eines Algorithmus die Bewertung von Persönlichkeitsmerkmalen voraussetzt sowie wenn Prognosen über das Verhalten von Verbrauchern erstellt werden. Algorithmen-basierte Entscheidungen können gesellschaftliche Ungleichheit festigen und Diskriminierungen fortschreiben, wenn in den der Entscheidung zugrunde liegenden Daten bereits Benachteiligungen angelegt sind. Hierdurch können insbesondere die Handlungsfreiheit, die Chancengleichheit und die Selbstbestimmung von Verbraucherinnen und Verbrauchern gefährdet werden. Wenn Algorithmen darüber entscheiden, welche Informationen welcher Person an welcher Stelle in sozialen Netzwerken angezeigt werden, kann dies Auswirkungen auf die Vielfalt von Informationen, den öffentlichen Diskurs und damit auf den demokratischen Willensbildungsprozess haben. Vor diesem Hintergrund prüft die Bundesregierung, welche Maßnahmen auf nationaler und europäischer Ebene erforderlich sind. Die Bundesregierung hat im Herbst 2018 eine Datenethikkommission eingesetzt, die binnen eines Jahres ethische Maßstäbe entwickeln sowie konkrete Regulierungsoptionen in den Bereichen Umgang mit Daten, Algorithmen-basierte Entscheidungen und Künstliche Intelligenz vorschlagen soll. Die Leitfragen der Bundesregierung an die Datenethikkommission können hier abgerufen werden: www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschaft/ DEK_Leitfragen.pdf?__blob=publicationFile&v=1 Die Datenethikkommission wird ihre Ergebnisse voraussichtlich am 23. Oktober 2019 der Bundesregierung vorstellen. Die Bundesregierung wird die Empfehlungen der Datenethikkommission abwarten, bevor sie ihre Prüfung möglichen gesetzgeberischen Handlungsbedarfs abschließt. Im Rahmen ihrer Überlegungen werden auch die auf internationaler Ebene formulierten Prinzipien für die Entwicklung und Anwendung von Künstlicher Intelligenz einfließen. Hierzu gehören zum Beispiel die von der Organisation for Economic Co-operation and Development (OECD) verabschiedeten Empfehlungen, die unter anderem das Erfordernis der Menschenzentriertheit und Transparenz von KI-Anwendungen betonen. Vorabfassung - w ird durch die lektorierte Version ersetzt. Deutscher Bundestag – 19. Wahlperiode – 3 – Drucksache 19/11351 5. Glaubt die Bundesregierung an die technische Umsetzbarkeit einer Überprüfung von Algorithmen? a) Falls ja, inwiefern gilt dies auch für Systeme, die „maschinelles Lernen“ betreiben? b) Falls ja, wie stellt sich die Bundesregierung eine solche Überprüfung sowohl in technischer Hinsicht als auch im Hinblick auf die behördliche Zuständigkeit vor? c) Falls nein, wie lässt sich dies mit den Aussagen der ehemaligen Bundesjustizministerin Dr. Katarina Barley vereinbaren? d) Welche Konsequenzen plant die Bundesregierung für Algorithmen, die sich (z. B. aufgrund ihres Aufbaus oder ihrer Komplexität) nicht kontrollieren lassen? Die Überprüfbarkeit von Algorithmen-basierten Entscheidungen und KI-Anwendungen ist eine wichtige Voraussetzung zum Schutz von Bürgerinnen und Bürgern . Vor diesem Hintergrund hat die Bundesregierung die Datenethikkommission auch darum gebeten, sich mit der Überprüfbarkeit von Algorithmen-basierten Entscheidungen und KI-Anwendungen zu befassen. Die Bundesregierung hat an die Datenethikkommission unter anderem folgende Leitfragen gerichtet: Wie kann Verlässlichkeit, Reproduzierbarkeit und Überprüfbarkeit von Algorithmen -basierten-Entscheidungen gewährleistet werden? Gibt es Grenzen des Einsatzes von Algorithmen-basierten Entscheidungen, wenn Einsatz und Kriterien den betroffenen Menschen nicht erklärt werden können? Sind Testmethoden möglich, die selbstlernende Algorithmen-basierte Entscheidungen überprüfbar machen? Die technische Umsetzung einer Überprüfbarkeit von Algorithmen-basierten Entscheidungen und KI-Anwendungen ist Gegenstand der wissenschaftlichen Debatte . Dabei steht gerade auch die Überprüfung von selbstlernenden Systemen im Mittelpunkt der Forschung. Diese hat inzwischen diverse Lösungsansätze entwickelt , so zum Beispiel den „Counterfactual Explanations“-Ansatz, bei dem der Input variiert wird, um herauszufinden, ab welcher Abweichung des Inputs ein anderes Ergebnis erzielt würde, oder der „Layer-wise Relevance Propagation “-Ansatz, bei dem – grob vereinfacht – ein KI-Prozess rückwärts vom Output zum Input simuliert wird, um zu ermitteln, inwieweit einzelne neuronalen Schichten für die Entscheidung relevant geworden sind. Die Datenethikkommission soll sich entsprechend der Leitfragen zudem damit befassen, wie Algorithmen-basierte Entscheidungen und KI-Anwendungen beaufsichtigt werden können. Die Bundesregierung wird die Empfehlungen der Datenethikkommission abwarten, bevor sie ihre Prüfung des möglichen Handlungsbedarfs auch in Bezug auf behördliche Zuständigkeiten abschließt. Vorabfassung - w ird durch die lektorierte Version ersetzt. Drucksache 19/11351 – 4 – Deutscher Bundestag – 19. Wahlperiode 6. Welche Maßnahmen folgen für die Bundesregierung im Allgemeinen und das BMJV im Speziellen aus der Aussage der ehemaligen Bundesjustizministerin Dr. Katarina Barley, der Mensch müsse bei wichtigen Entscheidungen immer das letzte Wort haben? a) Plant die Bundesregierung, diese Forderung gesetzlich zu statuieren? Wenn ja, wann plant die Bundesregierung die Einbringung eines entsprechenden Gesetzentwurfs in den Deutschen Bundestag? b) Welche Entscheidungen sind aus Sicht der Bundesregierung „wichtige Entscheidungen“, bei denen der Mensch das letzte Wort haben solle? Mit der Aussage, der Mensch müsse bei wichtigen Entscheidungen immer das letzte Wort haben, wird ein wesentlicher Grundwert unserer Gesellschaftsordnung zum Ausdruck gebracht. Dieser Grundwert ist mit dem grundsätzlichen Verbot der automatisierten Einzelfallentscheidung bereits in Artikel 22 DSGVO angelegt . Auch die Prinzipien der OECD zur Entwicklung und Anwendung von Künstlicher Intelligenz betonen die Bedeutung der Menschenzentriertheit von KI-Anwendungen. Zudem folgt bereits aus dem Grundgesetz, das der Mensch nicht zum bloßen Objekt von Maschinen-Entscheidungen werden darf. Im Übrigen wird auf die Antwort zu den Fragen 1 bis 4 verwiesen. 7. Inwiefern findet nach Ansicht der Bundesregierung, wie von der ehemaligen Bundesjustizministerin geäußert, eine „Manipulation des Einzelnen“ durch Algorithmen statt? a) Welche Fälle von Manipulation des Einzelnen durch Algorithmen sind der Bundesregierung bekannt? b) Welche Fälle, bei denen Algorithmen die Auswahl von Ärzten vorbestimmt haben, sind der Bundesregierung bekannt? c) Welche Fälle, bei denen Algorithmen die Jobsuche vorbestimmt haben, sind der Bundesregierung bekannt? d) Welche Fälle, bei denen Algorithmen die Partnersuche vorbestimmt haben , sind der Bundesregierung bekannt? e) Falls nein, wie lässt sich dies mit den Aussagen der Bundesministerin Dr. Katarina Barley auf der Homepage des BMJV vereinbaren? Die Möglichkeiten durch Big-Data-Analysen Prognosen über zukünftiges menschliches Verhalten zu erstellen, nehmen stetig zu. Dadurch steigt das Risiko weitreichender Vorfestlegungen und von ungerechtfertigten Benachteiligungen. Dieses Risiko ist umso problematischer, je sensibler der betroffene Lebensbereich ist, z. B. bei Entscheidungen zur privaten Lebensgestaltung oder zu gesundheitlichen oder beruflichen Fragen. Software zur Bewerberauswahl, die eine automatisierte Vorauswahl mit Hilfe von Online-Persönlichkeitstests vornimmt, kann zur Folge haben, dass Bewerberinnen und Bewerber zu einem frühen Zeitpunkt allein deswegen aus dem Bewerbungsprozess ausscheiden, weil sie bestimmte Kriterien erfüllen, die von der Algorithmen-basierten Entscheidung negativ bewertet werden, obwohl diese Kriterien keine Rückschlüsse auf die berufliche Qualifikation zulassen. Vorabfassung - w ird durch die lektorierte Version ersetzt. Deutscher Bundestag – 19. Wahlperiode – 5 – Drucksache 19/11351 8. Teilt die Bundesregierung die Auffassung der ehemaligen Bundesjustizministerin , dass das Tracking auf europäischer Ebene stärker reguliert werden müsse? a) Inwiefern hat die Bundesregierung sich bereits für eine stärkere Regulierung des Trackings auf europäischer Ebene eingesetzt? b) Inwiefern wird sich die Bundesregierung für eine stärkere Regulierung des Trackings auf europäischer Ebene einsetzen? c) Falls nein, wie lässt sich dies mit den Aussagen der Bundesministerin Dr. Katarina Barley auf der Homepage des BMJV vereinbaren? 9. Welche Maßnahmen folgen für die Bundesregierung im Allgemeinen und das BMJV im Speziellen aus der Aussage der ehemaligen Bundesjustizministerin Dr. Katarina Barley, es brauche noch konkretere Regelungen für die elektronische Kommunikation in der E-Privacy-Verordnung? a) Welchen konkreteren Regelungsbedarf sieht die Bundesregierung? b) Inwiefern hat die Bundesregierung sich bereits für konkretere Regelungen eingesetzt? c) Inwiefern wird die Bundesregierung sich für konkretere Regelungen einsetzen ? Die Fragen 8 und 9 werden wegen des Sachzusammenhangs gemeinsam beantwortet . Die Bundesregierung weist darauf hin, dass es sich beim „Tracking“ um einen rechtlich nicht definierten Begriff handelt. In der politischen Diskussion wird das Tracking eines Nutzers in Internet und digitaler Welt als die Erfassung und Speicherung des kompletten Verhaltens und der Interaktionen eines Nutzers bei Nutzung eines vernetzten Geräts oder eines Dienstes verstanden. Dies kann insbesondere die Interaktionen mit einer Webseite (z. B. Nachrichtenseite oder soziales Netzwerk), die Surfhistorie, die Kommunikation über webbasierte E-Mail- und Messengerdienste, die Verweildauer auf einer Webseite, die Art und Weise des Eintippens oder die Lesegeschwindigkeit umfassen. Bei Nutzung eines mobilen vernetzten Endgerätes können zusätzlich Informationen über den geografischen Standort und über Uhrzeit, Datum und Dauer eines Anrufs hinzukommen. Aus diesen Tracking-Daten können mittels Profiling präzise Schlussfolgerungen über eine Person gezogen werden. Die Tracking-Daten und die daraus mittels Profiling ermittelten Schlussfolgerungen sind häufig die Basis sowohl für die Erstellung von Algorithmen als auch für die profilabhängige Anwendung eines Algorithmus auf den einzelnen Nutzer. Die Erfassung und Verarbeitung von personenbezogenen Daten bei der Nutzung von vernetzten Geräten in Internet und digitaler Welt ist in der EU-Datenschutz-Grundverordnung geregelt sowie, wenn das Tracking auf der Speicherung von Informationen oder dem Zugriff auf Informationen im Endgerät eines Nutzers, z. B. mittels Cookies, basiert, in den E-Privacy-Regelungen . Nach Artikel 5 Absatz 3 der geltenden ePrivacy-Richtlinie (Richtlinie 2002/ 58/EG in der durch die Richtlinie 2009/136/EG geänderten Fassung) dürfen Geräte -Identifier wie Cookies grundsätzlich nur mit Einwilligung des Nutzers verwendet werden, es sei denn, solche Verfahren sind aus bestimmten Gründen technisch erforderlich. Artikel 8 des Entwurfs einer ePrivacy-Veordnung, über die derzeit im Rat verhandelt wird, erlaubt nach der gegenwärtigen im Rat verhandelten Fassung ohne die Einwilligung des Endnutzers nur in engen Grenzen, dass auf dessen Endeinrichtungen durch Dritte zugegriffen werden darf, um dort Informationen zu speichern und abzurufen. Die Speicherung von Informationen Vorabfassung - w ird durch die lektorierte Version ersetzt. Drucksache 19/11351 – 6 – Deutscher Bundestag – 19. Wahlperiode oder der Zugriff auf Informationen im Endgerät zum Zwecke des Tracking gehört nicht zu den Tätigkeiten, für die auf Endeinrichtungen des Endnutzers ohne dessen Einwilligung zugegriffen werden darf. Die Bundesregierung hat sich im Rat im Rahmen der laufenden Verhandlungen zur ePrivacy-Verordnung dafür eingesetzt , dass die von der Kommission vorgeschlagene Regelung des Artikels 8 nicht abgeschwächt wird. Sie setzt sich darüber hinaus dafür ein, dass eine Regelung zu den Einstellungen zum Schutz der Privatsphäre bei Internetbrowsern in die zukünftige Verordnung aufgenommen wird. Eine solche Regelung, die sicherstellen soll, dass Endnutzer ihre Privatsphäre über entsprechende Einstellungen in der Browsersoftware bewusst und wirksam schützen, war in dem ursprünglichen Vorschlag der Kommission enthalten. Die Bundesregierung hat dazu einen konkreten Vorschlag vorgelegt. Die Bestimmungen der geltenden ePrivacy-Richtlinie bzw. der zukünftigen ePrivacy-Verordnung regeln jedoch nicht die nachfolgende Verarbeitung personenbezogener Daten, die im Rahmen eines nach den E-Privacy-Regelungen zulässigen Zugriffs auf Informationen in Endeinrichtungen erhoben werden. Die Rechtmäßigkeit dieser Datenverarbeitung beurteilt sich nach der Datenschutz- Grundverordnung. Ob die Geschehnisse um das Unternehmen Cambridge Analytica , auf die die Bundesministerin der Justiz und für Verbraucherschutz in dem genannten Zitat Bezug nimmt, weitere Regelungen in der Datenschutz-Grundverordnung zum Schutz der Nutzerinnen und Nutzer von Internet und vernetzten Geräten erfordern, bedarf weiterer Prüfung, insbesondere von Regelungen zur Profilbildung und zur weiteren Stärkung der Betroffenenrechte. Die Bundesregierung weist dazu als nächsten Schritt auf den Bericht über die Bewertung und Überprüfung dieser Verordnung hin, den die Europäische Kommission bis zum 25. Mai 2020 dem Europäischen Parlament und dem Rat vorlegen muss (Artikel 97 DSGVO). Was die in der Frage angesprochenen konkreteren Regelungen in der gegenwärtig beratenen E-Privacy-Verordnung und die entsprechenden Stellungnahmen der Bundesregierung betrifft, wird auf die Antwort der Bundesregierung zu der Frage 5e der Kleinen Anfrage der Fraktion DIE LINKE. betreffend Verhandlungen über den Datenschutz in der elektronischen Kommunikation (ePrivacy-Reform ) auf Bundestagsdrucksache 19/6709 verwiesen. Auf der Tagung des Rates der EU (Telekommunikation) am 7. Juni 2019 in Luxemburg hat sich Deutschland dahingehend geäußert, dass die e-Privacy-VO ein hohes, über die DSGVO hinausreichendes Schutzniveau gewährleisten müsse. Der vorliegende Text erreiche dies nicht, weshalb Deutschland diesen nicht unterstützen könne. Änderungen seien nötig, speziell bei Artikel 6 bezüglich der „kompatiblen Weiterverarbeitung “. Außerdem setze man sich für einen Erhalt von Artikel 10 ein. DEU würde ein rasches Fortschreiten der Verhandlungen begrüßen. Vorabfassung - w ird durch die lektorierte Version ersetzt. Satz: Satzweiss.com Print, Web, Software GmbH, Mainzer Straße 116, 66121 Saarbrücken, www.satzweiss.com Druck: Printsystem GmbH, Schafwäsche 1-3, 71296 Heimsheim, www.printsystem.de Vertrieb: Bundesanzeiger Verlag GmbH, Postfach 10 05 34, 50445 Köln, Telefon (02 21) 97 66 83 40, Fax (02 21) 97 66 83 44, www.betrifft-gesetze.de ISSN 0722-8333