Drucksache 18 / 21 142 Schriftliche Anfrage 18. Wahlperiode Schriftliche Anfrage des Abgeordneten Bernd Schlömer (FDP) vom 25. September 2019 (Eingang beim Abgeordnetenhaus am 30. September 2019) zum Thema: Kennzeichnungspflicht von Social Bots und Antwort vom 15. Oktober 2019 (Eingang beim Abgeordnetenhaus am 18. Okt. 2019) Die Drucksachen des Abgeordnetenhauses sind bei der Kulturbuch-Verlag GmbH zu beziehen. Hausanschrift: Sprosserweg 3, 12351 Berlin-Buckow · Postanschrift: Postfach 47 04 49, 12313 Berlin, Telefon: 6 61 84 84; Telefax: 6 61 78 28. Der Regierende Bürgermeister von Berlin - Senatskanzlei - Herrn Abgeordneten Bernd Schlömer (FDP) ----------------------------------------------------------------- über den Präsidenten des Abgeordnetenhauses von Berlin über Senatskanzlei – GSen – A n t w o r t auf die Schriftliche Anfrage Nr. 18 / 21142 vom 25. September 2019 über Kennzeichnungspflicht von Social Bots ----------------------------------------------------------------------------------------------------------------- Im Namen des Senats von Berlin beantworte ich Ihre Schriftliche Anfrage wie folgt: 1. Was versteht der Senat unter dem Begriff “Social Bot” und wie grenzt er diesen zu “Bot” und “Chat-Bot” ab? Zu 1.: Es gibt keine Legaldefinition des Begriffs Social Bot. Die Medienanstalt Berlin-Brandenburg (mabb) versteht unter einem Bot im Zusammenhang mit sozialen Medien einen maschinell gesteuerten Account, der automatisiert Aufgaben erfüllt. Social bzw. Chat Bots sind dabei spezielle Bots, die kommunikative Funktionen erfüllen, d.h. sie beantworten automatisiert Anfragen von Nutzenden. Chat und Social Bots können folgendermaßen abgegrenzt werden: Chat Bots übernehmen die direkte Kommunikation mit den Nutzenden insbesondere zu Service-Zwecken. Social Bots imitieren dagegen das Kommunikationsverhalten von Personen und können ganze Accounts automatisch mit Inhalten füllen und mit anderen Accounts und deren Inhalten interagieren. Im aktuell von den Ländern erarbeiteten Entwurf eines Medienstaatsvertrages wird auf eine Legaldefinition des Begriffs „Social Bot“ verzichtet. Die im Staatsvertrag festzulegende Kennzeichnungspflicht ist für „mittels eines Computerprogramms automatisiert erstellten Inhalten oder Mitteilungen“ in sozialen Netzwerken vorgesehen. Die Berliner Verwaltung betreibt auf dem Service-Portal Berlin (service.berlin.de) einen Chatbot („Bobbi“), der allgemeine Anfragen der Bürgerinnen und Bürger zu den Verwaltungsleistungen und zu den Verwaltungsstandorten, wie Anschriften, Öffnungszeiten etc. im Dialog beantwortet. Dieser Chatbot wurde auf der Grundlage einer Kooperationsvereinbarung, die das ITDZ Berlin mit der TU Berlin abgeschlossen hat und die um eine dreiseitige Kooperationsvereinbarung um die SenInnDS erweitert wurde, von der TU Berlin (DAI-Labor) entwickelt und betrieben. Der Entwicklung des Chatbots lag die bewusste Entscheidung zugrunde, von der Verwendung von marktgängiger Basissoftware, sog. Frameworks, großer Konzerne (wie Amazon, Google, Facebook) abzusehen und vorrangig Open-Source-Softwareprodukte einzusetzen. Nach Interpretation der Senatsverwaltung für Inneres handelt es sich bei dem Chatbot der Berliner Verwaltung nicht um einen Social Bot. 2. Welche Erkenntnisse hat der Senat über “Social Bots” und auf welche Studien/Forschungsergebnisse etc. beruhen diese Erkenntnisse? Kann der Senat konkrete Accounts von einem “Social Bot” benennen? Zu 2.: Aktuell wird eine Studie an der TU München von Prof. Simon Hegelich im Auftrag der mabb, der Landesanstalt für Medien NRW, der Bayerische Landeszentrale für neue Medien und der Landeszentrale für Medien und Kommunikation Rheinland-Pfalz fertiggestellt. Der schriftliche Bericht steht noch aus. Im Fokus der Studie stand der Einsatz von politischer Onlinewerbung bei Facebook, Google und Twitter während der Europawahlen 2019. Auch Social Bots werden thematisiert. Mittlerweile liegt zudem eine umfangreiche internationale Forschung zum Vorkommen und zur Funktionsweise von Social Bots (vgl. z.B. Hegelich & Janetzko, D. 2016: Are Social Bots on Twitter Political Actors? Empirical Evidence from a Ukrainian Social Botnet. AAAI Publications, Tenth International AAAI Conference on Web and Social Media; Muhle, F. et al. 2018: Socialbots in politischen Online-Konversationen. Eine (überschätzte) Gefahr für demokratische Willensbildung im Internet? Zeitschrift für Parlamentsfragen (49:3), S. 618-638; Shao, C. et al. 2018: The spread of low-credibility content by social bots. Nature Communications (2018:9); Abokhodair, N. et al. 2016: Dissecting a Social Botnet: Growth, Content and Influence in Twitter. Presented at the ACM conference on Computer-Supported Cooperative Work and Social Computing; Serrano, J.C.M. et al. 2019: The Rise of Germany’s AfD: A Social Media Analysis. Proceedings of the 10th International Conference on Social Media and Society, S. 214- 223) mit folgenden Einschränkungen vor: Die Studien fokussieren auf einzelne kommunikative Anlässe wie z.B. die US- Präsidentschaftswahlen 2016, Brexit oder die Ukraine-Krise und können schwer auf alle mögliche kommunikative Situationen in sozialen Netzwerken übertragen werden. Die Forschung bezieht sich vor allem auf Twitter-Kommunikation wegen der Vorteile beim Datenzugriff. Dadurch kann nur ein Bruchteil der Kommunikation tatsächlich analysiert werden (Stier, S. & Jungherr, A., in Erscheinung: Digitale Verhaltensdaten und Methoden der Computational Social Science in der politischen Kommunikationsforschung. In: Hofmann, J. et al. (Hrsg.): Politik in der digitalen Gesellschaft: Zentrale Problemfelder und Forschungsperspektiven, Bielefeld). Einen Schwerpunkt der Forschung bildet die Frage, wie man Social Bots identifizieren kann. Auffälligkeiten in den Informationen über den Account selbst, in der Art, wie er mit anderen Accounts kommuniziert oder im Verhalten des Accounts ergeben Verdachtsmomente, die helfen, Social Bots zu erkennen (Ferrara, E. 2018: Measuring Social Spam and the Effect of Bots on Information Diffusion in Social Media. In: S. Lehmann, Y.-Y. Ahn (Hrsg.), Complex Spreading Phenomena in Social Systems, Wiesbaden). Für Deutschland existieren aktuell nur einige wenige Studien, u.a. eine Untersuchung von Tobias Keller und Ulrike Klinger über Social Bots bei den Bundestagswahlen 2017 (Keller, T. & Klinger, U. 2018: Social Bots in Election Campaigns: Theoretical, Empirical, and Methodological Implications. Political Communication, 36:1, S. 171- 189), die Studien von Simon Hegelich und seinem Team (Serrano et al. 2019, Hegelich, S. 2018: Social media im Wahlkampf. Die digitale Revolution der Meinungsbildung. Hanns-Seidel-Stiftung e.V., München) sowie von Tervor Davis und Kollegen (Davis, T. et al. 2019: Suspicious Election Campaign Activity on Facebook. Institute for Data, Democracy, and Polititcs 1/1). Es besteht weiterhin Forschungsbedarf. Es sind bislang keine Accounts bekannt, die mit den Accounts des Senats interagieren und sich auf dieser Grundlage einem „Social Bot“ zuordnen lassen. 3. Auf welchen Plattformen sind “Social Bots” nach Kenntnissen des Senats aktiv? Hat der Senat Kenntnisse über die Anzahl von “Social Bots”? Wenn ja, bitte die (ungefähre) Anzahl der “Social Bots” pro Plattform aufschlüsseln. Zu 3.: Die Forschung liefert mittlerweile gute Schätzungen für den Anteil an automatisierten Accounts vor allem auf Twitter. Hier werden Anteile im Umfang von 9 bis 15 Prozent angenommen. Aber auch deutlich niedrigere Schätzungen sind je nach Verfahren der Identifikation zu finden (Santia, G. et al. 2019: Detecting Social Bots on Facebook in an Information Veracity Context. Proceedings of the Thirteenth International AAAI Conference on Web and Social Media, S. 463-472). Während Simon Hegelich davon ausgeht, dass die durch Social Bots erzeugte Kommunikation zu deutscher Politik noch gering sei (Hegelich 2018), stellen Keller und Klinger (2018) eine deutliche Zunahme des Social Bots-Anteils an allen Twitter-Posts während der Bundestagswahlen 2017 im Vergleich zu der Zeit davor fest (von 7 auf 10 Prozent). Über Facebook liegen nur wenige Studienergebnisse vor, die kein Gesamtbild ergeben. So finden Davis et al. (2019) Tausende verdächtige Accounts, die die Positionen und Themen der AfD verbreiten und unterstützen, während Schuhard et al. (2019) nur 0,3 Prozent der Nutzenden als Bots identifizieren. Auch Santia und Kollegen berichten von einem sehr kleinen Anteil an automatisierten Accounts (0,06 Prozent), die jedoch außergewöhnlich aktiv sind (Santia et al. 2019). Genauere Schätzungen sind vor allem durch die schwierige Datenlage kaum zu erstellen. 4. Welche Erkenntnisse hat der Senat über die Auswirkungen von Social Bots auf die Meinungsbildung der Bevölkerung? Auf welche Studien/Forschungsergebnisse beruhen diese Erkenntnisse? Zu 4.: Auch wenn die Forschung nur bedingt valide Erkennungsverfahren entwickelt hat und auch nur für Twitter das Vorkommen von Social Bots quantifizieren kann, so gibt es erste Erkenntnisse zur Funktionsweise und Wirkung von Social Bots auf die Meinungsbildung: Alle gesichteten Studien berichten davon, dass die meisten Social Bots untypisch aktiv sind – eine Eigenschaft, die wiederum als Erkennungsmerkmal dient. Der Anteil an durch Socials Bots verbreiteten Nachrichten liegt daher deutlich über dem Anteil der automatisierten Accounts selbst an allen erfassten Nutzeraccounts (Schuhard et al 2019). Social Bots gehören nicht nur zu den aktivsten Accounts, sondern sie scheinen auch besonders zentrale und einflussreiche Stellen in der Kommunikation der Nutzer einzunehmen (vgl. dazu Santia et al. 2019). Social Bots werden momentan im Wesentlichen dafür eingesetzt, Diskussionen inhaltlich zu verzerren, die Wichtigkeit von Themen oder die Popularität von Personen und Produkten künstlich zu überhöhen. Gerade auf Twitter werden Social Bots benutzt, um Trends zu verändern (Hegelich 2018). Indem Sie die Sichtbarkeit und Relevanz von Themen und Akteuren manipulieren, verzerren sie insbesondere zu Wahlkampfzeiten die Wahrnehmung von Mehrheitsverhältnissen (u.a. Keller & Klinger 2018). Auch wenn Social Bots erfolgreiche Agenda-Setter sind, sind sie anscheinend nicht besonders gut in der direkten Kommunikation mit Menschen. Vertiefende Analysen weisen darauf hin, dass Social Bots sich nur rudimentär an Online- Konversationen beteiligen und dadurch wahrscheinlich nicht in der Lage sind, direkt politische Meinungen oder Stimmungen zu manipulieren (Muhle et al. 2018). „Wenn Politik und Medien sich aber zunehmend daran orientieren, was in den sozialen Medien im Allgemeinen sowie auf Twitter im Besonderen kommuniziert wird, besteht die Gefahr, dass Socialbots … auf indirektem Wege Einfluss auf politische Debatten und Entscheidungsprozesse nehmen.“ (ebd.) Social Bots sind vor allem sehr einflussreich in der Verbreitung von Falschnachrichten: Zu Beginn der Verbreitung unterstützen sie die Desinformation aktiv und im Verlauf verstärken sie deren Sichtbarkeit. Auch werden Social Bots eingesetzt, um von anderen Themen abzulenken bzw. um die Aufmerksamkeit des Publikums zu zerstreuen (sog. Smoke Screening) (vgl. dazu z.B. Shao et al. 2018 und Abokhodair et al. 2015). Zusammenfassend lässt sich feststellen, dass Social Bots zur Veränderung der politischen Debattenkultur im Internet beitragen und insbesondere durch die massenweise Verbreitung von Falschnachrichten zu einer Desinformation und „Klimavergiftung“ im öffentlichen Diskurs führen können. Insoweit bergen Social Bots das Potenzial, das Vertrauen in die Demokratie zu unterlaufen. Auch wenn Social Bots wohl keine Einzelmeinungen und Stimmungen ändern können, so können sie gesellschaftliche Themenwahrnehmungen manipulieren, Desinformation verbreiten und den demokratischen Diskurs behindern. 5. Das Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB) kommt zu folgender Erkenntnis “Eine Kennzeichnungspflicht von Bots erscheint zum jetzigen Zeitpunkt u. a. aufgrund der Schwierigkeiten bei der zuverlässigen Detektion von Bots, mangelnder Sanktionierungsmöglichkeiten sowie von Konflikten mit dem Datenschutz eher ungeeignet.” 1Wie bewertet der Senat diese Schlussfolgerung? Zu Frage 5.: Zum einen haben sich Unternehmen wie Google, Facebook und Twitter – unabhängig vom geplanten Medienstaatsvertrag – bereits im Jahr 2018 mit Selbstverpflichtungserklärungen im Rahmen des Aktionsplans zur Bekämpfung von Desinformation der Europäischen Kommission dazu verpflichtet, Bots zu kennzeichnen. Eine Kennzeichnung kann daher auch aus Sicht der Unternehmen nicht völlig ungeeignet sein. Zum anderen wurde die Einführung einer Kennzeichnungspflicht für Social Bots auch von Verbänden und Organisationen als notwendig erachtet, um eine Gefährdung durch den Einfluss von Social Bots auf die Meinungsbildung zu begrenzen. Ebenso hatte die Herbstkonferenz der Justizministerinnen und Justizminister der Länder am 9. November 2017 den Abschlussbericht der Länderarbeitsgruppe „Social Bots“ zur Kenntnis genommen und die Einführung einer Kennzeichnungspflicht gefordert. Gemäß dem Bericht sei der nicht gekennzeichnete Einsatz von Social Bots in sozialen Netzwerken mit Identitätstäuschungen und Multiplikationseffekten verbunden, die mit dem Grundsatz kommunikativer Chancengleichheit nicht zu vereinbaren seien. Die im Entwurf des Medienstaatsvertrages vorgesehene Kennzeichnungspflicht ist gegenüber einem Verbot als milderes Mittel erachtet worden. Den Nutzenden sozialer Netzwerke wird durch die Kennzeichnung von „mittels eines Computerprogramms automatisiert erstellten Inhalten oder Mitteilungen“ in sozialen Netzwerken die Möglichkeit gegeben, selbst den Wert und die Bedeutung derartiger Beiträge im öffentlichen Meinungskampf einzuschätzen, sich so eine informierte Meinung zu bilden und diese in den sozialen Netzwerken zur Diskussion zu stellen. Es wurde berücksichtigt, dass die Erkennung von Social Bots in der Praxis eine Herausforderung darstellt. Die Erkennungstechniken für Social Bots werden jedoch laufend verbessert, so dass dies kein Grund ist, von der Regelung im geplanten Medienstaatsvertrag abzusehen. 6. Das TAB kommt zudem zu dem Schluss, dass Jugendliche und Erwachsene in ihrer Medienkompetenz gestärkt werden sollten. Was tut der Senat konkret, um diese beiden Zielgruppen durch Manipulationen durch Bots jeglicher Art entgegen zu wirken? Wenn aktuell keine Maßnahmen bestehen, sind hier Programme oder Fördermaßnahmen in den Jahren 2020 und 2021 geplant? Zu Frage 6.: An Schulen finden vielfältige medienpädagogische Angebote statt, die Kinder und Jugendliche auch über die Gefahren digitaler Kommunikation aufklären und ihnen Hilfsangebote zeigen. In den allgemeinbildenden Schulen erfolgt im Rahmen der Entwicklung vom schulinternen Curricula die Umsetzung des Rahmenlehrplanes und damit auch des Basiscurriculum Medienbildung (BC Medienbildung) eigenverantwortlich. Das Portal 1 https://www.tab-beim-bundestag.de/de/pdf/publikationen/tab-fokus/TAB-Fokus-016.pdf "RLP-Online" bietet ein erweitertes Angebot zum Rahmenlehrplan für die Jahrgangsstufen 1-10 Berlin Brandenburg. Für das BC Medienbildung sind Angebote zu Unterrichtsmaterialien zur Medienbildung, wie „Internet-ABC“, „Klicksafe“, „DigiBitS“ und „Medien in die Schule“, hinterlegt. Die Senatsverwaltung für Bildung, Jugend und Familie informiert Schulen unter anderem in Fachbriefen und auf Tagungen zu medienpädagogischen Angeboten, wie z. B. zur EU-Initiative für mehr Sicherheit im Netz: klicksafe.de, die für den Schwerpunkt „Gefahren der digitalen Kommunikation“ Materialien für den Unterricht bereitstellt Viele berufliche Schulen nutzen das bundesweite Angebot „Deutschland sicher im Netz“ (Bundesministerium des Innern, für Bau und Heimat) Umfangreiche Lehrmaterialien und Online-Tests zu den Themengebieten: „E-Mail Sicherheit im betrieblichen Kontext“ „Datensicherung und Notfallplanung“ „Mobile Endgeräte im betrieblichen Kontext“ „Social Media im betrieblichen Kontext“ finden sich unter https://www.dsin-berufsschulen.de. Bezüglich der Förderung der Zusammenarbeit der außerschulischen und schulischen Medienbildungsarbeit ist das Projekt „Medienbildung für Gute Schule“ zu nennen. Seit 2018 werden in diesem Berliner Förderprogramm unter Verantwortung von SenBJF mit den Regionenverbünden der Regionalen Fortbildung Berlin und den bezirklichen Medienkompetenzzentren Bedarfe und Handlungsoptionen für vielfältige mediale Angebote für Jugendliche und Lehrkräfte abgestimmt und umgesetzt. Ziel des Förderprogramms ist die nachhaltige Gestaltung von Bildungspartnerschaften, um eine zeitgemäße, an der Lebenswelt der Kinder und Jugendlichen orientierte Medienbildung zu ermöglichen. Des Weiteren findet zurzeit im Rahmen des JOBSTARTER-plus-Projektes „Digitale Ausbildungskompetenzen für das Handwerk“ eine Workshopreihe „Einführung in die IT-Sicherheit für Lehrkräfte von Berufsschulen und betrieblichen Ausbilder/-innen“ statt. Die regionale Fortbildung der beruflichen Schulen und Oberstufenzentren bietet außerdem zur Qualifizierung der Lehrkräfte verschiedene Fortbildungen wie z.B. zu den Themen „Cybermobbing“, „Soziale Netzwerke“, „Datenschutz“ und „Onlinesucht“ an. 7. Ebenso kommt das TAB zu der Erkenntnis, dass auch Journalistinnen und Journalisten als Multiplikatoren eine besondere Bedeutung bei der Einordnung und Bewertung der Relevanz von Inhalten in sozialen Netzwerken zukommt. Unterstützt – und wenn ja, wie – der Senat Journalistinnen und Journalisten oder deren Vereinigungen bei der Fortbildung bezüglich Desinformation und Manipulation im Netz? Wenn nein, sind hier Programme oder Fördermaßnahmen geplant? Zu 7.: Der Senat erachtet eine kritische und freie Medien- und Presselandschaft als eine Grundvoraussetzung für Demokratie. Die Pressefreiheit ist daher ein hohes Gut. Angesichts der Gefährdungen durch die zunehmende Verbreitung von Falschmeldungen, durch Diffamierung seriöser journalistischer Arbeit oder durch tätliche Angriffe auf Medienschaffende tritt der Senat entschlossen für Meinungsfreiheit und für eine freie Presse genauso wie für die Freiheit der Wissenschaften und der Künste ein. Deshalb hat der Senat unter anderem Programme aufgelegt zur Unterstützung von Wissenschaftlerinnen und Wissenschaftlern, Kulturschaffenden sowie Journalistinnen und Journalisten, die etwa aufgrund politischer Verfolgung in ihren Heimatländern ihrem Beruf nicht nachgehen können. Unter der Schirmherrschaft des Regierenden Bürgermeisters von Berlin Michael Müller und mit finanzieller Unterstützung der Senatskanzlei fand Anfang 2019 eine internationale Konferenz zu investigativem Journalismus in Berlin statt. Der Regierende Bürgermeister hielt zudem ein Grußwort bei der Verleihung der „Press Freedom Awards“, um die wichtige Arbeit dieser Organisation hervorzuheben. 8. Hat der Senat sich technisch bezüglich einer Umsetzung der Kennzeichnungspflicht beraten lassen? Wenn ja, von wem? Hat der Senat Kenntnis über eine technische Beratung/Anhörung von Sachverständigen zu dieser Thematik während der Arbeit der Rundfunkkommission? Wenn ja, von wem? Wenn nein, warum erfolgte diese nicht? Zu Frage 8.: Es ist üblich, Entwurfsfassungen von Rundfunkstaatsverträgen zur Anhörung zu stellen, um allen interessierten Kreisen Gelegenheit zur Stellungnahme zu bieten. Der vorliegende Entwurf des Medienstaatsvertrages hat aufgrund seines Regelungsgegenstands gerade auch in Bezug auf Intermediäre und Plattformen eine große Aufmerksamkeit erfahren. Es wurden schriftliche und mündliche Anhörungen zum gesamten Staatsvertragsentwurf sowie Fachgespräche zu Einzelthemen durchgeführt. Das Thema Kennzeichnungspflicht von Social Bots wurde z.B. bei einem Fachgespräch im März 2018 mit Experten insbesondere aus der Wissenschaft erörtert. Im aktuellen Entwurf des Medienstaatsvertrags wurden die Ergebnisse der Anhörungen und Fachgespräche berücksichtigt, Textpassagen wurden entsprechend überarbeitet. Berlin, den 15. Oktober 2019 Der Regierende Bürgermeister In Vertretung D r. F r a n k N ä g e l e Staatssekretär für den Chef der Senatskanzlei