Wie Algorithmen verständlich werden

Download des Papiers als PDF

In der US-amerikanischen Stadt Boston musste die Schulbehörde ein Projekt zur Umgestaltung der Schulbusrouten und Unterrichtszeiten wieder beenden nachdem es von Seiten der Eltern zu großen Protesten gekommen war. Ein Team des Massachusetts Institute of Technology (MIT) hatte den Auftrag bekommen, mithilfe von Algorithmen ein neues System zu entwickeln, das eine bessere Auslastung der Busse, kürzere Fahrzeiten, weniger CO2-Emissionen, Anpassungen in den Unterrichtszeiten, insbesondere einen späteren Schulbeginn für ältere Schüler und früheres Unterrichtsende für die jüngeren sowie insgesamt eine gerechtere Verteilung der Abfahrtzeiten zwischen privilegierten und ärmeren Schulbezirken versprach. Obwohl sich die Stadt während des Projekts stets darum bemühte, die Öffentlichkeit auf dem Laufenden zu halten, waren die Familien von den durch das algorithmische Entscheidungssystem erzeugten Veränderungen vollkommen überrascht. Es kam zu Demonstrationen und eine Petition wurde gestartet, um das neue System abzuwenden.

Das Beispiel unterstreicht, dass es für die gesellschaftliche Akzeptanz von algorithmischen Entscheidungssystemen (Algorithmic Decision Making, ADM) äußerst wichtig sein kann, ihren Einsatz und ihre Funktionsweise auch für diejenigen transparent und nachvollziehbar zu machen, die von ihnen betroffen sind. Sicher gibt es Anwendungsbereiche, in denen Algorithmen auch ohne größere Aufklärung bedenkenlos zum Einsatz kommen können, wie etwa Navigation oder Spracherkennung. Und gewiss sind Transparenz und Nachvollziehbarkeit kein Allheilmittel, das die Einhaltung ethischer Standards bei der Verwendung von ADM garantiert oder eine Kontrolle durch Expert:innen ersetzt.  Doch wenn algorithmische Systeme über die Verteilung von Lebenschancen entscheiden, muss es für Betroffene ersichtlich sein, wo Algorithmen eingreifen und welchen Einfluss sie mitunter auf das eigene Leben haben können. Das ist Grundbedingung für einen gemeinwohlorientierten Einsatz von ADM und der Fokus des vorliegenden Papiers.

Forderungen nach Transparenz und Nachvollziehbarkeit bestimmen längst die politische Debatte über ADM in Deutschland sowie auf europäischer und internationaler Ebene. So legen etwa die im April 2019 vorgestellten Ethik-Leitlinien für vertrauenswürdige Künstliche Intelligenz (KI) der Hochrangigen Expertengruppe der Europäischen Kommission fest, dass (End-)Nutzer über den Einsatz von KI informiert werden müssen. Auch die KI-Strategie der Bundesregierung benennt „transparente Verfahren und Nachvollziehbarkeit für Bürgerinnen und Bürger“ als eine Voraussetzung für den Erfolg von KI. Das im Oktober 2019 vorgestellte Gutachten der Datenethikkommission identifiziert konkrete Anforderungen an die Transparenz und Nachvollziehbarkeit für Betroffene. Und auch in verschiedenen rechtlichen Bestimmungen und Gesetzesvorhaben schlagen sich Transparenzforderungen bereits nieder. Nicht nur aus der im Mai 2018 in Kraft getretenen Datenschutzgrundverordnung (DSGVO) ergeben sich bestimmte Informationspflichten. Die im Frühjahr 2019 beschlossene EU-Richtlinie zur Reform des europäischen Verbraucherschutzes sieht z. B. Informationen über Preispersonalisierung und Produktrankings vor, während im Entwurf des Digital Service Act u. a. Transparenzanforderungen für Algorithmen in der Content Moderation geplant sind.  In Deutschland sieht der aktuelle Entwurf des neuen Medienstaatsvertrags für Nutzer eine höhere Transparenz der Funktionsweise von Algorithmen in sozialen Netzwerken vor.

Dennoch bleiben die Forderungen und Bestimmungen oftmals abstrakt. Das vorliegende Papier möchte zur Vertiefung der Debatte beitragen, indem es die Begriffe „Transparenz“ und „Nachvollziehbarkeit“ weiter konkretisiert. Dazu wirft es auch einen Blick in drei verschiedene Anwendungsbereiche von algorithmischer Entscheidungsfindung, die für unser gesellschaftliches Zusammenleben zentral sind: öffentliche Sicherheit/Polizeiarbeit, Personalwesen/Recruiting und Gesundheit. Wie kann Nachvollziehbarkeit hier für Bürger:innen, Bewerber:innen und Patient:innen hergestellt werden? Ziel ist es, das Thema Transparenz und Nachvollziehbarkeit an praktischen Beispielen zu erörtern und damit greifbarer zu machen.

Die Autorin bedankt sich beim Team Ethik der Algorithmen der Bertelsmann Stiftung, insbesondere bei Carla Hustedt für Kommentare, Feedback und die gemeinsame Konzipierung der Graphiken sowie bei Viktoria Grzymek für die Unterstützung bei der Erstellung der Graphiken. Ein großer Dank geht auch an das Team der Stiftung Neue Verantwortung, insbesondere an Maria Jacob, Johanna Famulok und Sebastian Rieger.