Wenn Maschinen Menschen bewerten

Kriminalitätsprognosen, Kreditvergabe, Bewerber-auswahl: Algorithmische Systeme beeinflussen heute auf unterschiedlichen Gebieten die Leben vieler Menschen. Und sie können großen Einfluss auf deren Teilhabechancen haben. Damit maschinelle Ent-scheidungen den Menschen dienen, braucht es gesellschaftliche Gestaltung, zum Beispiel in Form von Gütekriterien für algorithmische Prognosen. 

Handlungsbedarf besteht nicht allein auf der technischen Ebene (s. Tabelle 1). Das Arbeitspapier zeigt anhand vieler Fallstudien, dass alle Ebenen des sozioinformatischen Prozesses teilhaberelevant sind – angefangen bei der Auswahl von Daten und der Messbarmachung von Konzepten bis hin zur sachgerechten Anwendung, der Falsifizierbarkeit von Prognosen und ihrer umfassenden Evaluation und Überprüfbarkeit. 

Für die Bertelsmann-Stiftung haben dazu Anita Klingel und Konrad Lischka ein Arbeitspapier erstellt, das die AKADEMIE hier vorstellt. Die im nachfolgenden Vorwort des Arbeitspapiers genannten Literaturverweise finden Sie im Original und den Link zu dessem Download am Ende des Beitrages:1

Bis zu 70 Prozent der Stellenbewerber in Großbritannien und den Vereinigten Staaten werden zuerst von automatisierten algorithmischen Verfahren bewertet, bevor ein Mensch ihre Unterlagen sieht (Weber und Dwoskin 2014). Gerichte in neun US-Bundesstaaten nutzen in Strafverfahren Software, die Risikoprognosen für die Angeklagten berechnet (Angwin et al. 2016: 2). Automatisierte Prognosen zur Kreditwürdigkeit werden in den Vereinigten Staaten auch genutzt, um die Höhe von Versicherungspolicen zu bestimmen. Das FBI gleicht Bildmaterial von Straftätern automatisiert mit 411 Millionen Bildern aus Führerschein-, Pass- und Visadaten ab, um mögliche Ver- dächtige zu identifizieren.

Diese vier Beispiele zeigen: Menschen werden heute in vielen Lebensbereichen von Prozessen algorithmischer Entscheidungsfindung bewertet, sogenanntem „algorithmic decision making“ (ADM) (Zweig 2016). Solche ADM-Prozesse sind seit Jahren im Einsatz und kategorisieren Menschen ohne große Debatte über Fairness, Erklärbarkeit, Überprüfbarkeit oder Korrigierbarkeit der Verfahren. Das kann daran liegen, dass die Systeme wenig mit den künstlichen Intelligenzen (KI) aus der Science-Fiction verbindet. Menschen assoziieren mit KI oft Eigenschaften fiktionaler Figuren wie HAL 9000 oder Wintermute: Intentionalität und Bewusstsein. Solche starken KI existieren aber bislang nur in Literatur und Film. Nichts davon zeichnet die Systeme aus, die wir in dieser Fallsammlung vorstellen. Und doch haben sie bereits erheblichen Einfluss vor Gericht, bei der Vergabe von Krediten und Studienplätzen, dem Einsatz von Polizeikräften, der Berechnung von Versicherungstarifen und der Aufmerksamkeit, die Anrufer in einer Kundendienst-Hotline erfahren. Es sind allesamt auf bestimmte Probleme spezialisierte Programme, die das Leben vieler Menschen beeinflussen. Es geht nicht um Science-Fiction, sondern um die Gegenwart (Lischka 2015).

Die in diesem Arbeitspapier aufbereiteten Fallbeispiele zeigen Chancen und Risiken solcher Prozesse. Chancen wie diese: Mustererkennung kann dabei helfen, das Risiko von Bleivergiftungen bei Kindern abhängig vom Wohnort vorherzusagen (siehe Kapitel 2.3 Prognose drohender Bleivergiftungen) oder Hotspots für bestimmte Delikte zu prognostizieren (zum Beispiel Wohnungseinbrüche, siehe Kapitel 2.8 ortsbezogene Kriminalitätsprognosen). Ein künstliches neuronales Netz rechnet anhand von Satellitenfotos die regionale Verteilung von Armut in Entwicklungsländern fast genauso gut hoch wie erheblich teurere Umfragen vor Ort. Diese Ergebnisse könnten dazu genutzt werden, Armut zielgerichtet dort zu bekämpfen, wo Not und folglich die Wirkung von Hilfsmaßnahmen am größten sind (siehe Kapitel 2.4 Armutsverteilung vorhersagen).

Um diese Chancen für mehr Teilhabe zu nutzen, müssen Prozesse algorithmischer Entscheidungsfindung bei der Planung, Gestaltung und Umsetzung klar auf dieses Ziel ausgerichtet werden. Wenn dies nicht geschieht, kann der Einsatz dieser Werkzeuge aber auch ohne Weiteres zu mehr sozialer Ungleichheit führen. Die in den ausgewählten Fallbeispielen erkennbaren Risiken und Fehlentwicklungen zeigen Fehlerquellen auf, die bei vielen ADM- Prozessen auftreten können. Nicht selten sind bei einzelnen Anwendungsszenarien mehrere dieser Mängel zu beobachten. Wir heben in diesem Arbeitspapier dennoch an jedem Fallbeispiel einen typischen Handlungsbedarf besonders hervor, der bei der künftigen Gestaltung von ADM-Prozessen für mehr Teilhabe beachtet werden sollte.

Die hier beschriebenen Fallbeispiele sind ein Mittel, um an konkreten, zum Teil evaluierten ADM-Prozessen Chancen und Risiken herauszuarbeiten und zu abstrahieren. Dieses Dokument spiegelt einen ersten Zwischenstand unserer Auseinandersetzung mit dem Thema wider. Wir veröffentlichen es als Arbeitspapier, um einen Beitrag zu einem sich schnell entwickelnden Feld zu geben, auf dem auch andere aufbauen können. Daher veröffentlichen wir das Arbeitspapier unter einer freien Lizenz (CC BY-SA 3.0 DE), damit es beispielsweise auch als Diskussions- grundlage für Workshops oder andere Auseinandersetzungen mit der Materie genutzt werden kann. Algorithmische Entscheidungsfindung wird nur dem Wohl der Gesellschaft dienen, wenn sie diskutiert, kritisiert und korrigiert wird. Es ist Zeit für diesen Diskurs in Deutschland. Wir haben jetzt die Chance, von internationalen Beispielen und Erfahrungen zu lernen und eine Entwicklung zu gestalten, die insbesondere in den Vereinigten Staaten schon deutlich weiter ist: Dort hat das Weiße Haus noch unter Präsident Barack Obama einen Bericht zu den Herausforderungen durch maschinelle Entscheidungen vorgelegt (Executive Office of the President, National Science and Technology Council und Committee on Technology 2016). In Deutschland sind ADM-Prozesse noch nicht so präsent. Deutsche Gerichte nutzen keine ADM-Risikoprognosen. Erst 60 der 1.000 größten Unternehmen hierzulande haben 2016 computergesteuerte Verfahren zur Bewerberauswahl verwendet (Eckhardt et al. 2016: 8). Und automatisierte Gesichtserkennung ist in Deutschland nur an sieben Flughäfen in das Grenzkontrollsystem EasyPASS eingebunden (Bundespolizei 2015).

Noch können wir also bestimmen, wie wir als Gesellschaft Algorithmen einsetzen wollen. Wie die Initiative Algorithmwatch es formuliert: „Wir müssen entscheiden, wie viel unserer Freiheit wir an ADM übertragen wollen“ (Algorithmwatch 2016). Dabei sollten wir dabei nicht nur das Wie, sondern an einigen Stellen auch das Ob diskutieren: Wo die Gesellschaft sich zum Beispiel für Solidarität und Vergemeinschaftung von Risiken entschieden hat, dürfen ADM-Prozesse diese Risiken nicht individualisieren. Nicht das technisch Mögliche, sondern das gesell- schaftlich Sinnvolle muss Leitbild sein – damit maschinelle Entscheidungen den Menschen dienen.
Ralph Müller-Eiselt
Senior Expert Taskforce Digitalisierung Bertelsmann Stiftung

Konrad Lischka
Project Manager Taskforce Digitalisierung Bertelsmann Stiftung