Das war ich nicht! – Wer ist verantwortlich für KI-gestützte Entscheidungen?

Autor*in:
Prof. Dr.
Eva
Schmidt

Anna nimmt ihrem kleinen Bruder sein Spielzeug weg und er fängt an zu schreien. Der Vater kommt ins Zimmer und erfasst die Situation sofort. „Anna, du darfst deinem Bruder nicht sein Spielzeug wegnehmen!“ sagt er vorwurfsvoll, „Entschuldige dich bei ihm!“ Daraufhin gibt Anna das Spielzeug zurück und entschuldigt sich widerwillig.

2018 räumen die Unternehmen Volkswagen und Audi ihre Verantwortung wegen Aufsichtspflichtverletzung im Abgasskandal ein und zahlen hohe Strafen im Zusammenhang mit ihrer Manipulation von Abgaswerten.

Diese Beispiele illustrieren die Relevanz von Verantwortungszuschreibungen in privaten wie in öffentlichen Kontexten. Es ist wichtig für uns, dass Personen für ihre Handlungen Verantwortung und gegebenenfalls Konsequenzen tragen. Wir machen einander Vorwürfe für Fehlverhalten und erwarten von anderen Schuldeingeständnisse und Wiedergutmachung, wenn sie etwas falsch gemacht haben. Nur – was wird aus dieser Praxis, wenn nicht Menschen, sondern KI-Systeme Entscheidungen treffen?

Das Problem der Verantwortungslücke

Stellen wir uns die Personalabteilung eines großen Unternehmens vor, das seine Bewerbungsverfahren vollständig automatisiert hat. Ein autonomes KI-Recruitment-System erhält alle Informationen aus den Bewerbungen eines bestimmten Verfahrens. Es sortiert dann selbständig ungeeignete Bewerbungen aus. Nehmen wir an, dass das System auf der Basis bestimmter Gruppenmerkmale – zum Beispiel Hautfarbe und Geschlecht – eine Person zu Unrecht als ungeeignet für die ausgeschriebene Position klassifiziert und ihre Bewerbung aussortiert. Das Recruitment-System weist folglich einen Bias auf (ist also voreingenommen) und diskriminiert dadurch etwa eine Schwarze Bewerberin.

Auch Menschen sind manchmal gegenüber Mitgliedern bestimmter gesellschaftlicher Gruppen voreingenommen – Personaler*innen hätten die Schwarze Bewerberin vielleicht ebenfalls aufgrund von Vorurteilen nicht in die engere Wahl gezogen. Es gibt jedoch einen großen Unterschied: Wenn ein*e Personaler*in die Bewerberin diskriminiert, dann trägt diese*r dafür offensichtlich die Verantwortung. Wir können der Person Vorwürfe machen oder vielleicht sogar juristisch gegen diese oder das Unternehmen vorgehen. Aber wen trifft die Schuld, wenn das vollautomatisierte Recruitment-System die Bewerberin diskriminiert? In der philosophischen Debatte über Verantwortungslücken wird argumentiert, dass in manchen Fällen dieser Art niemand mehr die Verantwortung trägt. Es gibt ja keine Person, der die diskriminierende Entscheidung fällt. Also muss und kann auch niemand für sie geradestehen.

Indirekte Verantwortung

Aber halt! Ist nicht offensichtlich das Unternehmen verantwortlich, das das diskriminierende System für die Personalauswahl verwendet? Alternativ: Müssen nicht die Entwickler*innen des Systems die Verantwortung tragen, da sie es so schlecht konstruiert haben, dass es Menschen diskriminiert?

In manchen Fällen kann man sicherlich Verantwortungslücken so schließen. Betreiber*innen oder Entwickler*innen eines Systems sind zwar nicht direkt für die diskriminierende Entscheidung verantwortlich, aber doch zumindest indirekt. Denn sie sind dafür verantwortlich, ein diskriminierendes KI-System eingesetzt beziehungsweise entwickelt zu haben.

Das Problem der vielen Hände

Leider kann diese Argumentationskette nicht immer funktionieren. Einige Fälle werfen ein „Problem der vielen Hände“ auf: In komplexen Situationen mit vielen Beteiligten lässt sich oft gar kein*e Verantwortliche*r für ein schlechtes Resultat finden. Denn es gibt zu viele beteiligte Parteien, als dass man feststellen könnte, wer wirklich die Schuld trägt. Ein möglicher Grund dafür: Es war für die Beteiligten möglicherweise aufgrund der komplexen Gesamtlage nicht vorhersehbar, dass ihre jeweilige Handlung zu einem schlechten Resultat beitragen würde.

Im Fall des vollautomatisierten Recruitment-Systems haben wir viele Beteiligte und eine komplexe Gesamtlage. So ist es möglich, dass die Entwickler*innen des Systems alles getan haben, um Bias auszuschließen, zum Beispiel indem sie das System auf diskriminierende Entscheidungen hin getestet (und keine gefunden) haben. Vielleicht betreibt das Unternehmen das System, weil es von einer vertrauenswürdigen und unabhängigen Organisation als diskriminierungsfrei zertifiziert wurde. Trotz dieser Vorkehrungen kann ein Bias vorliegen, der aber nur in seltenen Situationen hervortritt, wie in unserem Beispiel durch eine Kombination der Gruppenzugehörigkeiten Geschlecht und Hautfarbe. Da algorithmischer Bias weitverbreitet ist und es unklar ist, ob wir diesen immer aufspüren können, ist dies ein ernstzunehmendes Problem. In einem solchen Fall ist es schwierig, die Entwickler*innen oder die Betreiber*innen auch nur indirekt für die diskriminierende Entscheidung des Recruitment-Systems verantwortlich zu machen. Das Problem der Verantwortungslücke besteht fort.

Auftritt: Human in the loop

Eine bessere Lösung ist es, den Personalauswahlprozess anders zu organisieren. Entscheidungen von großer Tragweite sollten in vielen Fällen nicht voll automatisiert werden, sondern erfordern einen Menschen in der Schleife (human in the loop). KI-Systeme dienen dann nur noch der Entscheidungsunterstützung und geben Empfehlungen, auf deren Basis ein Mensch entscheidet. Dieser Mensch trägt dann die Verantwortung für die KI-gestützte Entscheidung.

Kann dieser Vorschlag alle Probleme lösen? Nehmen wir an, Personaler*innen erhalten vom System Empfehlungen, ohne zu wissen, warum es diese Empfehlungen abgibt und ob diese aufgrund eines verborgenen Bias im System abgegeben werden. Dann können wir Personen nicht für Entscheidungen verantwortlich machen, von deren potenzieller moralischer Tragweite sie nichts wissen konnten.

Wir brauchen erklärbare KI

Um Verantwortung zu ermöglichen, sollten KI-Systeme in solchen Fällen ihre Empfehlung erklären können. Wird die Empfehlung des Entscheidungsunterstützungssystems gegen eine Bewerberin damit erklärt, dass sie eine Schwarze Frau ist, so können Personaler*innen in der Schleife sehr wohl wissen, dass eine entsprechende Entscheidung diskriminierend wäre. Wird der automatisierten Empfehlung dennoch gefolgt und die Bewerberin nicht eingeladen, so wissen die Personaler*innen um die moralische Tragweite ihrer Entscheidung und wir können sie für diese verantwortlich machen.

Diese Überlegungen machen die Relevanz von erklärbarer KI für eine Lösung des Problems der Verantwortungslücke deutlich. Daran schließen sich die Fragen an, wie wir erstens Erklärungen für Outputs eines Systems gewinnen können und welche Art von Erklärungen zweitens geeignet ist, um zum Beispiel Personaler*innen wirklich in die Lage zu versetzen, verantwortlich zu entscheiden. Das Problem der Verantwortungslücke eröffnet damit einen Raum für spannende interdisziplinäre Forschungsprojekte an der Schnittstelle zwischen Informatik und Philosophie.

Autor*in

Eva Schmidt
Prof. Dr.
Eva
Schmidt

Eva Schmidt ist Professorin für theoretische Philosophie an der Fakultät für Philosophie und Politikwissenschaft. Sie arbeitet im Bereich der Erkenntnistheorie und der Philosophie des Geistes und des Handelns. Sie ist PI des Projekts Explainable Intelligent Systems (EIS), das von der Volkswagen-Stiftung gefördert wird. Zuvor arbeitete sie an der Universität Zürich im Projekt The Structure and Development of Understanding Actions and Reasons. Sie hat in Fachzeitschriften wie Artificial Intelligence, Noûs, Philosophical Studies und Ethics veröffentlicht. Ihr Buch Modest Nonconceptualism: Epistemology, Phenomenology, and Content wurde 2015 bei Springer veröffentlicht.