Cara Warmuth war im Juli 2021 als Land Steiermark Fellow an der Rechtswissenschaftlichen Fakultät der Universität Graz. Der Constitutional Innvoation Hub (CIHG) hat diese Gelegenheit genutzt, um mit ihr über ihr aktuelles Projekt am Institut für Rechtsinformatik der Universität Hannover zu sprechen.
Du bist wissenschaftliche Mitarbeiterin am Institut für Rechtsinformatik der Universität Hannover und arbeitest dort in einem interdisziplinären Projekt zu Bias und Diskriminierung durch Big Data und Algorithmen. Erzähle uns doch kurz, worum es dabei geht. Was hat es mit Künstlicher Intelligenz (KI) im Recht, richterlicher Entscheidung und Bias in der Entscheidung auf sich?
Das Projekt ist ein interdisziplinäres Projekt, in dem es um Bias bei automatisierten Entscheidungen geht. Interdisziplinär bedeutet in dem Fall, dass wir Juristen gemeinsam mit Philosophen, Informatikern und Technikern arbeiten.
Das ist sehr spannend, weil wir das Thema KI und Bias so von ganz unterschiedlichen, fachlichen Perspektiven beleuchten können. Dabei lernt man unheimlich viel.
Ein Beispiel für Bias durch KI ist zB die Vergabe von Krediten. Angenommen, du gehst zur Bank und möchtest einen Kredit haben. Die Kreditentscheidungen trifft mittlerweile ja nicht mehr nur ein Bankmitarbeiter, sondern ein Algorithmus unterstützt die Entscheidung. Statistisch betrachtet ist es dabei so, dass Frauen seltener Kredite bekommen, weil sie weniger oft als kreditwürdig eingestuft werden. Warum die KI sagt, dass die Frau den Kredit nicht bekommen soll, weiß man aber nicht wirklich. Es werden dann offensichtlich bestimmte Personengruppen – darunter eben auch Frauen – durch die Entscheidung einer KI diskriminiert. Das kann auch bei Personalentscheidungen oder einer Gerichtsentscheidung der Fall sein. Und das ist das, was wir rechtsstaatlich nicht wollen, und hier setzt das Projekt an.
Du arbeitest in dem Projekt an der Schnittstelle von Recht, Psychologie und Informatik, und studierst ja auch selbst zusätzlich noch Psychologie. Inwieweit findest du, sollten psychologische Studien in die richterliche Entscheidungsfindung mittels KI einfließen?
Ich bin absolut dafür, psychologische Studien in den Entwicklungs- und Begleitprozess von KI einfließen zu lassen. Da geht es zB darum, ob KI-assistierte Gerichtsentscheidungen von den Parteien überhaupt akzeptiert werden. Wenn eine Entscheidung durch eine KI bei einem Bürger nicht so ankommt, dass er sie auch nachvollziehen und respektieren kann, dann wäre das ein interessanter psychologischer Befund, den wir berücksichtigen müssten.
Aus den USA gibt es zB Studien, die zeigen, dass Patienten Ärzte für weniger kompetent halten, wenn sie ihre Diagnosen KI-assistiert stellen. Diese Akzeptanzthematik übertragen auf den juristischen Bereich würde auch bedeuten, dass wenn ein mittels KI entstandenes Urteil nicht gut genug akzeptiert ist, eine höhere Rechtsmittelquote anzunehmen wäre, was für das Rechtssystem nicht wünschenswert ist.
Und hinsichtlich der Transparenz? Wie soll man damit umgehen, dass Entscheidungen einer KI nicht unbedingt nachvollziehbar sind?
Diese Blackbox bei Algorithmenentscheidungen ist da natürlich immer ein Problem. Der rechtsuchende Bürger hat ja einen Anspruch auf eine Begründung der Entscheidung. Wenn aber nicht einmal der Richter weiß, wie das Urteil zustande kommt, dann ist das auch eine große Hürde in der Praxis. Wenn Algorithmen bei Gericht bei der Entscheidungsfindung helfen sollen, muss der Richter ja nachvollziehen können, wie diese Entscheidung zustande gekommen ist. Da gibt es dann auch Konflikte zwischen den Geschäftsgeheimnissen der jeweiligen Hersteller und dem Rechtsanspruch auf Transparenz. Man müsste bei Gericht vielleicht bestimmte Personen auswählen, die in diese Abläufe eingeweiht werden und aus ihrer fachlich qualifizierten Sicht nachvollziehen können, wie das funktioniert.
Angenommen der Richter hat ein KI-Assistenzsystem, ihm fehlt aber das technische Detailwissen, um die Funktionen zu verstehen – wie lässt sich das mit der richterlichen Unabhängigkeit vereinbaren?
Das finde ich eine sehr spannende Frage. Die stellt sich aber nicht nur bei KI-Assistenzen, sondern auch wenn du Sachverständigengutachten für bestimmte technische oder andere fachwissenschaftliche Fragen zu Rate ziehst. Es ist ja immer so, dass der Richter nie das volle fachliche Verständnis haben kann. Er darf sich meinem Erachten nach dann immer diese fehlende Expertise hinzuholen, bspw. bei Unfallgutachten. So würde ich das mit der KI auch sehen. Wichtig ist aber vielleicht auch, dass irgendwo auf dieser gleichrangigen Gerichtsebene schon jemand weiß, wie der Algorithmus funktioniert.
Wäre diese Person dann ein Sachverständiger in Vertretung der KI? Also würdest du die Entscheidung der KI wie ein Sachverständigengutachten betrachten, hast aber noch die Zusatzperson, die noch einmal erklären könnte, wie die KI zu ihrem Sachverständigenurteil gekommen ist?
Ja, so könnte man das sehen. Ich würde es aber nicht gleichsetzen und sagen KI ist wie ein Sachverständigengutachten, sondern ich wollte es nur als Parallele ziehen, um zu sagen, es ist ja nicht schlimm, wenn ein Richter nicht hinreichend technisch ausgebildet ist, um zu verstehen, wie KI funktioniert. Wir können vom Richter ja auch nicht verlangen, dass er komplexe physikalische Berechnungen, etwa bei einer Unfallrekonstruktion, versteht oder gar selbst durchführt, aber das Urteil wird er trotzdem fällen.
Man sollte sich schon fragen, warum wir KI eigentlich in der gerichtlichen Entscheidungsfindung wollen. Weil es fancy ist? Weil wir es können?
Meiner Meinung nach gibt es zwei Ansatzpunkte. Einerseits kann man sagen, dass es ökonomischer ist. Es kann bei verschiedenen Bereichen für den Richter sehr viel Zeit sparen, wenn große Datenmengen, die er selbst irgendwie durchgehen müsste, oder standardisierte Verfahren, wie diese Dieselabgas-Fälle, an eine KI ausgelagert werden könnten. Das wäre eine Zeitersparnis.
Das zweite Argument ist dann, dass KI vielleicht das Recht auf ein faires Verfahren besser verwirklichen kann, weil sie objektive und neutrale Urteile fällt. Da muss man aber ganz kritisch hinschauen, vor allem beim Thema „Bias“. Es ist überhaupt nicht gesagt, dass eine KI bessere oder unvoreingenommene Entscheidungen fällt. Die Daten, aus denen die KI lernt, sind ja selbst von Menschen gemacht. Das System lernt ja von diesen vergangenen menschlichen Entscheidungen, da sind die Daten selbst unweigerlich gebiast.
D.h. im besten Fall hast du den Mittelwert aus gebiasten Entscheidungen.
Ja eben.
Wenn man sich jetzt vorstellt, wo das überall eingesetzt werden könnte – wie siehst du das hinsichtlich der Beweiswürdigung? Könnte hier eine KI zum Einsatz kommen?
Ich denke, dass die Frage der Beweiswürdigung in Jahrzehnten eine der letzten Stufen sein wird, über die man sich dann Gedanken machen kann. Denn das ist denke ich zu komplex, als dass man das der KI überantworten könnte. Mein Verständnis ist eher so, dass der Richter bleibt, wo er ist. Er hat seine Kernaufgabe, nämlich das Fällen von Urteilen und das Beurteilen von Tatsachen und Sachverhalten, aber er wird dabei ganz stark von der KI unterstützt werden.
Also wäre das eher Schneekugel lesen, wenn wir weiter spekulieren würden. Dann hätte ich eine Abschlussfrage. Du arbeitest in einem sehr interdisziplinären Umfeld. Was sind da die größten Schwierigkeiten, was hast du für dich aus dieser interdisziplinären Zusammenarbeit mitgenommen?
Die größte Schwierigkeit bei der interdisziplinären Arbeit ist die Verständigung untereinander. Natürlich sind wir alle Wissenschaftler, aber dass man sich gegenseitig gut verständlich macht, innerhalb der eigenen Fachsprache, ist schwierig.
Manchmal ist es tatsächlich so, dass man über denselben Begriff spricht, beispielsweise „Fairness“ bei Algorithmen. Unter Fairness versteht der Statistiker aber etwas ganz anderes als der Jurist. Ich finde wichtig, dass man da auf einer frühen Ebene ansetzt. Man muss über Begriffe sprechen und sich darauf verständigen, welche Sprache die jeweils andere Disziplin nutzt. Gerade auch wenn man aus nicht verwandten Bereichen kommt, zB bei Informatik und Rechtswissenschaft, gibt es durchaus Distanzen zu überwinden. Das ist die größte Schwierigkeit.
Aber wenn man es einmal geschafft hat, ist es sehr, sehr gewinnbringend. Da kann man bei der Entwicklung von Lösungen wirklich Fortschritte machen, auf die man alleine in seinem eingegrenzten Fach nicht kommen würde.
Dann enden wir mit diesem Plädoyer für die Interdisziplinarität. Vielen Dank!
Das Interview wurde von unseren Praktikantinnen Gvantsa Kapanadze und Mag. Caroline Elisabeth Müller geführt. Das gesamte Interview zum Download finden Sie hier.