Trends Magazin

istock.com/mennovandijk

Automatisierte Vorurteile vermeiden: Der Weg zur ethischen KI  

KI-Systeme sind fähig, zahlreiche Aufgaben eines Finanzinstituts zu automatisieren und zu standardisieren. Allerdings besteht die Gefahr, dass sie dabei menschliche Vorurteile weitertragen. Denn schon bei der Ausgestaltung der Modelle und der Definition der Parameter, die das Modell heranziehen soll, wird unter Umständen eine Voreingenommenheit in der KI verankert.

Das kann sich auf eine KI-gestützte Vorauswahl der geeigneten Bewerber im HR-Bereich ebenso auswirken wie auf das Kreditrating eines neuen Bankkunden. Das bedeutet, eine KI kann sich systematisch und standardisiert irren und das auf unethische Weise.

In solch einem Fall erwächst für eine Bank nicht nur ein gravierendes Reputationsrisiko – sie ignoriert mitunter auch relevante Geschäftsmöglichkeiten. Denn nicht nur den Kunden entstehen durch falsche Kreditratings oder unzutreffende Anlageempfehlungen wirtschaftliche Nachteile, auch dem Finanzinstitut selbst entgehen Umsätze. Dabei gilt für KI-Algorithmen dasselbe wie für alle statistischen Modelle – das Problem der Regression zum Durchschnitt stellt sich auch hier. Individuelle Besonderheiten der zu beurteilenden Fälle verliert das Modell dann immer mehr aus dem Blick.

Den kommenden „AI Act“ schon jetzt erfüllen
Ein weiterer Faktor für das wachsende Bewusstsein in Sachen ethischer KI sind die Regulierungspläne der Europäischen Gemeinschaft. Die EU-Kommission hat ihren Regulierungsvorschlag, den „Artificial Intelligence Act“ (AI Act), bereits im April 2021 vorgelegt. Der Vorschlag postuliert sieben zentrale Anforderungen an KI-Systeme.

KI-Systeme sollen den Menschen helfen, fundierte Entscheidungen zu treffen, müssen aber zugleich angemessen kontrollierbar sein. Technische Robustheit und Sicherheit stehen ebenso auf der Agenda der Regulatoren wie angemessene Datenschutz- und Governance-Mechanismen, die Datenqualität und -integrität sicherstellen.

Auf welche Daten, Systeme und Geschäftsmodelle sich der KI-Einsatz erstreckt, soll stets transparent sein. Vielfalt, Nicht-Diskriminierung und Fairness müssen aus Sicht der EU-Kommission ebenso garantiert sein wie die Nachhaltigkeit und Umweltfreundlichkeit der KI-Systeme.

Last but not least: Der AI Act verlangt, dass KI-Lösungen rechenschaftspflichtig und überprüfbar sind. Zudem unterscheidet der Regulierungsvorschlag KI-Lösungen grundsätzlich nach ihrem Risikopotenzial: von minimal über stark bis unannehmbar. Letztere will die Kommission komplett verbieten, weil sie menschliche Grundrechte gefährden können.

Risikoniveau des konkreten KI-Einsatzes
Um den Einsatz einer stets ethischen KI zu gewährleisten, müssen Finanzinstitute sich zunächst Klarheit über den Risikograd all ihrer KI-Systeme verschaffen. Besonderes Augenmerk brauchen anschließend die Lösungen mit starkem Risiko. Die erste Frage ist also, in welchem Bereich das KI-System genutzt wird. Soll die KI helfen, die Kredit- oder Compliance-Risiken eines konkreten Geschäfts bzw. eines individuellen Kunden zu bewerten, sind die Folgen automatisierter Vorurteile potenziell gravierend, und das Risiko ist entsprechend hoch. Anders sieht dies aus, wenn die KI nur den Beratungsprozess unterstützt, etwa in Gestalt eines Chatbots für Retailkunden oder eines virtuellen Assistenten für die Berater von vermögenderen und (U)HNW-Kunden. Wichtig ist zudem, wie Menschen die Ergebnisse der KI letztlich konsumieren.

Mitunter kann es sich gerade für kleinere Finanzinstitute ohne umfassendes Data-Science-Team als unmöglich erweisen, bei KI-Systemen, die sie on-prem (in der eigenen IT-Umgebung) betreiben, für die gebotene Kontrolle zu sorgen. Wenn beispielsweise eine KI-Lösung mittels Natural Language Processing (NLP) kundenindividuell Markt- und Wirtschaftsnachrichten zusammenstellt, die für Anlageentscheidungen relevant sind und den Beratern Kommunikationsanlässe liefern, gibt es bei einem isolierten Betrieb vor Ort kaum eine Möglichkeit der Qualitätskontrolle. KI-Systeme mit tendenziell moderatem Risiko, wie virtuelle Assistenten, im SaaS-Modell zu beziehen, ist dann oft sinnvoller.

Dagegen kann es sich bei KI-Systemen, die sehr nah am Kerngeschäft eines Finanzinstituts sind – wie etwa Recommendation Engines oder Kredit-Ratings – lohnen, sie in eigener Regie zu entwickeln und sie selbst auf ihre Zuverlässigkeit und ethische Unbedenklichkeit hin zu monitoren.

Modelle mit individuell geeigneten KPIs überwachen
Schon in der Entwicklungsphase für das intelligente, KI-gestützte System stellt ein Finanzinstitut die Weichen in Sachen Vorurteilsfreiheit. Sinnvoll ist darum ein technisches Framework, das ein konsequentes Monitoring der Ergebnisse der KI ebenso vorsieht wie Alerts bei problematischen Entwicklungen. Der Data Scientist muss also bereits bei der Entwicklung des Modells die Key Performance Indicators (KPIs) festlegen.

KPIs, anhand derer das Modell überwacht werden sollte, sind typischerweise ethisch sensitive Parameter des Kunden. Dazu zählen Variablen wie etwa Geschlecht, Sprache oder Nationalität. Auch auf Attribute, die eine hohe Korrelation zu den offensichtlich sensitiven Variablen aufweisen, sollten Finanzinstitute im Sinne einer ethischen KI verzichten.

Bereits während der Modellentwicklung ist zu definieren, welche Vorhersagegenauigkeit man von den KPIs der neuen KI erwartet. Bei einer Qualitätskennzahl wie dem Geschlecht des Kunden kann man beispielsweise von einer 50/50-Verteilung ausgehen und ein statistisches Konfi denzintervall von plus oder minus 15 Prozent zugrunde legen. Weicht das Modell mit der Zeit von der erwarteten Genauigkeit ab, muss das Data-Science-Team handeln. Unter Umständen liegt eine Drift, eine Veränderung in den zugrunde liegenden Daten vor. Mitunter ist es dann notwendig, das KI-Modell nicht nur anzupassen, sondern es völlig neu zu konzipieren.

Auch ML-Modelle brauchen manuelles Training
Bei einem Machine-Learning-Algorithmus unterscheidet man grundsätzlich zwei Phasen: Learning und Running. Momentan ist die erste, die Learning-Phase, noch ein manueller Prozess, bei dem das Design des Algorithmus und die Input-Parameter aufgrund eines „Training Sets“ definiert werden. Anders gesagt: Der Mensch lernt den Algorithmus an.

Dieser kann dadurch beispielsweise erkennen, dass erstens ein hohes Haushaltseinkommen ein niedriges Kreditrisiko darstellt und dass zweitens ein Sternzeichen keinen Einfluss auf die Kreditwürdigkeit hat. In der zweiten Phase, dem Running, wird der Algorithmus dann vollautomatisch eingesetzt. Der ML-Algorithmus wird dabei zwar auf völlig neue Daten und Kunden angewendet, er behält aber sein ursprünglich antrainiertes Design. In unserem Beispiel würde der Algorithmus bei einem neuen Kunden mit einem Haushalts-Jahreseinkommen von 18.000 € also in jedem Fall ein hohes Ausfallrisiko evaluieren.

Selbst, wenn dieser Kunde über ein Sparkapital von 2 Mio. € verfügte, hätte dies keinen Einfl uss auf die Bewertung, weil wir den Algorithmus nur auf Einkommen und Sternzeichen trainiert haben. Fälschlicherweise wird diese zweite Phase, das Running des ML-Algorithmus, oft als „Self Learning“ bezeichnet. Hier bleibt ein kontinuierliches Monitoring der Resultate wichtig. Denn falls sich die defi nierten Modell-KPIs wie etwa Genauigkeit (Precision), Treff erquote (Recall) oder auch ethische KPIs – etwa die relative Anzahl abgelehnter Kreditentscheide für ein Geschlecht – deutlich verändern, ist es erforderlich, den ML-Algorithmus erneut manuell zu trainieren. Bei Kreditrisiko-Modellen kann man davon ausgehen, dass dies meist alle zwei bis drei Jahre geschehen sollte, bei ML-Modellen mit vielen Datenattributen und komplexen Algorithmen auch häufiger.

Fazit
Nicht die KI entscheidet, sondern Menschen
Für Finanzinstitute ist eine ethische KI aus drei Gründen unverzichtbar: um Reputationsrisiken vorzubeugen, um für kommende regulatorische Vorgaben gewappnet zu sein und um Umsatzpotenziale auszuschöpfen. Dazu muss das Institut kontinuierlich überwachen, ob sein KI-Modell noch so vorurteilsfrei ist, wie es bei seiner Entwicklung intendiert war. Zur Umsetzung des Transparenz- und Monitoring-Gebots sehen einige Anbieter von KI-Systemen bereits Dashboards und Alerts vor, mit denen die Data Scientists die ethisch relevanten KPIs stets im Blick behalten.

Auch ein Freigabeprozess für neue KI-Modelle mit starkem Risiko kann sinnvoll sein. Denn es ist ein Axiom der ethischen KI, dass eine KI selbst keine moralischen Urteile fällen kann. Am Ende haben immer Menschen darüber zu entscheiden, ob eine KI den ethischen Anforderungen Autor noch genügt.

Autor



Gery Zollinger ist Head of Data Science & Analytics bei Avaloq und seit mehr als zehn Jahren im Bereich Analytics und quantitative Modellierung tätig.

(...)


+++

Was versteht man unter „Data Science“ und wie ist dies in den Themenkomplex KI einzuordnen?  Wozu benötigt eine Bank überhaupt einen Data Scientist und mit welchen Daten und Tools wird hier gearbeitet?  Diese und weitere Fragen stellen wir Torsten Nahm, der das Kompetenzzentrum für Data Science bei der DKB leitet. Hören Sie hier weitere Episoden aus der Reihe „durch die bank“.

Melden Sie sich bei Interesse zu unserem Web-Seminar  „KI-Governance und vertrauenswürdige KI in Kreditinstituten (Teil 1 und Teil 2)“ an.

Stichworte

Verwandte Artikel

Anzeige

Lexikoneinträge