Künstliche Intelligenz (KI) ist eine bedeutende Schlüsseltechnologie des digitalen Wandels in der Finanzwelt und künftig wichtiger Bestandteil neuer Geschäftsmodelle, Anwendungen, Prozesse und Produkte. Technologiegestützte Finanzdienstleistungen bieten neben etablierten Anbietern (Banken, Versicherungen, Wertpapierfirmen, Pensionsfonds etc.) zunehmend auch große Nicht-Finanzunternehmen (einschließlich der sogenannten Bigtechs wie Internet-Such- und Werbeunternehmen, Gerätehersteller, Handelsplattformen und Telekommunikationsbetreiber) an.

Sie entwerfen technologiegestützte Finanzdienstleistungen für die Nutzung im Internet und auf mobilen Geräten, kombiniert mit anderen neueren Technologien, wie Cloud Computing, Blockchain-Technologie oder KI. Wie bei anderen Kerntechnologien werden die jüngsten Fortschritte in der KI durch leistungsfähigere Prozessoren, größere und schnellere Speicher und Cloud-Computing ermöglicht.

Algorithmische Voreingenommenheit (Algorithmic Bias) in KI-Anwendungen können den erwarteten Nutzen von KI-Anwendungen jedoch negativ beeinträchtigen und in Einzelfällen sogar das komplette System infrage stellen (zum Beispiel bei Vorliegen von Diskriminierung, unlauteren Praktiken oder Verlust der Autonomie über das System.

Sparkassen und Banken müssen sich bei der Entwicklung von KI-Anwendungen mit dem Thema auseinandersetzen, weil die Systeme in der Regel große Mengen personenbezogener Daten analysieren, um Korrelationen zu erkennen und Zusammenhänge abzuleiten. Dabei können die Auswirkungen einer solchen Entscheidung auf Kunden wie beim Zugang zu Krediten, Zinsen oder Gebühren erheblich sein.

Umfangreicher KI-Report von US-amerikanischer Elite-Universität

Einen umfassenden und fundierten Überblick zur Entwicklung der KI zeigt der kürzlich vom Human-Centered Artificial Institute (HAI) der US-amerikanischen Universität Stanford veröffentlichte Artificial Intelligence (AI) Index Report (siehe Download-Link am Ende des Beitrags oder hier). Die Untersuchung analysiert den Zustand der künstlichen Intelligenz in neun Bereichen, unter anderem in:

• Forschung und Entwicklung
• Bildung
• technischer Leistungsfähigkeit
• Wirtschaft
• autonomen Systemen
• gesellschaftlichen Aspekten.

Zentrale Forschungsergebnisse aus den Bereichen F&E, Wirtschaft und Gesellschaft sind:

Forschung und Entwicklung

• Zwischen 1998 und 2018 ist der Umfang der referierten KI-Papiere um mehr als 300 Prozent gestiegen.
• China publiziert inzwischen so viele KI-Zeitschriften und Konferenzbeiträge pro Jahr wie Europa.
• Über 32 Prozent der weltweiten KI-Zeitschriftenzitate stammen von Quellen aus Ostasien und über 40 Prozent der weltweiten KI-Konferenz-Papierzitate sind aus Nordamerika.
• Auf Nordamerika entfallen über 60 Prozent der weltweiten KI-Patentzitierungsaktivität zwischen 2014 bis 2018.

BBL

Wirtschaft

• Singapur, Brasilien, Australien, Kanada und Indien verzeichneten das schnellste Wachstum bei der Einstellung von Mitarbeitern im KI-Bereich.
• In den USA stieg der Anteil der Arbeitsplätze in KI-bezogenen Themen von 0,26 (2010) der gesamten Stellenausschreibungen auf 1,32 Prozent (2019).
• Die Nachfrage nach KI-Spezialisten konzentriert sich besonders auf die Bereiche Hightech-Dienstleistungen und verarbeitendes Gewerbe.
• In den USA ist der Anteil der KI-Stellen von 0,3 (2012) auf 0,8 Prozent der insgesamt ausgeschriebenen Stellen im Jahr 2019 gestiegen.
• Im Jahr 2019 betrugen die weltweiten privaten KI-Investitionen über 70 Milliarden US-Dollar (siehe Abb. 1).
• Weltweit steigen die Investitionen in KI-Start-ups weiterhin stetig an. Von insgesamt 1,3 (2010) auf über 37 Milliarden US-Dollar im Jahr 2019.
• Autonomes Fahren hat mit 7,7 Milliarden US-Dollar den größten Anteil der weltweiten Investitionen, gefolgt von den Bereichen Arzneimittel, Krebs und Therapie (4,7 Milliarden), Gesichtserkennung (4,6 Milliarden), Videoinhalte (3,6 Milliarden) und Betrugserkennung im Finanzbereich (3,1 Milliarden) (siehe dazu auch Abb. 2).

Gesellschaft

• Die meistgenannten ethischen Herausforderungen beim Einsatz von KI betreffen Fairness, verantwortungsvolle KI-Nutzung, Interpretierbarkeit und Erklärbarkeit.
• In über 3600 globalen Nachrichtenartikeln zu Ethik und KI wurden zwischen 2009 und 2018 folgende dominierenden Themen adressiert: Rahmen und Richtlinien zur ethischen Nutzung von KI, Datenschutz, Einsatz von Gesichtserkennung und Diskriminierung durch Algorithmen.

Algorithmische Voreingenommenheit wird zum Problem

KI kann eine unbeabsichtigte, unerwünschte Verzerrung erzeugen und damit gegen grundlegende Rechte und/oder zu Ergebnissen und Auswirkungen führen, die als ungerecht empfunden werden. Ursachen gibt es viele: Die Daten können sich etwa nur auf eine bestimmte Gruppe oder Klasse von Objekten/Personen beschränken. Sie sind darüber hinaus eventuell unvollständig, fehlerhaft oder nicht vorhanden. Dazu zwei Beispiele:

• Die Suchmaschine Google steht in der Kritik, Anzeigen für Führungspositionen anzuzeigen, die sie als weiße Männer erkannt zu haben glaubt – im Vergleich zu afroamerikanischen Frauen.
• Amazon war mit dem Vorwurf konfrontiert, dass der in der KI-Anwendung zur Rekrutierung neuer Mitarbeiter implementierte Algorithmus eine „geschlechtsspezifische Voreingenommenheit“ gegenüber Frauen aufweist.

Im Finanzbereich resultiert algorithmische Voreingenommenheit vor allem aus dem vorhandenen Datenbestand, weil er im Wesentlichen auf von Kunden selbst genannten Angaben basiert. Es ist daher grundsätzlich von der Existenz eines Bias auszugehen. Die Herausforderung beim Einsatz von KI-Anwendungen besteht also darin, Datenverzerrungen im Datenbestand zu erkennen und methodisch zu eliminieren.

Geschlechtsbezogener Verzerrungseffekt
Gender Bias bezeichnet das Auftreten von systematischen Fehlern aufgrund inadäquater Berücksichtigung des Aspekts Geschlecht. Folgende Fragestellungen sind dabei relevant:
 

1. Kann eine Gleichheit beziehungsweise Ähnlichkeit von Frauen und Männern in bestimmten Bereichen angenommen werden, obwohl relevante Geschlechterunterschiede existieren. Der Gender Bias kann sich dadurch darstellen, dass diese Geschlechterunterschiede entweder nicht als Differenzierungsvariablen berücksichtigt oder nicht als mögliche Erklärungsvariablen untersucht und diskutiert werden.
2. Vorhandene Unterschiede zwischen den Geschlechtern, obgleich keine objektiv bestehen, oder es findet eine Überbetonung der Variable Geschlecht im Vergleich zu anderen Faktoren (zum Beispiel Ethnie, sozioökonomischer Status) statt, die nicht gerechtfertigt sind.

fizkes/shutterstock

Bias hinsichtlich Rasse und Alter
Professor Robert Bartlett, Rechtswissenschaftler an der US-amerikanischen Universität Berkeley, hat mit Kollegen (Bartlett 2019) herausgefunden, dass schwarze/hispanische US-Amerikaner 7,9 beziehungsweise 3,6 Basispunkte höhere Zinsen für Konsumenten- und Immobilienkredite bezahlen (siehe Download-Link am Ende des Beitrags oder hier). Dies entspricht rund 765 Millionen US-Dollar pro Jahr zusätzlichen Zinsen. Ein ähnliches Problem tritt häufig bei Bilderkennungs-Software auf Basis neuronaler Netze aus. Bei der Rekonstruktion und Zuordnung einzelner Bildteile zu einem bestimmten Objekt oder einer Person führt die hohe Ähnlichkeit von Bildelementen (zum Beispiel Hautfarbe oder Nasen- und Augenform) zu Klassifikationsproblemen und letztlich zu falschen Ergebnissen.

Ursachen
In KI-basierten Systemen spiegelt sich menschliches Urteilsvermögen wider. Menschen entwickeln Algorithmen und somit werden die vom Entwickler bevorzugten Parameter, Konfigurationen etc. zwangsläufig im KI-Modell abgebildet und beeinflussen das Ergebnis.

Eine weitere Ursache für algorithmische Voreingenommenheit liegt im Aufbau der KI-Modelle. Es handelt sich in der Regel um Blackbox-Modelle, die als Datensenken und -quellen existieren, ohne dass es eine Erklärung dafür gibt, was darin enthalten ist. Für den Benutzer können solche Blackbox-Modelle nicht abgefragt oder hinterfragt werden, wie sie zu einem Ergebnis kommen. Selbst aus gleichen Input-Daten können unterschiedliche Ergebnisse resultieren.

Unzureichende Trainingsdaten begründen ebenfalls algorithmische Verzerrungen. Wenn die zum Training des Algorithmus verwendeten Daten für einige Personengruppen repräsentativer sind als für andere, ergeben sich systematisch Verzerrungen für die unterrepräsentierte Gruppe. Eine implementierte Verzerrung liegt vor, wenn ein Algorithmus sich durch einen Selbstlernprozess modifiziert.

Ein wesentlicher Aspekt betrifft die Verzerrung der Daten. Die für eine KI-Anwendung genutzten Daten stammen in der Regel aus mittels Data Mining bestehenden Datenbeständen. Fehlende, unvollständige und/oder unklare Daten können die Algorithmen beziehungsweise die Ergebnisse verfälschen. Dies gilt auch, falls das Spektrum der ausgewählten Daten hinsichtlich der Breite beziehungsweise Vielfalt zu eng ist.

Eine weitere Quelle für Verzerrungen – vor allem in externen Daten – resultiert aus fehlendem Wissen hinsichtlich Qualität und Herkunft der verwendeten Daten. Datensätze können sensible Attribute enthalten, die direkt zu Verzerrungen und Diskriminierung bei den Ergebnissen führen. Zum Beispiel reicht die Anrede einer Person aus, um ihre ethnische Herkunft zu identifizieren.

Ein weiterer Gesichtspunkt betrifft die Verzerrung durch Aufteilung von Quelldaten in Trainings- und Testdaten. Eine Verzerrung kann entstehen, wenn das KI-Modell auf die Testdaten oder den Test trainiert wird. Verzerrungen können durch die Wiederverwendung von Code bei der Implementierung entstehen.

In solchen Fällen besteht die Gefahr, dass sich durch die einfache Übertragung von Code Verzerrungen unbeabsichtigt in anderen Systeme darstellen. Der übertragende Code ist möglichweise unvollständig beziehungsweise passt nicht in den eingefügten Kontext.

Technische Rahmenbedingungen wie Speicher- und Rechenkapazitäten können technisch begründete Verzerrungen verursachen. Die Zahl auszuführender Iterationen ist etwa technisch limitiert. Das hat zur Konsequenz, dass ein KI-Modell nur eine bestimmte Zahl von Objekten vollständig identifizieren kann.

Lösungsansätze für algorithmische Voreingenommenheit

Verzerrungen in KI-Systemen betreffen den gesamten Entwicklungsprozess – ausgehend von der Selektion und Aufbereitung des Datenbestands über die Entwicklung, Implementierung und Anwendung. Die zuvor genannten Problemfelder erfordern mehr als nur technische Lösungen. Wichtiger sind Methoden und Prozesse zum Verstehen und Messen von „Neutralität“. Wie lässt sich feststellen, wann ein System fair genug ist, um freigegeben zu werden, und in welchen Situationen ist eine vollautomatische Entscheidungsfindung überhaupt zulässig? Allerdings stellt sich auch hier die grundsätzliche Frage, was „neutral“ ist, denn jeder Mensch hat eine andere Wahrnehmung.

Was können Sparkassen und Banken tun, um Verzerrungen in KI-Projekten zu berücksichtigen? Zielführend ist die Entwicklung eines praktischen Leitfadens für KI-Projektteams, um mögliche Verzerrungsprobleme zu erkennen und zu bewerten. Grundlegende Empfehlungen zur Erhöhung der „Neutralität“ in KI-Lösungen sind:

• Alle Mitarbeiter in KI-Projektteams kennen das Problem der Verzerrung und haben methodische Kenntnisse zur Identifikation entsprechender Auffälligkeiten.
• Nutzung qualitativ hochwertiger und vielfältiger Daten für Training und Test.
• Strikte Trennung von Training und Test. Dies umfasst auch die involvierten Personengruppen beziehungsweise Endbenutzer.
• Etablierung von Prozessen für Benchmarking-Verfahren, zur Auswahl und Validierung von Daten, zur Qualitätskontrolle und spezifische Anleitungen, was zu tun ist, wenn Zweifel an der Interpretation der Ergebnisse des Algorithmus bestehen.
• Durchführung von Querprüfungen, um auffällige Muster und Verzerrungen in Algorithmen zu erkennen.
• Einsatz von KI-Tools, mit denen sich Algorithmen und Modelle bewerten und auf mögliche Unfairness überprüfen lassen.

Ein empfehlenswertes Werkzeug ist der Open-Source-Python-Toolkit für algorithmische Fairness AI Fairness 360 (AIF360). Er stellt Data Scientists und KI-Entwicklern ein umfassendes Funktionsangebot von Fairness-Metriken für Datensätze und Modelle sowie Algorithmen zur Minderung von Verzerrungen in Datensätzen und Modellen. Eine umfangreiche Dokumentation mit Anwendungshinweisen und branchenspezifischen Tutorials erleichtert die Nutzung.
 

Fazit

KI-Anwendungen müssen für alle Beteiligten transparent sein und die möglichen unbeabsichtigten Folgen und ihre Nutzung hinsichtlich Fairness, Verantwortlichkeit, Transparenz und Erklärbarkeit berücksichtigen: Unterscheidet das Modell etwa zwischen bestimmten sozialen Gruppen oder Klassen? Erwarten wir ähnliche Ergebnisse für verschiedene Untergruppen? Verstehen wir, wie das Modell funktioniert? Kann das Modell die erzeugten Ergebnisse erklären? Nur wenn die Ergebnisse nachvollziehbar sind, sind diese vertrauenswürdig. Unternehmen und KI-Entwickler benötigen ein tiefes Verständnis über algorithmische Verzerrungen und die damit verbundenen Risiken und Lösungen.

Literatur
Bartlett, R., Morse, A., Stanton, R. and Wallace, N. (2019): Consumer-lending discrimination in the FinTech era, National Bureau of Economic Research w25943.
Financial Stability Board (2017): Artificial intelligence and machine learning in financial services, Startseite abrufbar unter: http://www.fsb.org/2017/11/artificial-intelligence-and-machine-learning-in-financial-service/ (Stand: 05.01.2020).
IBM (2019): AI Fairness 360 (AIF360), Startseite abrufbar unter: https://aif360.mybluemix.net.
Stanford University (2019): Artificial Intelligence Index Report 2019, Startseite abrufbar unter: https://hai.stanford.edu/ai-index/2019 (Stand: 10.01.2020).

Autor
Prof. Dr. Dirk Neuhaus, MBA ist Professor für Informationssysteme in Finanzdienstleistungsunternehmen an der Hochschule der Sparkassen-Finanzgruppe in Bonn und forscht auf dem Gebiet der künstlichen Intelligenz.

Wie gefällt Ihnen die neue BBL-Rubrik? Nutzen Sie für Anregungen und Kritik unsere Kommentar-Funktion am Ende des Beitrags oder schicken Sie eine E-Mail an: bbl@jjmedienagentur.de.