Künstliche Intelligenz (KI) kommt zunehmend im täglichen Leben an. Bekannte Einsatzfelder sind: Bild- und Gesichtserkennungssysteme, autonome Maschinen, selbstfahrende Autos oder Kreditprüfungen im Konsumentenbereich.

Die Gefahr besteht darin, dass diese Systeme basierend auf der Kombination effizienter Lernalgorithmen und implementierter Problemlösungsmodelle Entscheidungen treffen, die nicht gerechtfertigt oder legitim sind. Und sie können unter Umständen tiefgreifende Konsequenzen für die betroffenen Personen haben.

Vertrauen und Akzeptanz in derartige Systeme erfordern, dass Menschen die Ableitung der Ergebnisse auf Basis von Algorithmen und Daten verständlich nachvollziehen können.

Meist kennen jedoch nur Entwickler und Fachexperten die Funktionsweise der implementierten Entscheidungsmodelle und nur sie wissen, wie die KI-Systeme Ergebnisse ableiten. Diese als sogenannte „Blackbox“ bezeichneten Lösungen gibt es vor allem bei Deep-Learning-Ansätzen in neuronalen Netzen.

Menschen müssen die von KI-Systemen getroffenen Entscheidungen vollständig verstehen können. Ausgenommen sind Anwendungen, die etwa allgemeine Online-Empfehlungen (Netflix, Amazon, Online-Anzeigen usw.) erzeugen und letztlich kein Risiko darstellen. Hier spielt das Verständnis der Funktionsweise der internen Algorithmen eine untergeordnete Rolle – zum Beispiel, warum die Amazon-Machine-Learning-Komponente ein falsches Produkt vorschlägt.

Gerade dort, wo dieses Risiko relevant ist, besteht das Problem von unzureichender Erklärbarkeit. Die Unfähigkeit der KI, ihre Argumentation den menschlichen Benutzern zu erklären, ist eine wesentliche Hürde für ihre Einführung in solchen Bereichen, in denen die Folgen des Versagens schwerwiegend sind. Dies ist Gegenstand von „Erklärbarer KI beziehungsweise Explainable AI (XAI)“.

Was ist XAI?

Zweck eines erklärbaren KI-Systems (XAI) ist es, sein Verhalten durch Erklärungen für den Menschen verständlicher zu machen. Es sollte in der Lage sein, seine Fähigkeiten und sein Problemlösungsmodell offenzulegen. Ferner muss es erklären können, was es getan hat, was es jetzt tut und was als nächstes passieren wird.

Erklärbare KI (XAI) umfasst Methoden und Technologien, um maschinelles Lernen so interpretierbar zu machen, dass menschliche Anwender die Ergebnisse einer bestimmten Lösung verstehen können. XAI kann beispielsweise Erklärungen auf Datenebene generieren (zum Beispiel für den Fall eines abgelehnten Kreditantrags). „Der Antrag wurde abgelehnt, weil das Unternehmen jünger als drei Jahre ist.“ XAI ermöglicht auch Erklärungen auf Modellebene, indem es die Logik des Systems zusammen mit den aktuellen Daten präsentiert.

Am Beispiel des Kreditantrags könnte eine entsprechende Erklärung wie folgt lauten: „Der Antrag wird abgelehnt, weil das Unternehmensalter jünger als drei Jahre ist und kein Eintrag in der Creditreform-Datenbank vorhanden ist.“

Erklärungen sind kontextabhängig von der Aufgabe, den Fähigkeiten und den Erwartungen eines Nutzers des KI-Systems. Bei einem KI-System zur Diagnose eines technischen Systems reicht vermutlich die Ausgabe der Variablenwerte aus. Im Fall der Diagnostik von Krankheiten müsste das System neben einer Lösung weitere möglichen Lösungen darstellen. Gleichzeitig sollte es deren Abhängigkeiten beziehungsweise Zusammenhänge möglichst visuell erklären. Bei KI-gestützten Systemen zur Gesichts-/Bilderkennung lassen sich etwa mithilfe einer „Heat Map“ relevante Stellen eines Bildes markieren.

Verschiedene Erklärungsarten

Verhaltenserklärungen erlauben dem Experten oder Nutzer, Fragen über das verwendete Wissen und die ausgeführten Aktionen des KI-Systems zu stellen. Dazu gehören unter anderem:

• Wie wurde ein bestimmtes Ergebnis abgeleitet?
• Wie wurden die mitgeteilten Informationen dabei verwendet?
• Warum konnte ein bestimmtes Ergebnis nicht abgeleitet werden?
• Wie würde eine Lösung lauten, falls eine bestimmte Bedingung fehlen würde?
• Warum stellt das System eine bestimmte Frage beziehungsweise verlangt eine Eingabe?

Darüber hinaus können auch Fragen nach der zeitlichen Abfolge gestellt werden:

• Wann wurde das Ziel X beziehungsweise das Ergebnis Y verfolgt?
• Warum wurde oder warum nicht das Ziel X beziehungsweise die Schlussfolgerung Y zum Zeitpunkt Z verfolgt?

Auskunftserklärungen dienen zur Erklärung der sogenannten Wissensbasis eines KI-Systems. Fragen, die zu dieser Kategorie gehören, sind etwa:

• Was bedeutet inhaltlich ein bestimmter Ausdruck beziehungsweise eine bestimmte Kennzahl?
• Welche Informationen kennt das System bereits über Objekte (Kunden, Produkte etc.) ?

Der Funktionsumfang einer Erklärungskomponente hängt unter anderem von folgenden Faktoren ab:

• Ausführlichkeit der Erklärungen: Das System kann das gesamte Lösungsprotokoll ausgeben oder nur ausgewählte Teile.
• Tiefe der Begründung: Das System erklärt nur explizit formulierte Ergebnisse. Vorentscheidungen beziehungsweise Herleitungen werden nicht begründet.
• Umfang der Benutzerkontrolle: Das System stellt dem Anwender mächtige Traversierungsfunktionen und eine benutzerfreundliche Schnittstelle zur Verfügung.
• Form der Begründung: Möglichkeiten zur Ausgabe der Erklärungen als Text, Sprache oder Grafik.

Wer ist Adressat von XAI?

charles taylor/iStock

Die Anforderungen an XAI orientieren sich nicht nur an Endkunden oder Anwendern eines KI-Systems, sondern auch an weiteren Stakeholdern. Das Management benötigt XAI zur sicheren kommerziellen Nutzung, um das Unternehmen vor unbeabsichtigten Folgen und Reputationsschäden zu schützen. Aufsichtsbehörden als auch Kunden wollen sicher sein, dass die Technologie im Einklang mit ethischen Normen steht.

Es gibt auch Situationen, in denen Unternehmen eine Entscheidung begründen müssen. Personalrekrutierungen sind so ein Beispiel. Arbeitnehmer haben das Recht auf eine klare Rechtfertigung für jede Entscheidung, die sie betrifft. Wenn ein Unternehmen bei diesem Prozess maschinelles Lernen einsetzt, aber nicht versteht, wie der Algorithmus zu seinen Schlussfolgerungen gekommen ist, könnte es rechtliche Konsequenzen haben.

Algorithmische Voreingenommenheit (Algorithmic Bias) in KI-Anwendungen können den erwarteten Nutzen von KI-Anwendungen negativ beeinträchtigen und in Einzelfällen sogar das komplette System in Frage stellen (zum Beispiel bei Vorliegen von Diskriminierung, unlauteren Praktiken oder Verlust der Autonomie über das System (vergleiche dazu KI-Corner 01/20: Wenn Algorithmen voreingenommen sind).

Praktische Anwendung von XAI

Weil XAI notwendig ist, hat sich im KI-Sektor ein Forschungsbereich etabliert, der sich mit der Erklärung von Machine-Learning-Modellen beschäftigt. Gegenstand ist die Entwicklung von Methoden, um Menschen ohne technischen Hintergrund aussagekräftige Informationen über Algorithmen darzustellen.

Eine einfache Methode ist der Aufbau der Wissensbasis nach einem Entscheidungsbaum mittels „Wenn-Dann-Regeln“ wie:

• Wenn Unternehmensalter > 3 Jahre
  Und Umsatz > 300.000 Euro/pro Jahr
  Und Branche = Maschinenbau
  Dann Bewertung Branchenklasse = 10.

Die Erklärungskomponente zeigt dem Anwender in einer verständlichen Form das Regelwerk und mit den aktuellen Daten an. Dieser Ansatz ist einfach zu implementieren und eignet sich vorwiegend für abgrenzte Problemstellungen, die auf definierten Regeln und Fakten basieren wie Expertensysteme für technische Anwendungen. Für Aufgabenstellungen mit umfangreichen Entscheidungsbäume ist dieser Ansatz ungeeignet, weil die Komplexität für den Menschen schwer nachvollziehbar ist.

Beispiele zu generieren, ist eine weitere, einfache Methode, algorithmische Entscheidungen und Empfehlungen zu erklären. Beispielhafte Erklärungen knüpfen an das kontrastierende Denken von Menschen an. Oft erklären sich Menschen Ereignisse oder Zustände mit Gegenbeispielen, um Zusammenhänge zu veranschaulichen oder wesentliche Unterschiede zwischen den Fällen zu isolieren. Im Fall einer Bonitätsprüfung könnte das KI-System konkrete Beispiele ausgeben, wie sich die Bonitätsnote verbessern lässt.

Eine in der Praxis weitverbreitete Methode ist LIME (local interpretable model-agnostic explanations, vergleiche LIME 2020). Dieses Verfahren identifiziert jene Merkmale (zum Beispiel Text, Farbe, Form, Größe), die für die Entscheidung eines neuronalen Netzes ausschlaggebend sind. Hat man beispielsweise ein neuronales Netz, das Kundenbonitäten prüft, so könnte das Merkmal Unternehmensalter entscheidender sein als das Merkmal Branchenzughörigkeit.

LIME generiert in mehreren Schritten ein zweites für Menschen verständliches, transparentes Erklärungsmodell, um das zugrunde liegende Blackbox-Modell zu imitieren: Auf diese Weise wird ein Entscheidungsbaum als Blackbox implementiert und das zweite interpretierbare beziehungsweise überlagernde Modell generiert daraus die Erklärungen.

Eine spezielle für neuronale Netze geeignete Erklärungsmethode ist das Verfahren LPR (layer-wise relevance propagation, LPR 2020), das sich vor allem für Bilderkennung eignet. Vereinfacht lässt man ein neuronales Netz umgekehrt beziehungsweise rückwärts laufen, um zu erkennen, welcher Input welchen Einfluss auf den jeweiligen Output hatte (zum Beispiel im Einzelfall, wie das neuronale Netz eine Bonitätsnote bestimmt hat). Eine Vorhersage ermittelt, welche Parameter der Kundendaten in besonderem Maße zur Aktivierung von Neuronen führten.

Fazit

XAI schafft die Voraussetzung zur Validierung komplexer Entscheidungsmodelle. Es lassen sich „Blackbox-Modelle“ in „Whitebox-Lösungen“ transformieren, um damit das Vertrauen der Nutzer zu gewinnen. Die Methoden von XAI unterstützen Fachexperten, Entwickler und fachfremde Anwender, KI-Systeme besser zu verstehen. Mit XAI lassen sich Fehler und Schwachstellen aufdecken und korrigieren. Europäische Datenschutzgesetze in Bezug auf das sogenannte „right to explanation“ könnten den Einsatz von XAI zwingend notwendig machen.

Literatur
Bellotti, V., Edwards, K. (2009): Intelligibility and accountability: Human considerations in contextaware systems. Hum. Comput. Interact. 16, 193–212.
LIME Python-Bibliothek (2020): Startseite: https://github.com/marcotcr/lime/ (abgerufen: 20. März 2020).
LPR Python-Bibliothek (2020): https://github.com/prashanth41/Layer-wise_relevance_propagation/ (abgerufen: 20. März 2020).

Autor
Prof. Dr. Dirk Neuhaus, MBA ist Professor für Informationssysteme in Finanzdienstleistungsunternehmen an der Hochschule der Sparkassen-Finanzgruppe in Bonn und forscht auf dem Gebiet der künstlichen Intelligenz.