Im ersten Teil meines Blogs habe ich argumentiert, dass die Beschäftigung mit künstlicher Intelligenz (KI) und Ethik keine rein philosophische oder gesellschaftspolitische Fragestellung ist. Eines ist klar: Die Ethik-Debatten werden in diesem Jahr weitergehen und sich stärker an den realistischen Möglichkeiten und Risiken von KI orientieren. Unternehmen und Organisationen, die Entscheidungen automatisieren wollen, müssen darauf vorbereitet sein, auf die Frage zu antworten, wie sie zu genau diesen Entscheidungen kommen.

Viele Fragen fordern viele Antworten

Als Kunde, Verbraucher, Bürger oder Patient habe ich ein eminentes Interesse zu verstehen, warum ich den angefragten Kredit oder die Versicherung nicht bekomme. Oder warum mir anhand einer datenbasierten Diagnostik ein bestimmtes medizinisches Risiko attestiert wird. Welche Daten wurden dazu verwendet? Habe ich überhaupt das Einverständnis zur Nutzung meiner Daten gegeben? Sind die Entscheidungen vorurteilsfrei zustande gekommen? Können die anwendenden Unternehmen wirklich wollen, dass die fraglichen Entscheidungen ohne menschliche Kontrolle getroffen werden? Und wie kann eine solche Kontrolle überhaupt aussehen? Die relevanten Stichworte für Unternehmen sind also Governance des Entscheidungsprozesses, Transparenz und Erklärbarkeit der Entscheidung. Alle Betroffenen müssen algorithmisch und datenbasiert getroffenen Entscheidungen vertrauen können – und zwar ohne Algorithmen, Prozesse oder Entscheidungsregeln komplett zu verstehen.

Wie können wir uns aus Prozess- und Methodensicht dieser Frage der Nachvollziehbarkeit stellen? Wie bekommt ein Unternehmen die notwendige Transparenz hin? Was umfasst der Begriff „Governance“ in diesem Zusammenhang?

Governance, ja! Aber was ist genau damit gemeint?

In seinem Bericht „The Automated Actuarial“ stellt Scott Shapiro von KPMG die „vier Säulen des Vertrauens“ dar. Seine Empfehlungen sind allgemeingültig und gelten durchaus nicht nur für Versicherungsmathematiker (auch wenn diese in besonderem Maße auf Transparenz und Nachvollziehbarkeit angewiesen sind). Die vier Säulen sind Qualität, Resilienz, Integrität und Effektivität. Und dazu sollten Unternehmen folgende Punkte beachten.

1. Zeigen Sie auf, welche Daten Sie in welcher Qualität verwendet haben. Alle Entscheidungen beruhen schließlich auf Daten. Und je weniger das eigene Unternehmen diese Daten unter Kontrolle hat, desto wichtiger ist eine klare Einschätzung, wo sie herkommen, wie sie entstanden und wie gut sie sind. Das ist insbesondere für die vielen „neuen“ Datenarten aus den Bereichen Telematik und IoT, aber auch für externe Daten aus offenen Quellen, für Bilder oder Texte wichtig.
2. Sie sollten sich die Frage stellen: Wie belastbar ist eigentlich mein analytischer Gesamtprozess (Resilienz)? Habe ich nur einen einmaligen Laborprozess? Oder ist meine Analyse auf Langfristigkeit ausgelegt? Hier gilt es, die Governance und Sicherheit entlang der gesamten analytischen Prozesskette – von den Daten bis zur automatisierten Entscheidung – sicherzustellen.
3. Stellen Sie die Integrität der Datenanalyse sicher. Dokumentieren Sie Prozesse und die Wahl Ihrer Methoden. Passen sie zur Fragestellung? Sind sie mathematisch angemessen? Können Sie das Vorgehen erklären und rechtfertigen?
4. Macht Analytics das, was sie soll (Effektivität)? Sind ihre Aussagen zuverlässig? Ist sie diskriminierungsfrei?

Datenqualität ist nicht gleich Datenqualität

Mit einer durchgängigen leistungsstarken Analytics-Plattform lassen sich diese Punkte bereits sehr gut umsetzen. Denn schon die Frage nach der Datenqualität kann sehr unterschiedlich ausfallen – je nachdem, ob sie im Zusammenhang mit Analytics und maschinellem Lernen oder klassischen Managementberichten gestellt wird. Wenn wir uns den Gesamtprozess anschauen, dann sollte ein besonderer Fokus auf der Durchgängigkeit von den Daten bis zur Entscheidung liegen. Zu viele Workarounds und Werkzeugbrüche führen nämlich immer zu manuellen Schritten, Schattensystemen und damit kaum kontrollierbarer Governance. Hier spielt auch die Auditierbarkeit eine wesentliche Rolle: Kann ich nachweisen, wer für wen auf Basis welcher Daten, welcher Modellversion und welchen Geschäftsregeln welche Entscheidung getroffen hat? Und durften die Daten zu diesem Zweck verwendet werden? Automatische Dokumentation, transparente Vergleichsmöglichkeiten von Algorithmen sowie Optionen zur effektiven und agilen Zusammenarbeit im Team (Stichwort DataOps) ergänzen die für die vier Säulen des Vertrauens erforderlichen Fähigkeiten.

Licht in die Blackbox

Aber fehlt da nicht noch etwas? Richtig: Macht der Algorithmus selbst das, was er soll? Im dritten und letzten Teil meines Blogs schauen wir uns den Aspekt Effektivität näher an. Dabei geht es auch darum, wie sich Licht in die „Blackbox“ der Lernalgorithmen bringen lässt.