13.12.2021 – Kategorie: Geschäftsstrategie

Fairness: Wie sich Diskriminierung in automatisierten Prozessen verhindern lässt

Ein Unternehmen steht kurz vor der Umsetzung eines Use Cases im Data-Science-Bereich. Nun steht einem datengetriebenen Business nichts mehr im Weg. Häufig wird aber bei den Modellen die Fairness übersehen.

Stellen Sie sich vor, Ihr Unternehmen befindet sich am Ende seiner Reise hin zu einem ersten erfolgreichen Use Case im Data Science. Die Infrastruktur ist geschaffen, die Modelle trainiert, der Prozess ist transformiert. Die Ergebnisse sind hervorragend und voller Stolz wird der Schritt in Richtung eines datengetriebenen Business verkündet. Was kann jetzt noch schief gehen? Bei den meisten Data-Science-Anwendungsfällen gibt es einen entscheidenden Blind Spot: den der Fairness der Modelle und der daraus folgenden Konsequenzen.

KI-Algorithmen auf Basis von Fairness gestalten

Fast alle Unternehmen stehen vor der Frage, wie sie aus ihren Daten Mehrwert kreieren können. An der Herausforderung, die richtigen Use Cases für Data Science und künstlicher Intelligenz auszuwählen, umzusetzen und zu operationalisieren, scheitern immer noch viele. Häufig sind die Ergebnisse aufgrund der Datenqualität nicht gut genug. Denn es fehlt die Expertise im Data Science oder die Prozesse wurden nicht entsprechend angepasst. Deshalb ist es nicht verwunderlich, dass die Frage, ob die Entscheidungen der eingesetzten Algorithmen Fairness berücksichtigen, in den meisten Fällen außen vorgelassen wird.

Zum einen mangelt es am Bewusstsein für das Thema. Zum anderen am Know-how, wie Algorithmen auf Basis von Fairness gestaltet werden können. Dass das Thema sich aber nicht ignorieren lässt, zeigen auch die Anstrengungen der Europäischen Union, die 2019 ethische Richtlinien für eine vertrauenswürdige KI vorgelegt hat. Es stellt sich die Frage, wie Unternehmen sicherstellen können, dass ihre Data Science & KI Use Cases frei von Diskriminierung sind.

Wie kommt es dazu, dass Algorithmen diskriminieren?

Häufig ist die Grundannahme, dass Algorithmen objektiv entscheiden, also auf Zahlen, Daten und Fakten basieren. Diese Annahme ist nicht falsch, jedoch wird dabei außer Acht gelassen, dass die Datengrundlage, auf der Algorithmen trainiert werden, häufig eine real existierende Diskriminierung beinhaltet und somit beim Training übertragen wird. Wenn zum Beispiel ein Algorithmus Bewerbungen danach filtern soll, welche davon vielsprechend sind, dann wird sich der Algorithmus an den bisherigen Einstellungen im Unternehmen orientieren, welche die Datenbasis fürs Training bilden.

So machte Amazon bereits 2014 die Erfahrung, dass das algorithmische System für den unternehmenseigenen Einstellungsprozess Bewerber in der Softwareentwicklung nicht geschlechtsneutral bewertete. Und somit dem bisherigen Einstellungsmuster folgte, in dem männliche Bewerber und Einstellungen deutlich überrepräsentiert waren. Das Bekanntwerden dieses Umstandes hatte einen medialen Aufschrei zur Folge und führte zu einem enormen Reputationsverlust von Amazon.

Wann ist eine Entscheidung fair und wann unfair?

Die Fairness einer Entscheidung, ob von einem Menschen oder einer Maschine getroffen, ist nicht immer eindeutig. Beispielsweise könnte man eine Entscheidung als fair erachten, wenn alle betrachteten Gruppen zu gleichen Teilen eine positive oder negative Entscheidung erhalten. Man könnte hier an eine Kreditentscheidung denken und diese als fair einstufen. Wenn also sowohl Männer als auch Frauen mit gleichen Quoten einen Kredit erhalten. Genauso ist es denkbar, die Entscheidung als fair zu beurteilen, wenn die Quoten der Zusagen für beide Gruppen auf einem gleichen Niveau sind. Vorausgesetzt, die Personen qualifizieren sich dafür.

Im Kreditbeispiel würde das bedeuten, dass die Entscheidung, ob eine Person einen Kredit erhält oder nicht, nicht pauschal über beide Gruppen gleichverteilt ist, sondern nur für die Personen, die sich grundsätzlich für einen Kredit qualifizieren. Dies stellt im in diesem Fall eine deutlich realitätsnähere und wirtschaftlichere Definition von Fairness dar. Warum aber auch diese Definition für das beschriebene Beispiel nicht optimal ist und wie für den jeweiligen Use Case die richtige Definition gewählt wird, wird im Whitepaper „Relevanz von fairen Algorithmen für Unternehmen“ von Horváth genauer erläutert.

Das Kreditbeispiel zeigt, dass für dieselbe Fragestellung verschiedene Kriterien für Fairness in Frage kommen. Die Wahl des jeweiligen Kriteriums, nach dem die Fairness eines Modells gemessen werden soll, ist stark vom Kontext des Business abhängig. Auch die sensitiven Attribute, die geschützt werden müssen, können sich je nach Anwendung unterscheiden.

So gelangt Fairness in Algorithmen

Um die Fairness von Algorithmen sicherzustellen, gibt es zum einen technische Möglichkeiten in der Entwicklung, zum anderen organisatorische Hebel im Unternehmen. Technische Möglichkeiten setzen im Wesentlichen an den folgenden drei Schritten einer klassischen Machine-Learning-Pipeline bestehend aus Datenvorverarbeitung, Modellierung, sowie (Ergebnis-)Nachverarbeitung an:

  • Pre-processing: Transformation der Daten vor dem Modell-Training, zum Beispiel über Resampling. Das heißt Datenpunkte unterrepräsentierter Gruppen werden künstlich dem Trainingsdatensatz hinzugefügt, um diese stärker zu gewichten.
  • In-processing: Adjustierung des Modells während des Trainings, zum Beispiel über Regularization. Das heißt das Modell erhält einen Strafterm für Entscheidungen, die der Fairness-Definition nicht entsprechen und erhält so den Anreiz, die Fairness der Entscheidung im Training mit zu optimieren.
  • Post-processing: Anpassen der Modellergebnisse nach dem Training, beispielsweise über Equalized Odds Processing. Das heißt die Modellergebnisse werden Wahrscheinlichkeits-basiert korrigiert, um die Ergebnisse unter Fairness-Aspekten auszugleichen.

Schritte auf dem Weg zur Sensibilisierung

Auch in der Unternehmensorganisation gibt es wichtige Hebel und Leitplanken zur Fairness-Sensibilisierung, die bereits vor der eigentlichen Lösungsentwicklung den Weg für diskriminierungsfreie Algorithmen ebnen:

  • Stakeholder identifizieren: Wer ist von der Entscheidung betroffen? Wer in der Entwicklung und Anwendung beteiligt?
  • Bewusstsein im Entwicklungsprozess schärfen: Hat das Entwicklungsteam die Awareness für das Thema Fairness?
  • Spezifische Definition von Fairness je Business-Kontext festlegen: Welche Fairness Definition ist geeignet für die modellierte Entscheidung?
  • Einführung eines Audit-Prozesses für algorithmische Lösungen: Wie wird kontrolliert, ob der Algorithmus fair entscheidet?
  • Forschung und Regulatorik aufmerksam verfolgen: Wie verändert sich die Gesetzgebung und welche neuen Methoden entwickelt?

Ziel sollte es sein, ein Unternehmens- und Business-spezifisches Bias-Impact-Statement zu erarbeiten, welches integraler Teil von algorithmischen Lösungsentwicklungen im Unternehmen ist. Dieses kann je nach Anforderung der Organisation angepasst werden, ist aber für alle Entwicklungsprozesse einheitlich und stringent zu befolgen. Es stellt einen verantwortungsvollen Umgang mit von Algorithmen erstellten Entscheidungsvorlagen beziehungsweise vollautomatisierten Entscheidungen im Unternehmen sicher. So kann vermieden werden, dass die eingesetzten Algorithmen unethisch handeln oder gegen geltendes Recht verstoßen.

Automatisierte Fairness auf dem Prüfstand

Automatisierte Fairness ist Arbeit und gehört regelmäßig auf den Prüfstand. Zwar enthalten auch von Menschen geführte Entscheidungsprozesse Fehler und benachteiligen teilweise systematisch Gruppen oder Individuen. Diese werden aber häufig akzeptiert oder als Einzelfälle eingestuft, insbesondere auch, weil sie im Gegensatz zu KI in der Regel nicht systematisch erfasst oder analysiert werden. Algorithmen haben das Potenzial, fairer und transparenter als Menschen zu entscheiden. Doch dies erfordert ein intensives Beobachten und ständiges Anpassen der Modelle. Vernachlässigt dies ein Unternehmen, können in den Daten vorhandene Ungleichheiten noch verstärkt werden. Ein Risiko, das sich die Unternehmen nicht länger leisten können. Denn es ist auch zu erwarten, dass die Regulatorik im Bereich künstliche Intelligenz auf nationaler und auf transnationaler Ebene in Zukunft stärker eingreifen wird. Dies zeigt auch das Vorgehen der EU in letzter Zeit.

Fairness Horwath
Benjamin Grether ist Senior Data Scientist bei Horváth. (Bild: Horváth)

Über den Autor: Benjamin Grether ist Senior Data Scientist und Experte für Artificial Intelligence und Machine Learning bei der Managementberatung Horváth. Zuvor war er als Analyst und Researcher tätig. Grether hat einen Masterstudiengang in Mathematik an der TU München absolviert und seine Thesis am Londoner Imperial College erarbeitet. Eine weitere Station seines Studiums ist die Pennsylvania State University. (sg)

Lesen Sie auch: Diversität und Inklusion: Nur jedes zehnte Unternehmen ist Vorreiter bei der Umsetzung


Teilen Sie die Meldung „Fairness: Wie sich Diskriminierung in automatisierten Prozessen verhindern lässt“ mit Ihren Kontakten:


Scroll to Top