Wörtlich übersetzt “Verzerrung” oder “Abweichung”: Beschreibt zunächst eine fehlerhafte Abbildung der Realität. Das kann sowohl auf Menschen (kognitiver Bias) zutreffen, aber auch auf Technologien, z.B. ein Thermometer, welches systematisch zu hohe Temperaturen anzeigt. Im Kontext von KI wird der Begriff häufig im Sinne von Unfairness oder Diskriminierung verwendet, wenn die Ergebnisse eines KI-Systems systematisch von einer sozialen Norm abweichen, also beispielsweise Angehörige bestimmter demographischer Gruppen bevorzugen oder benachteiligen. Dies kann unterschiedliche Gründe haben: Beispielsweise können die für das Training verwendeten Daten eine verzerrte statistische Verteilung aufweisen. Ein bekanntes Beispiel ist eine von Amazon für die Personalauswahl getestete Software, die Frauen benachteiligte - denn in der als Datenquelle genutzten Einstellungshistorie des Unternehmens waren sie unterrepräsentiert.
Biases können auch auftreten, obwohl das betreffende Merkmal (z.B. Geschlecht) nicht explizit in den Daten enthalten ist. Denn stark korrelierende Merkmale (sog. Proxies) im Datensatz, die teilweise relevant für die zu lösende Aufgabe sein können, lassen Rückschlüsse auf die von Bias betroffenen Merkmale zu. Technische Lösungsansätze, die auf einer Entfernung der betreffenden Merkmale beruhen (sog. “Fairness Through Unawareness”), haben sich daher als ineffektiv herausgestellt. Stattdessen werden verschiedene Methoden angewandt, um mithilfe der betroffenen Merkmale Verzerrungen zu erkennen und auszugleichen.
