KI-gesteuerte Entscheidungsfindung kollidiert zunehmend mit Datenschutz- und Einwilligungsregeln und birgt das Risiko von Voreingenommenheit, Intransparenz und Rechtsverstößen. Globale Regulierungsbehörden, allen voran die EU, schreiben Transparenz, Erklärbarkeit und menschliche Aufsicht für risikoreiche KI vor. Unternehmen müssen proaktive Governance, Datenschutz durch Technikgestaltung und aussagekräftige Einwilligungen einführen, um Rechenschaftspflicht, Fairness und Vertrauen zu gewährleisten.
Die zunehmende Nutzung künstlicher Intelligenz (KI) bei wichtigen Entscheidungen hat eine neue Klasse rechtlicher und ethischer Risiken mit sich gebracht und stellt etablierte Datenschutzrahmen grundlegend in Frage. KI-gesteuerte Systeme in Sektoren wie dem Finanz- und Personalwesen treffen zunehmend Entscheidungen mit erheblichen Auswirkungen auf Einzelpersonen, oft basierend auf umfangreichen Datensätzen, die ohne echte, informierte Zustimmung erhoben wurden.
Die Herausforderung geht über das bloße Fehlen einer Einwilligung per Ankreuzfeld hinaus; sie wurzelt in der inhärenten Intransparenz von KI-Systemen, einem Phänomen, das allgemein als „Black-Box-Problem“ bekannt ist. Dieser Mangel an Transparenz macht es technisch und rechtlich paradox, eine wirklich informierte und aussagekräftige Zustimmung einzuholen.
Regulierungsbehörden weltweit, einschließlich der Europäischen Union und der Vereinigten Staaten, nehmen keine reaktive Haltung mehr ein. Sie definieren proaktiv neue, strenge Regeln für KI-Anwendungen, die als „hochriskant“ eingestuft werden, und konzentrieren sich dabei auf Prinzipien wie Transparenz, Erklärbarkeit und sinnvolle menschliche Kontrolle.
Präzedenzfälle im Finanz- und Arbeitswesen haben gezeigt, dass Unternehmen sowohl bei Datenschutzverletzungen als auch bei algorithmischer Verzerrung einer erheblichen rechtlichen und finanziellen Haftung ausgesetzt sind.
Es gibt eine Reihe von Rechtsinstrumenten zur Regelung automatisierter Entscheidungsfindung. Zusammengenommen zeigen sie eine globale regulatorische Konvergenz in Bezug auf einige zentrale Prinzipien: Transparenz, Rechenschaftspflicht und das Recht auf menschliches Eingreifen.
Die Europäische Union hat sich als weltweit führende Institution in der KI- und Datenschutzregulierung etabliert. Zwei wegweisende Rechtsrahmen regeln die automatisierte Entscheidungsfindung gemeinsam: die DSGVO (insbesondere Artikel 22, der das Recht auf menschliches Eingreifen ermöglicht) und das EU-KI-Gesetz.
Grundlage der EU-Verordnung zur automatisierten Entscheidungsfindung ist Artikel 22 der Datenschutz-Grundverordnung (DSGVO). Diese Bestimmung begründet das Grundrecht natürlicher Personen, „nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die für sie rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt“. Dies gilt für eine Vielzahl von Anwendungen, darunter Kredit-Scoring, Bewerbungsfilterung und Predictive Policing. Ziel ist es, betroffene Personen vor potenziell unfairen oder undurchsichtigen Entscheidungen zu schützen, die ohne menschliche Kontrolle getroffen werden.
Dieses Recht ist zwar wirksam, aber nicht absolut. Artikel 22 nennt klare Ausnahmen, unter denen ausschließlich automatisierte Entscheidungen zulässig sind. Doch selbst wenn eine Ausnahme gilt, bleibt der Verantwortliche verpflichtet, „geeignete Maßnahmen zum Schutz der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person“ zu ergreifen. Diese Schutzmaßnahmen müssen mindestens das Recht auf menschliches Eingreifen des Verantwortlichen, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung umfassen. Die Anforderungen sollen eine faire Verarbeitung gewährleisten, indem sie die betroffenen Personen vor Entscheidungen schützen, die von einer Maschine getroffen werden, ohne dass eine klare Möglichkeit zur Überprüfung oder Anfechtung durch einen Menschen besteht.
In Abstimmung mit der DSGVO bietet der EU-KI-Act ein detaillierteres, risikobasiertes Klassifizierungssystem für KI-Anwendungen. Die beiden Verordnungen stehen in einem symbiotischen Verhältnis zueinander; der KI-Act stellt klar, dass die DSGVO immer dann gilt, wenn personenbezogene Daten von einem KI-System verarbeitet werden.
Der KI-Act stuft KI-Systeme, die „ernsthafte Risiken für Gesundheit, Sicherheit oder Grundrechte“ bergen können, als „hochriskant“ ein. Diese Einstufung umfasst KI-Anwendungen in kritischen Bereichen wie der Kreditwürdigkeitsprüfung, bei Einstellungsentscheidungen wie der Sortierung von Lebensläufen und Leistungsbeurteilungen sowie bei Komponenten wesentlicher Dienste. Für diese Systeme legt der KI-Act strenge Verpflichtungen fest, darunter die Anforderung menschlicher Aufsicht, eine robuste Erkennung und Minderung von Verzerrungen sowie ein hohes Maß an Transparenz und Genauigkeit.
In den USA ist die Rechtslandschaft für KI-Entscheidungen fragmentierter. Es gibt kein einheitliches Bundesgesetz zur KI, doch von Bundesstaat zu Bundesstaat entstehen neue Regelungen zur Regulierung des Einsatzes automatisierter Technologien. In Kalifornien beispielsweise hat die California Privacy Protection Agency (CPA) Regelungen für den Einsatz automatisierter Entscheidungsfindungstechnologien (ADMT) vorgeschlagen.
Auf Bundesebene wenden Regulierungsbehörden Bürgerrechtsgesetze aktiv auf neue Technologien an, wie beispielsweise die Equal Employment Opportunity Commission (EEOC). Dabei stehen KI und algorithmische Verzerrungen im Mittelpunkt ihrer Bemühungen zur Beseitigung von Einstellungsverzerrungen. Im Finanzsektor bietet der Fair Credit Reporting Act (FCRA) eine langjährige Rechtsgrundlage für den Verbraucherschutz bei automatisierten Entscheidungen. Der FCRA schreibt vor, dass Einzelpersonen einer Bonitätsprüfung zustimmen müssen, über negative Entscheidungen informiert werden und das Recht haben, automatisierte Entscheidungen anzufechten.
Automatisierte KI-Entscheidungen haben in verschiedenen Branchen, darunter im Finanz- und Personalwesen, zu rechtlichen und ethischen Verstößen geführt.
KI revolutioniert den Finanzsektor, indem sie den „digitalen Fußabdruck“ einer Person – Daten aus Surfgewohnheiten, Online-Käufen und E-Mail-Anbietern – analysiert, um die Kreditwürdigkeit über herkömmliche Scores hinaus vorherzusagen. Diese Praxis zielt zwar auf eine Ausweitung des Kreditzugangs ab, birgt aber erhebliche Risiken für Datenschutz und Diskriminierung.
Der Einsatz von KI bei finanziellen Entscheidungen trägt nachweislich dazu bei, bestehende gesellschaftliche Diskriminierung zu verfestigen und zu verstärken. Eine Studie ergab erhebliche Unterschiede bei der Kreditvergabe: Schwarze Antragsteller erhielten 28 % weniger Bewilligungsquoten als weiße Antragsteller, selbst nach Berücksichtigung des finanziellen Hintergrunds. Der Fall der algorithmischen Diskriminierung bei Wells Fargo ist ein Paradebeispiel.
Gleichzeitig setzt die umfangreiche Erhebung und Verarbeitung sensibler personenbezogener Daten durch KI-gesteuerte Kredit-Scoring-Modelle Einzelpersonen einem erhöhten Risiko von Datenschutzverletzungen und -missbrauch aus. Der Equifax-Datendiebstahl im Jahr 2017, bei dem die personenbezogenen Daten von fast 148 Millionen Menschen kompromittiert wurden, ist ein krasses Beispiel für die Schwachstellen, die die Zentralisierung riesiger Datensätze für die algorithmische Nutzung mit sich bringt. Dieser Vorfall unterstreicht, dass der Datenhunger von KI-Modellen, der oft die Erfassung von mehr Informationen erfordert als für einen bestimmten Zweck erforderlich, die Angriffsfläche für Cyberkriminelle und Insider-Bedrohungen vergrößert und gleichzeitig den Grundsätzen der Datenminimierung widerspricht, die den Kern der Datenschutzgesetze und deren integrierte Mechanismen zur begrenzten und spezifischen Einwilligung zur Nutzung bilden.
Der Einsatz von KI im Personalwesen ist weit verbreitet – von Screening-Tools, die Tausende von Lebensläufen prüfen, bis hin zu Analysetools, die die Mitarbeiterproduktivität überwachen und sogar Mimik oder Stimmlage in Videointerviews analysieren. Dieser Sektor stellt eine einzigartige Reihe von Herausforderungen in Bezug auf Datenschutz und Diskriminierung dar.
Ein Fall im Personalwesen ist ein Vergleich der EEOC mit der iTutorGroup. Das Unternehmen nutzte ein fest programmiertes Programm, das automatisch weibliche Bewerber über 55 und männliche Bewerber über 60 ablehnte. Der Fall zeigte, dass die rechtliche Haftung sich auf jedes „technologiegestützte Auswahlverfahren“ erstreckt – nicht nur auf komplexe KI –, das gegen bestehende Antidiskriminierungsgesetze verstößt, unabhängig von seiner technischen Komplexität. Es ist eine klare Warnung, dass ein Unternehmen für die Entscheidungen seiner automatisierten Tools, auch von Drittanbietern, verantwortlich bleibt.
Das britische Information Commissioner's Office (ICO) hat Leitlinien zum Einsatz von KI im Recruiting herausgegeben, die auf qualitativer Forschung unter Arbeitssuchenden basieren. Die Studie zeigte weit verbreitete Frustration über den Mangel an Transparenz bei KI-gestützten Einstellungen. Viele Kandidaten hatten das Gefühl, „von einer Maschine abgelehnt zu werden, ohne dass ein Mensch ihre Bewerbung jemals geprüft hätte“, was zu Ungerechtigkeitsgefühlen und einem Vertrauensverlust in den Einstellungsprozess führte.
Dies verdeutlicht ein erhebliches Reputationsrisiko. Ohne klare Offenlegung des KI-Einsatzes riskieren Unternehmen, potenzielle Kandidaten zu vergraulen und ihrer Arbeitgebermarke zu schaden. Die Ergebnisse des ICO unterstreichen, wie wichtig es ist, zu kommunizieren, wie ein KI-System funktioniert und welche Daten es verwendet, nicht nur um Datenschutzgesetze einzuhalten, sondern auch um Vertrauen in der Öffentlichkeit aufzubauen.
Die rechtlichen und ethischen Verstöße bei automatisierten Entscheidungen sind keine Einzelfälle, sondern Symptome eines tieferen, miteinander verbundenen Problemkomplexes. Das Fehlen einer echten Einwilligung ist ein primärer Indikator für ein systematisches Versäumnis, grundlegende Datenschutzprinzipien einzuhalten.
Das „Black-Box“-Problem und der Einwilligungsirrtum
Viele fortschrittliche KI-Modelle, insbesondere Deep-Learning-Systeme, funktionieren wie „Black Boxes“, deren interne Funktionsweise und die Logik hinter ihren Entscheidungen selbst für ihre Entwickler rätselhaft sind. Diese technische Realität führt zu einem grundlegenden Konflikt mit einem zentralen Rechtsprinzip des Datenschutzes: der Möglichkeit, eine echte, informierte Einwilligung einzuholen.
Eine Person kann keine wirklich informierte Einwilligung zur Datenverarbeitung geben, wenn sie nicht versteht, „welche Daten erhoben, wie sie analysiert und welche Entscheidungen auf der Grundlage der Daten getroffen werden“. Die rechtliche Verpflichtung zur Einholung einer „ausdrücklichen Einwilligung“ wird zum Paradoxon, wenn die Person um ihre Einwilligung zu einem unbekannten und unergründlichen Prozess gebeten wird. Das Transparenzerfordernis des Rechtsrahmens ist daher eine direkte Gegenmaßnahme zum technischen Problem der Intransparenz.
Dieses Spannungsfeld wurde in einem richtungsweisenden Urteil des Europäischen Gerichtshofs (EuGH) thematisiert. Der Fall betraf einen österreichischen Mobilfunkbetreiber, der einem Kunden aufgrund einer automatisierten Bonitätsprüfung durch eine Drittagentur einen Vertrag verweigerte. Der Kunde verlangte Auskunft über die Logik hinter der automatisierten Entscheidung, doch die Auskunftei lehnte dies unter Berufung auf den Schutz von Geschäftsgeheimnissen ab. Das Urteil des EuGH bestätigte, dass das Recht der betroffenen Person auf „aussagekräftige Informationen über die zugrunde liegende Logik“ Vorrang vor einer pauschalen Ablehnung aufgrund von Geschäftsgeheimnissen hat.
Das Gericht stellte klar, dass die Offenlegung komplexer Algorithmen zwar nicht erforderlich ist, jedoch eine „hinreichend detaillierte Erläuterung der Entscheidungsverfahren und -grundsätze“ erforderlich ist. Diese Erläuterung muss es den Betroffenen ermöglichen, die personenbezogenen Datenfaktoren zu verstehen, die die Entscheidung beeinflusst haben, und wie Abweichungen in diesen Daten das Ergebnis verändern können.
Dieses Urteil ist ein starkes juristisches Statement, dass die Regulierungsbehörden bereit sind, Geschäftsinteressen den grundlegenden Datenschutzrechten unterzuordnen und so einen Übergang zu einer besser erklärbaren KI erzwingen.
KI-Systeme benötigen ständig mehr Daten, und ihre Entwicklung erfordert die Erfassung riesiger Datenmengen. Dies kann zur Erfassung unnötiger oder sensibler Informationen führen und somit gegen den Grundsatz der Datenminimierung verstoßen. Wenn diese nicht einwilligungspflichtigen und oft übermäßigen Daten den „digitalen Fußabdruck“ einer Person oder biometrische Informationen enthalten, stellt dies eine Datenschutzverletzung dar.
Schlimmer noch: Diese Daten spiegeln oft historische Muster und systemische menschliche Vorurteile wider. Beim Training von KI-Modellen werden diese Vorurteile nicht nur repliziert, sondern verstärkt, was zu diskriminierenden Ergebnissen in Bereichen wie Kreditvergabe und Beschäftigung führt. Der kausale Zusammenhang ist direkt: Die Nichteinhaltung von Datenschutzgrundsätzen (Datenminimierung, Zweckbindung) trägt zur Entstehung und Aufrechterhaltung algorithmischer Diskriminierung bei.
Die gängige regulatorische Lösung der „menschlichen Aufsicht“ ist kein Allheilmittel. Während viele Rechtsrahmen und Best Practices die Bedeutung „sinnvollen menschlichen Eingreifens“ betonen, deuten die Erkenntnisse darauf hin, dass dessen Wirksamkeit kaum mehr als eine Illusion sein kann. Einfache menschliche Beteiligung im Vorfeld, etwa durch die Bereitstellung von Eingabedaten, macht die endgültige Entscheidung nicht zu einer „menschlichen Entscheidung“. Ein erhebliches Risiko besteht zudem in der „Automatisierungsverzerrung“, bei der sich menschliche Prüfer zu sehr auf die Ergebnisse eines KI-Systems verlassen und so den Zweck der Kontrolle untergraben.
Unternehmen müssen von einem reaktiven Compliance-Modell zu einem proaktiven, integrierten Governance-Rahmenwerk wechseln, um ihre Verpflichtungen zum Datenschutz und Einwilligungsmanagement mit ihrem Wunsch, KI in ihre Entscheidungsfindung einzubeziehen, in Einklang zu bringen.
Compliance muss bereits in den frühesten Phasen des Systemlebenszyklus beginnen. Voraussetzung für den Einsatz jedes risikoreichen KI-Systems sollte die Durchführung einer Datenschutz-Folgenabschätzung (DPIA) und einer algorithmischen Folgenabschätzung (AIPA) sein. Diese Bewertungen bewerten Datenschutzrisiken, das Potenzial für Verzerrungen sowie die Notwendigkeit und Verhältnismäßigkeit des Systemeinsatzes.
Unternehmen müssen sich darüber hinaus darüber im Klaren sein, dass die Auslagerung von ADMT an Drittanbieter sie nicht vor Haftung schützt. Unternehmen bleiben für die Überwachung der Anbieter verantwortlich und müssen sicherstellen, dass Servicevereinbarungen, Datenverarbeitungsvereinbarungen und Sicherheitszertifizierungen den geltenden rechtlichen und ethischen Standards entsprechen.
Unternehmen müssen klare und zugängliche Informationen über ihren KI-Einsatz bereitstellen. Dazu gehört die Entwicklung klarer Richtlinien und deren Kommunikation mit Mitarbeitern, Bewerbern und Verbrauchern. Diese Informationen sollten den Zweck der Technologie, die Art der verwendeten Daten und die Personen, die darauf Zugriff haben, angeben.
Das Black-Box-Problem muss proaktiv durch den Einsatz von erklärbaren KI-Techniken (XAI) angegangen werden. Komplexe Algorithmen müssen zwar nicht offengelegt werden, Unternehmen müssen jedoch aussagekräftige Informationen über die zugrunde liegende Logik bereitstellen können, damit Einzelpersonen die Faktoren nachvollziehen können, die zu einer Entscheidung geführt haben.
Unternehmen sollten sich außerdem von pauschalen Zustimmungsmodellen „alle akzeptieren“ verabschieden und stattdessen einen Rahmen schaffen, der Einzelpersonen präzise Kontrolle darüber gibt, welche Daten sie teilen und wie diese verwendet werden.
Compliance erfordert konkrete Schutzmaßnahmen, die Einzelpersonen Handlungsfreiheit geben. Menschliche Kontrolle ist unerlässlich, muss aber sinnvoll sein. Dies erfordert die Beteiligung eines Menschen nach der automatisierten Entscheidung, der das tatsächliche Ergebnis überprüft.
Schließlich müssen Unternehmen klare und einfache Möglichkeiten für Einzelpersonen schaffen, automatisierte Entscheidungen anzufechten.
Automatisierte KI-Entscheidungsfindung stellt eine komplexe Herausforderung dar, die rechtliche, technische und ethische Bereiche berührt. Der nicht einwilligungsbasierte Algorithmus birgt erhebliche Risiken nicht nur für die Privatsphäre des Einzelnen, sondern auch für Fairness und Gleichberechtigung. Das „Black-Box“-Problem untergräbt das Prinzip der informierten Einwilligung grundlegend und zwingt Regulierungsbehörden und Gerichte, neue Regeln für mehr Transparenz zu schaffen.
Der Übergang von reaktiver Durchsetzung zu proaktiver, risikobasierter Regulierung ist ein klares Signal dafür, dass Compliance keine einmalige Übung sein kann. Unternehmen müssen rechtliche und ethische Aspekte in die Gestaltung ihrer KI-Systeme integrieren und sicherstellen, dass diese standardmäßig transparent, erklärbar und rechenschaftspflichtig sind.
Eine Consent-Management-Plattform kann dabei einen wichtigen Beitrag leisten. Kontaktieren Sie CookieHub, um eine „Consent-First“-Strategie zu entwickeln.
©2025 CookieHub ehf.
