von PATRICIA GEYLER
KI-Systeme sowie algorithmisch gestützte Entscheidungsprozesse werden häufig als neutral wahrgenommen, tatsächlich reproduzieren sie gesellschaftliche Machtverhältnisse. Besonders sichtbar wird dies bei geschlechtsspezifischen Ungleichheiten: Automatisierte Bewerbungsverfahren können Frauen systematisch benachteiligen, wie Untersuchungen der Antidiskriminierungsstelle des Bundes (S. 34 ff.) zeigen. Auch auf europäischer Ebene wird dieses Risiko zunehmend adressiert. So weist die Empfehlung des Ministerkomitees des Europarats zu Gleichstellung und Künstlicher Intelligenz (KI) (CM/Rec(2026)1) darauf hin, dass generative KI-Systeme stereotype Rollenbilder verstärken, indem sie bereits bestehende Muster aus Trainingsdaten immer weiter reproduzieren.
Algorithmischer Bias als Ausdruck struktureller Ungleichheit
Der Begriff „Bias” bezeichnet systematische Verzerrungen in algorithmischen Entscheidungen, die aus Daten, Modellannahmen oder Designentscheidungen resultieren. Es handelt sich dabei nicht um einen technischen Fehler, sondern um den Ausdruck struktureller Ungleichheit.
Verzerrungen zeigen sich nicht nur in klassischen Bewerbungsverfahren, sondern auch in komplexeren Systemen. So bewerten Kreditwürdigkeitsmodelle (vgl. BaFin) oder algorithmisch gestützte Personalmanagement-Tools (vgl. Kienbaum & Bundesverband der Personalmanager*innen) Merkmale wie Karriereunterbrechungen oder Teilzeitbeschäftigungen, die bei Frauen überproportional häufig vorkommen, oft nachteilig. Empfehlungsalgorithmen in sozialen Netzwerken oder auf Content-Plattformen reduzieren Frauen und marginalisierte Gruppen regelmäßig auf sexualisierte oder unterrepräsentierte Rollen (CM/Rec(2026)1, Präambel).
Der Mechanismus dahinter ist strukturell: Trainingsdaten spiegeln gesellschaftliche Ungleichheiten wider, die durch historische Erfolgskennzahlen weiter verstärkt werden (vgl. BSI sowie CM/Rec(2026)1, Ziff. 2). Ein anschauliches Beispiel dafür liefert die medizinische Forschung: Geschlechtsspezifische Datenlücken führen dazu, dass Symptome bei Frauen, beispielsweise bei Herzinfarkten, weniger gut erkannt und Therapien weniger präzise angepasst werden – mit unmittelbaren Auswirkungen auf Diagnose und Behandlung. Denn KI-Systeme, insbesondere generative KI-Modelle, reproduzieren Ungleichbehandlungen, die aufgrund von menschlichem Handeln in Daten, also in kodierten Informationen wiederzufinden sind. Selbst technisch „neutrale” Modelle führen somit zu systematischen Benachteiligungen in verschiedenen Kontexten.
Rechtliche Einordnung: Schutzpflichten nach EMRK und CEDAW
Aus juristischer Sicht könnte diese strukturelle Bias-Dynamik staatliche Schutzpflichten aktivieren. Maßgeblich sind Art. 14 der Europäischen Menschenrechtskonvention (EMRK) in Verbindung mit Art. 8 der EMRK sowie Art. 1 und 2 des Übereinkommens zur Beseitigung jeder Form von Diskriminierung der Frau (CEDAW). Algorithmische Entscheidungsprozesse können in die private Lebensgestaltung und informationelle Selbstbestimmung eingreifen. Soweit dabei systematische Benachteiligungen entstehen, kann dies eine diskriminierende Wirkung entfalten, die staatliche Schutzpflichten aktiviert und regulatorisches Eingreifen erforderlich macht.
In KI-Kontexten ist es kennzeichnend, dass Diskriminierung zwar grundsätzlich einzelnen Akteuren wie Entwicklern oder Anwendern zugerechnet werden kann und regelmäßig auch regulatorisch adressiert wird. Ihre Ursachen liegen jedoch häufig im Zusammenspiel von Trainingsdaten, Modellarchitektur und Anwendungspraxis. Auf diese Weise können gesellschaftliche Ungleichheiten reproduziert werden. Daraus folgt die Verpflichtung des Staates, geeignete Maßnahmen zu ergreifen, Verzerrungen zu untersuchen und zu sanktionieren. Dazu zählen präventive Instrumente ebenso wie positive Schutzpflichten, etwa Vorgaben zur Risikobewertung oder zur Auditierung von Algorithmen (CM/Rec(2026)1, Ziff. 13-20).
Grenzen des technokratischen Ansatzes in der KI-VO
Die KI-VO verfolgt dabei einen risikobasierten Ansatz. Hochrisiko-Systeme zu denen beispielsweise Bewerbungs- und Personalmanagementsysteme, Kreditwürdigkeitsmodelle oder Systeme zur Auswahl von Studierenden zählen (vgl. Erwägungsgründe der KI-VO Ziff. 30 f.) unterliegen strengen Anforderungen nach Art. 6 der KI-VO. Die Art. 10-14 regeln die Datenqualität: Trainings-, Validierungs- und Testdatensätze sollen repräsentativ, vollständig und frei von Verzerrungen sein. Die Art. 15-17 normieren Transparenz, Dokumentation und Risikomanagement, einschließlich kontinuierlicher Überwachung. Diese Vorgaben erhöhen die Nachvollziehbarkeit algorithmischer Entscheidungen.
Allerdings erfassen sie die sozialen und strukturellen Machtverhältnisse einer Gesellschaft nur begrenzt. So kann ein Bewerbungsalgorithmus, der auf der Grundlage historisch verzerrter Daten trainiert wurde, Frauen systematisch schlechter bewerten, ohne gesetzliche Pflichten zu verletzen. Technische Korrekturen können diese Verzerrungen zwar mindern, etwa durch Datenbereinigung oder -vorverarbeitung, die Einbindung menschlicher Aufsicht in Entscheidungsprozesse oder den Einsatz von fairnessorientierten Richtlinien im Modelltraining. Strukturelle Diskriminierung lässt sich durch diese Korrekturen allein jedoch nicht beseitigen, da sie kein rein technisches Problem ist, sondern auf gesellschaftlichen Ungleichheiten in den zugrunde liegenden Daten und Bewertungskriterien beruht.
Von Bias zu Menschenrechtsverletzungen: Die europarechtliche Perspektive
Algorithmische Diskriminierung ist als strukturelles Phänomen nicht nur technisch, sondern auch menschenrechtliche relevant. Sie berührt zentrale Rechte wie Gleichheit und Nichtdiskriminierung (Art. 14 EMRK), das Recht auf Achtung des Privatlebens (Art. 8 EMRK) sowie die Schutzpflichten aus CEDAW Art. 1 und Übereinkommen des Europarats zur Verhütung und Bekämpfung von Gewalt gegen Frauen und häuslicher Gewalt (Istanbul-Konvention) Art. 5. Der Europäische Gerichtshof für Menschenrechte hat in Fällen wie Opuz v. Turkey (2009) und Volodina v. Russia (2019) die Reichweite staatlicher Schutzpflichten bei systematischer, durch Private verursachter Diskriminierung und unzureichender staatlicher Prävention konkretisiert.
Zu den staatlichen Pflichten zählen Unterlassung und Prävention. Es müssen Mechanismen etabliert werden, die Diskriminierung frühzeitig erkennen und angehen. Dazu zählen transparente Entscheidungsprozesse, verpflichtendes Risikomanagement, Monitoring und Wirksamkeitskontrollen. Diese Pflichten richten sich primär an den Staat und folgen aus Art. 1 i.V.m. Art. 8 und 14 EMRK. Sie wirken faktisch auch im Verhältnis zwischen privaten Akteuren, indem sie den Staat verpflichten, einen effektiven regulatorischen Rahmen zu schaffen, der diskriminierende Effekte im privaten Bereich verhindert und korrigiert.
Funktionaler Bezug und praktische Umsetzung
Die menschenrechtliche Verantwortung lässt sich bislang nur teilweise operationalisieren. Transparenz- und Berichtspflichten können die Nachvollziehbarkeit algorithmischer Entscheidungen zwar erhöhen, bleiben jedoch, zumindest bisher, in ihrer praktischen Reichweite eher begrenzt. Durch Risikobewertungen werden geschlechtsspezifische und soziale Ungleichheiten vor dem Einsatz eines Systems erfasst. Korrektur- und Löschmechanismen wirken bekannten Benachteiligungen entgegen. Schulungen, Leitlinien und Audits für Entwickler*innen, Projektverantwortliche und Entscheidungsträger*innen adressieren Bias auch in gesellschaftlicher und rechtlicher Dimension. So werden gesetzliche Pflichten wirksam, ohne private Akteure unverhältnismäßig zu belasten (CM/Rec(2026)1, Ziff. 20, 21 ff.)
Das EU-Digitalrecht dient dabei als operative Ebene: die KI-VO, die DSGVO und die Verordnung (EU) 2022/2065 über digitale Dienste (DSA) bilden ein regulatorisches Dreieck, das Risiken algorithmischer Diskriminierung adressiert. Die KI-VO verpflichtet Betreiber von Hochrisiko-Systemen, zu Datenqualitäts- und Risikomanagementmaßnahmen, Transparenz sowie kontinuierlicher Überwachung (Art. 10-17 KI-VO). Der DSA regelt die Content-Governance und die Informationspflichten auf Online-Plattformen, während die DSGVO den Schutz personenbezogener Daten regelt. In Kombination und unter Berücksichtigung einer menschenrechtsorientierten Auslegung schaffen diese Instrumente einen praktikablen Schutzrahmen, der der EMRK, der CEDAW und der Istanbul-Konvention Rechnung trägt.
Fazit: Technische Regulierung mit menschenrechtlicher Verankerung
Algorithmisch gestützte Systeme reproduzieren gesellschaftliche Ungleichheiten. Die derzeitige technische Regulierung durch die KI-VO ist zwar notwendig, aber nicht ausreichend. Eine effektive Rechtssteuerung muss die strukturellen Ursachen von Bias berücksichtigen und privaten Akteuren praktikable Lösungsoptionen bereitstellen. Mithilfe von Transparenz, Risikobewertung, Monitoring und Korrekturmechanismen können algorithmische Verzerrungen systematisch erkannt und behoben werden. Schulungen und Audits adressieren deren gesellschaftliche und rechtliche Dimension.
Ein wirksamer Ansatz verbindet technische Compliance mit völkerrechtlichen Schutzpflichten. Der Staat schafft den rechtlichen Rahmen und private Akteure identifizieren und korrigieren diskriminierende Effekte. Digitale Regulierung erfüllt ihren Anspruch jedoch nur, wenn sie über die Minimierung technischer Risiken hinausgeht und strukturelle Ungleichheiten wirksam adressiert (CM/Rec(2026)1, Ziff. 3-5).
Zitiervorschlag: Geyler, Patricia, Bias by Design? Diskriminierung zwischen technischer Regulierung und menschenrechtlicher Verantwortung, JuWissBlog Nr. 36/2026 v. 16.04.2026, https://www.juwiss.de/36-2026/.
Dieses Werk ist unter der Lizenz CC BY-SA 4.0 lizenziert.