Der EU AI Act kommt! Lösungen für den regelkonformen KI-Einsatz

Am 13. März 2024 wurde der EU AI Act final verabschiedet, ab April 2024 wird das Gesetz Gültigkeit erlangen. Der EU AI Act liefert klare Leitplanken für die sichere Nutzung und die innovative Entwicklung von KI-Anwendungen.

Der EU-AI Act kommt! Symbolbild: Die Sterne der Eu-Flagge vor dem Hintergrund eines brinären Codes — Das Beitragsbild wurde mithilfe von KI erstellt.

Der EU AI Act verfolgt ein doppeltes Ziel

Laut Artikel 1 ist es das erklärte Ziel des EU AI Act,

„die Einführung menschenzentrierter und vertrauenswürdiger künstlicher Intelligenz zu fördern und gleichzeitig ein hohes Niveau des Schutzes der Gesundheit, der Sicherheit, der in der Charta verankerten Grundrechte, einschließlich der Demokratie, der Rechtsstaatlichkeit und des Umweltschutzes, vor schädlichen Auswirkungen von Systemen der künstlichen Intelligenz in der Union zu gewährleisten und die Innovation zu unterstützen.“

Diese Ziel-Formulierung veranschaulicht den anspruchsvollen und notwendigen Balanceakt, den der EU AI Act vollzieht. Einerseits geht es um den Schutz von Menschen und Gesellschaft und andererseits um die Förderung technischer Innovationen.

Skala der KI-Risiken

Der EU AI Act definiert 4 Risiko-Level für die Anwendung von künstlicher Intelligenz (KI). Dabei gelten für generative KI-Modelle und deren Entwicklung besondere Vorgaben – abhängig davon, ob sie Open Source oder kommerzieller Natur sind. Zudem wurden in der letzten Fassung solche Systeme vom AI Act ausgeklammert, die rein auf von Menschen definierten Regeln basieren, also nicht selbstlernend Regeln bilden. Zu jedem Risiko-Level gibt es regulative Vorgaben, die ab einem festgelegten Termin von den Unternehmen umgesetzt werden müssen.

1 | Unacceptable Risk

Hoch-Risiko-Anwendungen mit nicht-akzeptablem Risiko, z. B. „Social Scoring“, biometrische Kategorisierung und Identifikation, „Deepfakes“. Die Regulierung dieser KI-Anwendungen muss voraussichtlich ab Dezember 2024 vollzogen werden.

2 | High Risk

Hoch-Risiko-Anwendungen oder Hoch-Risiko-Branchen, z. B. „Personalauswahl“, Krediteinstufungen, gesundheitsbezogene Ratings, kritische Infrastruktur. Hier muss die Regulierung fallweise in 24 bis 36 Monaten nach dem finalen Verabschiedungsdatum umgesetzt werden. Hoch-Risiko-KI-Anwendungen benötigen dann eine Konformitätserklärung (Declaration of Conformity). Zusätzlich müssen sie in der EU-Datenbank registriert sein und über ein CE-Siegel verfügen.

3 | Limited Risk

Anwendungen mit einem begrenzten Risiko, z. B. „Chat Bots“, künstlerisch genutzte Deepfakes. Hier gibt es ab November 2026 eine Verpflichtung zur Transparenz. Die Nutzer müssen darüber informiert werden, dass sie es mit KI-generiertem Inhalt zu tun haben.

4 | Minimal Risk

Anwendungen mit geringem Risiko, z. B. KI in Videospielen oder Anti-Spam-Filtern. Ebenfalls ab November 2026 können sich die Anbieter und Betreiber dieser KI-Anwendungen freiwillig auf einen Verhaltenskodex verpflichten.

Und wie reguliert der EU AI Act die Risiken?

Blickt man auf diese Klassifizierung der KI-Risiken und deren geplante Regulierung, so ist für den Hoch-Risiko-Level eine Konformitätserklärung als Schutzmaßnahme verpflichtend. In diesem Kontext bieten sich für einige Konformitätskriterien Safety Assurance Cases (SAC) an.

Für die Risiko-Level 3 – also Limited Risk – gibt es „Entwarnung“. Die Vorgaben und Auflagen sind überschaubar und relativ einfach zu erfüllen.

Vorsicht ist dennoch geboten!

Denn wie begründet ein Unternehmen, dass es sich tatsächlich um ein KI-System auf diesem Level handelt? Und wie steht es mit einer zuverlässigen Prognose, ob die KI-Anwendung auch in Zukunft dieser Risiko-Klassifizierung entspricht? Um im Zweifelsfall auf der sicheren Seite zu sein, ist es auch hier ratsam, das Verfahren der Safety Assurance Cases in Betracht zu ziehen.

Hochleistung mit Defiziten – Transparenz und Nachvollziehbarkeit von KI

Die Veröffentlichung von ChatGPT am 30. November 2022 durch OpenAI war der Auslöser einer wahren KI-Euphorie, wobei diese Begeisterung Hand-in Hand ging mit vielen Bedenken von Seiten der verschiedenen Akteure. Die Veröffentlichung der Version 4 von ChatGPT im März 2023 zeigte noch einmal eine wesentliche Leistungssteigerung: Gerade auch große KI-Modelle entfalten Kompetenzen, die sich nicht direkt aus den zugrundeliegenden Trainingsdaten erklären lassen – sogenannte „emergente“ Fähigkeiten.

Das ist verblüffend und wirkt so, als könne die Anwendung selbstständig intelligent denken und Schlussfolgerungen ziehen, wobei ihre Fähigkeiten letztlich „nur“ auf einer rasanten Wahrscheinlichkeitsrechnung beruhen. Dabei hat die KI allerdings ein Transparenzproblem: Ihre Entscheidungen lassen sich nicht mehr oder nur sehr schwer nachvollziehen. Die mehrdimensional geschichteten neuronalen Strukturen großer KI-Modelle sind derart komplex, dass die logische Kette einer Entscheidung nicht mehr Schritt für Schritt rekonstruiert werden kann.

Nachvollziehbarkeit – im Sinne von Transparenz – ist jedoch wichtig, um z. B. bei einer KI-gestützten Bewerberauswahl oder Kreditvergabe Benachteiligungen auszuschließen – etwa aufgrund der ethnischen Herkunft, des Geschlechts oder der Religionszugehörigkeit. Dies sind Aspekte, die sich unter den Begriffen „Fairness“ oder „Bias“ auch im EU AI Act wiederfinden.

Insbesondere vor dem Hintergrund, dass es teilweise an spezifischen Kriterien mangelt, um z. B. Fairness umfassend und verlässlich kontextübergreifend zu prüfen, stellt sich die Frage: Welche Instrumente sind aus aktueller Sicht geeignet, um das Risiko eines Verstoßes gegen die Regularien einzudämmen, die in den nächsten 36 Monaten als „Schutzmaßnamen“ gestaffelt in Kraft treten werden?

Konformitätserklärung – kein Statement, sondern ein Prozess der Aufklärung

Für den Hochrisiko-Level 2 setzt der EU AI Act auf die Konformitätserklärung. Hinter diesem „Zauberwort“ verbirgt sich nicht ein einfaches Formular, sondern vielmehr ein komplexer Prozess. Für alle KI-Anwendungen, die als besonders risikoreich für die Sicherheit, die Grundrechte oder die Freiheiten von Personen eingestuft werden, fordert die Konformitätserklärung von den KI-Anbietern den ausführlichen und kontinuierlich fortlaufenden Nachweis in Bezug auf

Risikomanagement: Anbieter müssen Risiken bewerten, dokumentieren und die Unterlagen den zuständigen Behörden zur Verfügung stellen.
Technische Standards und Sicherheitsmaßnahmen: Anbieter sind verpflichtet, bestimmte technischer Standards einzuhalten und angemessene Sicherheitsmaßnahmen zu implementieren.
Transparenz und Erklärbarkeit: Es muss möglich sein, Entscheidungen nachzuvollziehen, die durch KI-Systeme getroffen werden.
Datenqualität und -sicherheit: Die Datenbasis muss von hoher Qualität sein und angemessen geschützt werden.
Menschenrechte und ethische Grundsätze: Die Systeme dürfen die Menschenrechte nicht verletzen und müssen den ethischen Grundsätzen entsprechen.
Verfügbarkeit von Informationen und Schulungen: Anbieter müssen Informationen über die Funktionsweise ihrer Systeme bereitstellen und Schulungen für Benutzer anbieten.
Risikominderungsstrategien und Notfallpläne: Anbieter müssen Strategien zur Risikominderung entwickeln und Notfallpläne vorbereiten für den Fall von Systemfehlern oder unerwarteten Ereignissen.
Aufsicht und Konformitätsbewertung: Anbieter müssen sich einer angemessenen Aufsicht unterziehen und ihre Systeme regelmäßig auf Konformität mit den geltenden Vorschriften prüfen lassen.

KI-Ergebnisse kritisch prüfen!

Teile dieser Anforderungen sollten bereits der routinierten Unternehmenspraxis entsprechen, wenn es etwa um Prozesse im Datenschutz, der Systemdokumentation und -sicherheit oder um die kontinuierliche IT-Qualitätssicherung geht.

Betrachtet man die „Fähigkeiten“ generativer KI-Systeme jedoch unter Aspekten wie z. B. dem der Fairness wird es komplizierter. Auch wenn alle Daten in Bezug auf Angaben zur ethnischen Herkunft, zum sozialen Status oder zur Religionszugehörigkeit systematisch „bereinigt“ sind, lässt sich nicht ausschließen, dass die KI auf Basis ihrer Mustererkennung zu diskriminierenden Schlussfolgerungen kommt. Sie ist schließlich darauf trainiert, riesige Datenmengen in unterschiedlichen Formaten und aus diversen Quellen zu durchkämmen, dabei Muster zu extrahieren und Ergebnisse abzuleiten, die für uns – auf die Schnelle – weder vorhersehbar noch nachvollziehbar sind.

Eine regelmäßige kritische Prüfung des Outputs ist also notwendig! Da die Prüfungskriterien – wie das der Fairness – durchaus kontextabhängig sind, werden Unternehmen diese Kriterien auf ihre Anwendungsfälle hin definieren und mit Nachweisen belegen müssen. Genau dies leisten Safety Assurance Cases (SAC).

Safety Assurance Cases – definiertes Setting, valide Argumente

Das vom Bundesministerium für Arbeit und Soziales geförderte Projektkonsortium ExamAI diskutierte mit Blick auf die zukünftige Regulierung durch den EU AI Act schon 2021 die Anwendung von „Safety Assurance Cases“ (SAC), um die Risiken von KI zu begrenzen.

Hintergrund war, dass die bestehenden Schutznormen in der Softwareentwicklung nur zum Teil auf KI anwendbar sind. Um dieses Defizit zu kompensieren, bieten sich SAC insofern an, als sich ihr Einsatz in den Entwicklungsprozessen vieler sicherheitskritischer Branchen vielfach bewährt hat, so z. B. in der Luft- und Raumfahrt, der Automobilindustrie oder der Medizintechnik.

Für die Entwicklung von KI-Anwendungen definieren Safety Assurance Cases den Bezugsrahmen und die Methoden einer validen Sicherheitsprüfung:

Ausgehend von einer Hypothese oder Behauptung (= Claim) – z. B. „das System behandelt alle Bankkunden gleich“ – umfasst das Setting
die Beweisführung und die zugrunde liegenden Annahmen (= Strategy)
den konkreten Kontext (= Context)
die stützenden Belege (= Evidence)

Da sich generative KI-Systeme stetig weiterentwickeln, ist eine regelmäßige Überprüfung der Systeme und somit auch der legitimierenden Safety Assurance Cases notwendig. Dies ist durch ein Assurance Case Monitoring bereits toolbasiert möglich, um den Einsatz auch mit Blick auf die Zukunft abzusichern und das Risiko von Strafzahlungen zu minimieren.

Die Nutzung von SAC bietet sich zur Absicherung bestehender Systeme an, aber auch dann, wenn neue KI-Systeme entwickelt oder eingeführt werden. Idealerweise definieren die Projektbeteiligen Safety Assurance Cases im Zuge der Anforderungserhebung und -analyse in Verbindung mit den Use Cases und den dazugehörigen Testfällen. Dabei minimiert das Verfahren nicht nur die Risiken im Hinblick auf die Einhaltung der EU-Richtlinien, sondern hilft generell, Projektrisiken zu identifizieren und zu kontrollieren.

Fazit

Alle Unternehmen, die KI-Systeme auf dem „High Risk“-Level entwickeln oder einsetzen wollen, verpflichtet der EU AI Act zu einer umfassenden Konformitätserklärung. Mit dieser Erklärung und dem empfohlenen Einsatz von Safety Assurance Cases stehen für die Unternehmen also einige Aufgaben an.

Die Nutzung von SAC bietet sich auf freiwilliger Basis auch für KI-Anwendung auf den „Limited-Risk“-Level an, um die regelkonforme Sicherheit der Anwendungen proaktiv zu gewährleisten.

Der Aufwand lohnt sich jedoch nicht nur im Hinblick auf die gebotene Einhaltung der EU-AI-Act-Vorgaben. Er bringt auch echten Mehrwert. Denn die SAC und ihr Monitoring schärfen den Blick für die Präzision der Anforderungen und das Risikomanagement.