Bildnachweis: incomecenterr

‍

Beim europäischen AI-Act handelt es sich um ein risikobasiertes Rahmenwerk, das die gesamte Wertschöpfungskette von der Entwicklung über den Vertrieb bis zur Nutzung von KI umfasst. Bis August 2025 muss Deutschland für eine Marktüberwachung sorgen und eine Aufsichtsbehörde bestimmen. Es sieht so aus, als ob die Bundenetzagentur die zentrale Anlauf- und Beschwerdestelle in Deutschland werden soll. Das Bundesamt für Sicherheit in der Informationstechnik, Datenschutzbehörden und bereichsspezifische Behörden wie die BaFin oder das Bundeskartellamt bleiben aber involviert.  

Nach der Terminologie des AI-Act ist derjenige, der eine KI nicht entwickelt, sondern nur nutzt, ein sogenannter „Betreiber“ (Deployer) von KI-Systemen. Auf diesen Betreiber von KI-Systemen wollen wir uns in diesem Blogbeitrag konzentrieren. Es wird also nicht um Anbieter oder Entwickler und auch nicht um KI-Modelle gehen.  

Mangelnde KI-Compliance führt zu einer Vielzahl von Haftungsrisiken. Unter anderem ergeben sich diese aus dem Produkthaftungsrecht, dem Datenschutz- und/oder Arbeitsrecht, aus möglichen Urheberrechtsverletzungen oder aufgrund von Verletzung von Rechten des Intellectual Property. Wir wollen Ihnen in diesem Beitrag die wichtigsten Elemente einer gelungenen KI-Compliance aufzeigen. Mit Ausnahme des Screenings handelt es sich nicht um eine chronologische Darstellung. Idealerweise werden die Maßnahmen 2. KI-Richtlinie, 3. Risk Assessment, 4. Konformitätsprüfung, 5. Transparenzpflichten und 6. KI-Kompetenztraining parallel umgesetzt und laufend vorgenommen.  

‍

1. KI-Screening

Der erste Schritt Ihrer KI-Compliance ist ein sorgfältiges Screening. Hierbei erfassen Sie alle KI-Systeme und -anwendungen, die in Ihrem Unternehmen offiziell und inoffiziell genutzt werden oder in Zukunft genutzt werden sollen. Sie sind als Unternehmen übrigens nicht nur Betreiber/Deployer eines KI-Systems im Sinne des AI-Act, wenn sie es selbst verwenden, sondern auch dann, wenn sie es z.B. bei Outsourcing von bestimmten Dienstleistungen durch ihre Subunternehmer verwenden lassen. In diesem Fall ist das KI-System wohl immer noch Ihrem Verantwortungsbereich zuzuordnen.  

Sie sollten das Screening abteilungs- und fachbereichsspezifisch durchführen, weil Sie ggf. diesbezüglich unterschiedliche KI-Kompetenzen vermitteln müssen. Dazu unten mehr.  

Außerdem erleichtert Ihnen eine bereits an dieser Stelle getroffene Einteilung und Kategorisierung im möglichen Fall von Hochrisiko-KI das sich anschließende obligatorische Risk-Assessment der Systeme.  

Beim Screening muss zwischen bloßen Datenanalysen und künstlicher Intelligenz unterschieden werden, da die in diesem Blogbeitrag besprochenen rechtlichen  Anforderungen nur für letzteres gelten. Nicht jede Art von maschinellem Lernen ist schon KI im Sinne des AI-Act.  

Einfaches Beispiel: Mein herkömmlicher Spam-Filter lernt auch, welche E-Mails ich empfangen möchte und welche nicht, wenn ich ihm das beibringe. Ich kann ihm Merkmale und Eigenschaften mitteilen, nach denen er auch in Zukunft Daten analysieren und selektieren wird. Aber er entwickelt seine Fähigkeiten leider nicht von allein weiter, auch wenn er mir 10 Jahre lang die „Es ist bald Weihnachten…sind Sie nicht auch ein bisschen einsam?“-Nachrichten von gesprächsbereiten Frauen aus Bulgarien von der Backe hält. Also …noch keine KI.  

Ein KI-System zeichnet sich u.a. durch seine Anpassungs- und Lernfähigkeit aus. Es muss für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableiten können, wie es Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen generieren kann, die physische oder virtuelle Umgebungen beeinflussen können. Die Fähigkeit eines KISystems, abzuleiten, geht über die einfache Datenverarbeitung hinaus, indem Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht werden, vgl. Erwägungsgrund 12 zum EU-AI-Act.

‍

2. KI-Richtlinie

Wir empfehlen im zweiten Schritt die Erstellung einer unternehmensinternen KI-Richtlinie zum Einsatz und Umgang mit KI. Ziel der Richtlinie kann die Etablierung einer Governance und/oder die Einführung bestimmter Standards und Strategien für den Einsatz von KI-Systemen im Unternehmen sein.  

In jedem Fall sollten Sie die Richtlinie nutzen, um nicht gewünschte KI-Systeme vom Gebrauch durch Mitarbeitende ausdrücklich auszuschließen. Durch die Richtlinie kann auch geregelt werden, in welchem Umfang erlaubte KI-Systeme genutzt, wie sie durch das Management überwacht und - bei selbst entwickelten Systemen - wie, wann und wie oft diese gewartet werden sollen. Außerdem können Sie in der Richtlinie direkt festlegen, wie in Ihrem Unternehmen die in diesem Blogbeitrag beschriebenen Anforderungen des AI-Act umgesetzt werden sollen.  

Zuletzt kann die Richtlinie sogar Teil des für alle Mitarbeitenden und die Entscheidungsträger obligatorischen Kompetenztrainings sein. Sie können hier nämlich schon einheitliche Leitlinien und ethische Grundsätze schriftlich festhalten, die Sie im KI-Kompetenztraining vermitteln wollen (Einzelheiten siehe unten).  

‍

3. Risk Assessment

Der AI-Act verfolgt - wie die DSGVO - einen risikobasierten Ansatz. D.h. je höher das Risiko des KI-Systems, desto strengere Pflichten sind einzuhalten. Neben gänzlich verbotenen KI-Praktiken, wie bspw. biometrische Echtzeit-Fernidentifizierungssysteme zu Strafverfolgungszwecken, gibt es die Risikoklassen 1) KI-Systeme mit minimalem Risiko, 2) KI-Systeme mit geringem Risiko und 3) Hochrisiko-KI.

‍

Der Pflichtenkatalog für Betreibern von Hochrisiko-KI (Art. 17 u.a.) ist deutlich umfangreicher als der von Betreibern weniger risikobehafteter KI-Systeme. In die Kategorie „KI-Systeme mit geringem Risiko“ sind bspw. LLM wie ChatGPT oder KI-Tools zur Unterstützung des Kundenservice einzuordnen.  

Sollten Sie in Ihrem Unternehmen Hochrisiko-KI nutzen oder entwickeln, müssen neben der Pflicht zur Vermittlung von KI-Kompetenz und etwaigen Informationspflichten u.a. folgende Maßnahmen getroffen werden:

- Menschliche Aufsicht  

- Technische Dokumentation  

- Pflicht zur Verwendung des KI-Systems laut Betriebsanleitung („intended use“)

- Überwachung des KI-Systems  

- Meldepflichten bei Vorfällen

- Aufbewahrung von Protokollen

- Gegebenenfalls Datenschutzfolgenabschätzungen

- Nachweis der Erläuterungen der Entscheidungsfindung im Einzelfall

- Gegebenenfalls Genehmigungsverfahren bei Justiz- oder Verwaltungsbehörde  

‍

Beispiele für Bereiche, in denen eingesetzte KI als Hochrisiko-KI qualifiziert werden könnte (aus Anhang III des AI Act):

- Feststellung des Zugangs oder der Zulassung oder der Zuweisung natürlicher Personen zu Einrichtung

- Bewertung von Lernergebnissen, Bewertung des angemessenen Bildungsniveaus  

- Einstellung oder Auswahl von Personen, Filtern von Bewerbungen (ohne menschliche Einflussnahme)

- Entscheidungen über Bedingungen von Arbeitsverhältnissen, Beförderungen und Kündigungen  

‍

Beispiele für Einsatzbereiche, in denen KI als Hochrisiko-KI gelten könnte, weil das KI-System Sicherheitsbauteil eines Produkts oder selbst ein Produkt nach Anhang I des AI-Act ist (in Verbindung mit Art. 6 Abs. 1 AI-Act):

- Seilbahnen, Aufzüge, Funkanlagen, Druckgeräte

- Geräte und Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten Bereichen

- Persönliche Schutzausrüstungen  

- Medizinprodukte, In-vitro-Diagnostika

- Sicherheit in der Zivilluftfahrt, Konstruktion, Herstellung und Vermarktung von Luftfahrzeugen

- Land- und forstwirtschaftliche Fahrzeuge

- Schiffsausrüstung, Eisenbahnsysteme

‍

4. Konformitätsprüfung

Hochrisiko-KI muss einer umfangreichen Prüfung standhalten. Unter anderem ist sie in Bezug auf die Aspekte Genauigkeit, Robustheit und Cybersicherheit (Art. 15 AI-Act) zu bewerten.  

Bei der Konformitätsprüfung von Hochrisiko-KI werden wohl die folgenden Normen der ISO (International Organization for Standardization) und der IEC (International Electrotechnical Commission) eine Rolle spielen:

- Information technology — Artificial intelligence — Management system ISO/IEC 42001

- Information technology — Artificial intelligence — Artificial intelligence concepts and terminology ISO/IEC 22989:2022

- Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML) ISO/IEC 23053:2022  

- Information technology — Artificial intelligence — Overview of ethical and societal concerns ISO/IEC TR 24368:2022

- Software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Quality model for AI systems ISO/IEC 25059:2023

Dazu kommen natürlich noch viele sektorspezifische ISO-Normen wie bspw. die ISO/PAS 8800:2024 Road vehicles — Safety and artificial intelligence.

‍

5. Informations- und Aufklärungspflichten

Sie sollten unabhängig von der Risikoklasse der genutzten KI allen Betroffenen Auskunft über das KI-System geben. Dazu gehören bspw. Websitebesucher:innen beim Einsatz von Chatbots oder Mitarbeiter:innen beim Einsatz von KI im Personalbereich.  

Bei durch KI erzeugte Bild-, Ton- und Videoinhalten kann unter Umständen eine zusätzliche Kennzeichnungspflicht greifen. Allerdings nur dann, wenn es sich um eine Art Deepfake handelt, also wenn bspw. anhand von Fotos Videos von Personen generiert werden. Mithilfe von KI generierte oder manipulierte Texte müssen nur dann gekennzeichnet werden, wenn diese veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren.  

‍

6. KI-Kompetenz (AI Literacy)

‍

KI-Kompetenz bezeichnet die Fähigkeiten, (…) KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden (Art. 3 Nr. 56 KI-VO). Die Pflicht zur KI-Weiterbildung nach Art. 4 besteht seit dem 2. Februar 2025 und sollte zentraler Bestandteil der KI-Compliance in Ihrem Unternehmen sein.  

Ziel ist es, alle Mitarbeiter:innen KI-kompetent zu machen, sofern sie mit KI in Berührung kommen. KI-kompetente Personen sind nicht nur mit den technischen Fähigkeiten zur Nutzung der KI ausgestattet (Prompt Engineering, Funktionsweise von KI und Machine Learning, Wissen über Training von KI u.a.), sondern auch in der Lage, das Gefahrenpotenzial von KI zu reflektieren. Außerdem verfügen sie über alle notwendigen Rechtskenntnisse, die zur Haftungsvermeidung notwendig sind. Hierzu gehören – je nach Zweck und Einsatzgebiet der KI – Kenntnisse im Bereich:

- Produkthaftungsrecht

- Datenschutzrecht

- Arbeitsrecht

- Urheberrecht  

- Intellectual Property & Geschäftsgeheimnisschutz  

- u.a.

‍

Ihr KI-Kompetenztraining sollte zumindest folgende Inhalte umfassen und folgende Fähigkeiten vermitteln: 

- Rechtliches Grundwissen  in diversen Rechtsgebieten (s.o.)

- Schulung zum ethischen Umgang mit KI – vgl. Erwägungsgrund 27 AI-Act und die Ethikleitlinien für vertrauenswürdige KI, EU-Kommission Expertengruppe

- Technische Fähigkeiten im Umgang mit KI

-> Was ist Künstliche Intelligenz? 

-> Was ist maschinelles Lernen und was sind Algorithmen? 

- Vermittlung eines Verständnisses für die Risiken von KI und Fähigkeiten zur Vermeidung von Haftungsfällen  

-> Erkennen von Verzerrungen (Bias)  

-> Erkennen von Sicherheitslücken durch KI 

-> Erkennen von möglichen Auswirkungen der KI  

‍

Hierbei empfiehlt sich ein modulares Schulungskonzept (Grundlagen- und Spezialschulungen für Führungskräfte und Geschäftsführung). Außerdem sollte das KI-Kompetenztraining möglichst gut auf den Fachbereich der Mitarbeiter:innen zugeschnitten sein (Technische Schulungen für IT und Entwickler:innen, Schulungen zum Einsatz von KI-gestützten HR-Tools für den Personalbereich usw.)

Falls Sie eine ausführliche Beratung zur KI-Compliance benötigen, können Sie sich direkt bei uns über consulting@ciso-datenschutz.de oder über unser Kontaktformular melden.