Ist mein Betrieb ein Hochrisiko-Fall?

„Hochrisiko-KI" ist im allgemeinen Sprachgebrauch fast jede Software, die eine Entscheidung über einen Menschen beeinflusst. Im Gesetz ist es ein Fachbegriff mit einer präzisen Definition, und die trifft auf die meisten Werkzeuge, die ein Handwerksbetrieb, eine Praxis oder eine Kanzlei einsetzt, gerade nicht zu. Ein Chatbot auf der Website, KI-gestützte Buchhaltung oder Textvorschläge im Newsletter-Programm fallen in aller Regel nicht darunter. Wer es genau wissen will, muss zwei Vorschriften lesen: Artikel 6 und Anhang III.

Zwei Wege zu Hochrisiko

Artikel 6 kennt zwei getrennte Wege, auf denen ein KI-System als hochriskant gilt. Der erste betrifft Systeme, die als Sicherheitsbauteil in einem Produkt stecken, das ohnehin schon einer Konformitätsbewertung nach bestehendem EU-Produktrecht unterliegt, etwa Medizinprodukte oder Maschinen (Absatz 1, Anhang I). Das betrifft Hersteller, nicht die Betriebe, die solche Produkte nur einsetzen.

Der zweite Weg ist für die meisten Cautela-Kunden der relevante: die geschlossene Liste in Anhang III (Absatz 2). Steht ein Anwendungsfall dort nicht, ist er kein Hochrisiko-Fall nach diesem Weg, unabhängig davon, wie wichtig sich die Entscheidung anfühlt, die das System trifft.

Die acht Bereiche aus Anhang III

Anhang III zählt acht Bereiche auf. Jeder ist enger gefasst, als der Überschriftsbegriff vermuten lässt:

• Biometrie: Fernidentifizierung, Kategorisierung nach sensiblen Merkmalen, Emotionserkennung.
• Kritische Infrastruktur: Sicherheitsbauteile bei Straßenverkehr, Wasser-, Gas-, Wärme- oder Stromversorgung.
• Bildung: Zulassung zu Bildungseinrichtungen, Bewertung von Lernergebnissen, Prüfungsüberwachung.
• Beschäftigung: Bewerberauswahl, Entscheidungen über Beförderung, Kündigung oder Aufgabenzuweisung, Leistungsbewertung.
• Zugang zu Basisleistungen: staatliche Unterstützungsleistungen, Kreditwürdigkeitsprüfung, Risikobewertung bei Lebens- und Krankenversicherungen, Notruf-Priorisierung.
• Strafverfolgung: Risikobewertung, Lügendetektion, Bewertung von Beweismitteln.
• Migration, Asyl und Grenzkontrolle.
• Rechtspflege und demokratische Prozesse: Unterstützung von Gerichten, Beeinflussung von Wahlen.

Für die typische Cautela-Zielgruppe, Handwerk, Praxis, Kanzlei, Handel, Agentur, sind zwei Bereiche in der Praxis am ehesten relevant: Bewerberauswahl (wenn ein KI-Werkzeug Bewerbungen filtert oder bewertet) und Kreditwürdigkeitsprüfung (wenn ein Betrieb selbst Bonitätsentscheidungen mit KI-Unterstützung trifft, etwa bei Ratenzahlung). Die übrigen sechs Bereiche betreffen meist Behörden, Finanzinstitute oder regulierte Sektoren.

Die Rückausnahme, die oft übersehen wird

Wer in Anhang III einen passenden Punkt findet, ist damit noch nicht automatisch im Hochrisiko-Bereich. Artikel 6 Absatz 3 nimmt eine ganze Reihe von Fällen wieder heraus:

„… ein in Anhang III genanntes KI-System [gilt] nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst." Verordnung (EU) 2024/1689, Artikel 6 Absatz 3

Das gilt konkret, wenn eines von vier Dingen zutrifft: Das System erledigt eine eng gefasste Verfahrensaufgabe. Es verbessert das Ergebnis einer bereits abgeschlossenen menschlichen Tätigkeit. Es erkennt Abweichungen von früheren Entscheidungsmustern, ohne die menschliche Prüfung zu ersetzen. Oder es bereitet eine Bewertung nur vor, die jemand anders trifft. Eine Software, die Bewerbungsunterlagen nach formalen Kriterien vorsortiert, während am Ende immer ein Mensch entscheidet, kann so aus dem Hochrisiko-Bereich herausfallen, obwohl sie im Anwendungsfeld „Bewerberauswahl" steht.

Eine Grenze gibt es dabei ausdrücklich nicht: Sobald ein System natürliche Personen profiliert, also automatisiert Merkmale, Verhalten oder Vorlieben einer Person auswertet, gilt es unabhängig von den vier Ausnahmen immer als hochriskant.

Wer als Anbieter der Auffassung ist, ein Anhang-III-System sei im eigenen Fall nicht hochriskant, muss diese Einschätzung dokumentieren, bevor das System in Verkehr gebracht wird, und auf Verlangen der Behörde vorlegen (Artikel 6 Absatz 4).

Fristen

Die Pflichten für tatsächlich hochriskante Systeme greifen nicht sofort. Der Digital Omnibus hat die Fristen im Sommer 2026 verschoben: Für Systeme nach Anhang III gilt Kapitel III ab dem 2. Dezember 2027, für Hochrisiko-KI in bereits regulierten Produkten nach Anhang I ab dem 2. August 2028 (Artikel 113 in der geänderten Fassung).

Was bei tatsächlichem Hochrisiko-Einsatz zu tun ist

Betreibt ein Betrieb doch ein echtes Anhang-III-System, das keiner der Ausnahmen unterfällt, gilt Artikel 26. Die wichtigsten Pflichten daraus: das System entsprechend der Betriebsanleitung einsetzen, die menschliche Aufsicht Personen übertragen, die dafür ausreichend befähigt und ausgebildet sind, den Betrieb laufend überwachen und bei Risiken den Anbieter und die Behörde informieren, automatisch erzeugte Protokolle mindestens sechs Monate aufbewahren, und die Arbeitnehmervertretung vor dem Einsatz am Arbeitsplatz informieren. Verstöße dagegen sind bußgeldbewehrt, bis zu 15.000.000 € oder 3 % des weltweiten Jahresumsatzes (Artikel 99 Absatz 4 Buchstabe e).

Cautela selbst fällt unter keinen der acht Anhang-III-Bereiche und ist damit kein Hochrisiko-System. Was für Cautela wie für die meisten Kunden bleibt, ist die Transparenzpflicht aus Artikel 50, weil ein Gespräch mit einem KI-System stattfindet. Dazu gibt es einen eigenen Beitrag.