„Human in the Loop“ steht in fast jeder KI-Richtlinie. In der Praxis ist die Schleife oft ein Klick auf „Freigeben“, ausgeführt von einer Person, die weder weiß, was sie prüfen soll, noch die Zeit hat, es zu tun. Aufsicht ist nur dann wirksam, wenn die prüfende Person Kriterien kennt, die notwendigen Informationen sieht und ein Nein folgenlos aussprechen kann.
Dieser Beitrag bietet unternehmerische und technische Orientierung. Rechtliche Pflichten müssen für den konkreten Einsatz durch qualifizierte Stellen geprüft werden.
Der Unterschied zwischen Klick und Kontrolle
Ein typisches Bild: Ein System erzeugt täglich zweihundert Entwürfe, eine Sachbearbeiterin sieht jeweils nur das Ergebnis, es gibt keine Prüfliste und die Freigabequote liegt nahe hundert Prozent. Das ist keine Aufsicht, sondern eine Verlagerung der Verantwortung auf die Person mit dem geringsten Einfluss. Für Hochrisiko-Anwendungen verlangt der AI Act ausdrücklich, dass Aufsicht durch Personen mit ausreichender Kompetenz und Befugnis ausgeübt wird. Sinnvoll ist dieser Maßstab für jede Anwendung mit Außenwirkung.
Drei Stufen der Aufsicht
| Stufe | Geeignet für | Umsetzung |
|---|---|---|
| Stichprobe | Interne Entwürfe, geringe Fehlerkosten, jederzeit korrigierbar | Wöchentliche Stichprobe mit festem Anteil, Fehlerarten werden protokolliert |
| Freigabe vor Wirkung | Kundenkommunikation, Angebote, Veröffentlichungen | Jeder Fall wird mit einem Prüfauftrag freigegeben oder abgelehnt |
| Vier Augen mit Begründung | Personalentscheidungen, Verträge, Zahlungen, automatisierte Systemaktionen | Zwei Personen, dokumentierte Begründung, das System bereitet nur vor |
Die Zuordnung folgt der möglichen Auswirkung eines Fehlers, nicht der Zahl der Fälle. Eine Anwendung kann mit Stichproben beginnen und bei steigender Reichweite in die nächste Stufe wechseln.
Der Prüfauftrag: fünf Angaben, die ein Prüfer sehen muss
- Eingaben: Welche Anfrage, welche Dokumente und welche Datenquellen wurden verwendet?
- Ergebnis: Was hat das System erzeugt, in vollständiger Form?
- Kriterien: Welche drei bis fünf Punkte entscheiden über die Freigabe?
- Unsicherheit: Wo hat das System keine passende Quelle gefunden oder widersprüchliche Angaben verarbeitet?
- Weg bei Ablehnung: Geht der Fall zurück ins System, in die manuelle Bearbeitung oder an eine Fachstelle?
Fehlt eine dieser Angaben, prüft die Person nicht das Ergebnis, sondern ihren Eindruck davon.
Ablehnung muss möglich und folgenlos sein
Wenn ein Nein für den Prüfer mehr Arbeit bedeutet als ein Ja, verschwindet die Aufsicht innerhalb weniger Wochen. Ablehnung muss deshalb einen kurzen Weg haben: ein Grund aus einer Auswahlliste, eine Übergabe an die manuelle Bearbeitung, kein Rechtfertigungsgespräch. Eine Ablehnungsquote von null ist kein Qualitätsbeweis, sondern ein Warnsignal.
Beispiel: Antwortentwürfe im Kundenservice
Ein Service-Team erhält KI-Entwürfe für Kundenanfragen und sieht zunächst nur den Entwurf. Nach dem Umbau zeigt die Prüfmaske die Kundenfrage, die verwendeten Passagen aus der Wissensbasis, eine Liste mit vier Kriterien (richtiges Produkt, keine Zusagen außerhalb der Richtlinien, passende Tonalität, nächster Schritt benannt) und einen Hinweis, wenn das System keine belastbare Quelle gefunden hat. Abgelehnte Fälle landen in der normalen Warteschlange. Die Prüfung dauert kaum länger als zuvor, aber sie prüft jetzt etwas.
Kontrolle muss proportional zur Wirkung eines Fehlers sein, nicht zur Anzahl der Fälle. Zweihundert interne Zusammenfassungen brauchen eine Stichprobe. Eine einzige automatische Kündigungsbestätigung braucht vier Augen.
Woran wirksame Aufsicht messbar ist
Vier Werte reichen: die Ablehnungsquote, die Zahl der Fehler, die erst nach der Freigabe auffallen, die durchschnittliche Prüfdauer und die Zahl der Eskalationen an Fachstellen. Steigt die Prüfdauer stark an, ist der Prüfauftrag zu umfangreich. Sinkt die Ablehnungsquote auf null, wird nicht mehr geprüft. Wie diese Werte in ein schlankes Governance-Reporting eingehen, beschreibt der Beitrag zu messbarer KI-Governance. Welche Anwendungen überhaupt welche Stufe brauchen, ergibt sich aus dem KI-Inventar.