Ein Governance-Modell, das nur Dokumente zählt, weiß nicht, ob KI im Unternehmen kontrolliert, genutzt und verbessert wird. Ein Dashboard mit vierzig Kennzahlen und keinem Verantwortlichen weiß es ebenfalls nicht. Dazwischen liegt ein kleines Set betrieblicher Signale, die jeweils eine Frage beantworten, einen Owner haben und in einem festen Rhythmus zu einer Entscheidung führen.
Dieser Beitrag bietet unternehmerische und technische Orientierung. Rechtliche Pflichten müssen für den konkreten Einsatz durch qualifizierte Stellen geprüft werden.
Kennzahlen, die nichts bringen
- Anzahl der Richtlinien und Seiten im Governance-Handbuch.
- Anzahl der Schulungsstunden ohne Bezug zu Rolle und Aufgabe.
- Anzahl der eingesetzten Werkzeuge.
- Ein selbst eingeschätzter „Reifegrad“ auf einer Skala.
- Anzahl der Einträge in der Prompt-Sammlung.
Alle fünf lassen sich steigern, ohne dass ein einziges Ergebnis besser oder ein einziges Risiko kleiner wird.
Sechs Kennzahlen mit Frage, Owner und Rhythmus
| Kennzahl | Frage, die sie beantwortet | Owner | Rhythmus |
|---|---|---|---|
| Inventarabdeckung | Wie viele der tatsächlich genutzten Anwendungen sind erfasst und eingeordnet? | Verantwortliche Stelle für Governance | Quartal |
| Kompetenzstand je Rolle | Wer nutzt KI ohne dokumentierten Nachweis? | Personalabteilung mit Fachbereich | Quartal |
| Korrektur- und Ablehnungsquote | Prüfen Menschen tatsächlich, und funktioniert das System? | Workflow-Owner | Wöchentlich bis monatlich |
| Vorfälle und Reaktionszeit | Wie schnell wird ein Problem erkannt und begrenzt? | Betrieb und IT-Sicherheit | Monatlich |
| Nutzung und Abbrüche | Wird der Workflow genutzt, und an welcher Stelle steigen Nutzer aus? | Workflow-Owner | Monatlich |
| Aktualität der Grundlagen | Wie alt sind Wissensbasis, Prompts und Regeln? | Fachbereich | Quartal |
Die Liste ist bewusst kurz. Jede zusätzliche Kennzahl muss die Frage beantworten, welche Entscheidung sie verändert. Kann niemand die Frage beantworten, wird sie nicht aufgenommen.
Ein Review, das Entscheidungen erzeugt
Einmal im Monat, dreißig Minuten, feste Teilnehmer: Jede Kennzahl wird mit Stand, Trend und einer von drei Entscheidungen behandelt: nichts tun, anpassen oder stoppen. Die Entscheidungen werden mit Datum festgehalten. Themen, die außerhalb der Kompetenz der Runde liegen, etwa eine rechtliche Einordnung, werden mit Frist eskaliert. Ein Review ohne dokumentierte Entscheidung ist ein Statusbericht und kann entfallen.
Kennzahlen im Zielprozess festlegen, nicht danach
Ob eine Korrekturquote gemessen werden kann, entscheidet sich beim Bau des Workflows: Wird die Prüfung protokolliert, wird eine Ablehnung als solche erfasst, gibt es einen Verweis auf die verwendeten Quellen? Werden diese Fragen erst nach der Einführung gestellt, fehlen die Daten für die ersten Monate, in denen sie am wichtigsten wären. Jede neue Anwendung bringt deshalb ihre zwei oder drei Kennzahlen bereits in die Freigabe mit.
Beispiel: Zwei Signale, eine Entscheidung
In einem Service-Workflow sinkt die Ablehnungsquote der Prüfer über zwei Monate auf null, während die Zahl der Fehler, die erst nach dem Versand auffallen, steigt. Einzeln betrachtet wirkt die erste Zahl wie ein Erfolg. Zusammen zeigen beide, dass nicht mehr geprüft wird. Die Entscheidung im Review: Prüfauftrag überarbeiten, Stichprobe durch eine zweite Person einführen, Kennzahlen nach vier Wochen erneut ansehen.
Gemessen wird nur, was eine Entscheidung verändert. Alles andere ist Berichtspflege.
Die Kennzahlen und ihre Quellen
Die Korrektur- und Ablehnungsquote stammt aus den Prüfaufträgen, wie sie der Beitrag zur menschlichen Aufsicht beschreibt. Die Inventarabdeckung setzt ein gepflegtes KI-Inventar voraus. Vorfälle und Reaktionszeiten liefert das KI-Monitoring. Zusammen bilden sie den Nachweis, den der AI Act von Betreibern verlangt: nicht die Existenz einer Richtlinie, sondern die Kenntnis der eigenen Nutzung.