Prompt Injection ist nicht nur ein Problem schlecht formulierter Prompts. Inhalte in Dokumenten, Webseiten oder E-Mails können Anweisungen enthalten, die ein System fehlinterpretiert. Bei Agenten kommen Berechtigungen und mögliche Aktionen hinzu.

Die entscheidende Unternehmensfrage

Eingaben sind grundsätzlich als nicht vertrauenswürdig zu behandeln. Kritische Aktionen dürfen nicht allein aus Modelltext heraus freigegeben werden.

Woran eine belastbare Umsetzung erkennbar ist

  • Dateninhalt und Systemanweisung technisch trennen
  • Werkzeuge mit minimalen Rechten anbinden
  • Angriffs- und Ausnahmefälle gezielt testen

Was professionelle Umsetzung ausmacht

Eine sichere Architektur kombiniert Begrenzung, Validierung, Freigaben, Protokollierung und wiederholbare Sicherheitstests. Ein einzelner Systemprompt ist keine Sicherheitsgrenze.

Q-Perspektive

Feste Prozesse geben Sicherheit. KI individualisiert die Inhalte. Mitarbeiter prüfen und setzen um. Automatisierung wird nur dort erweitert, wo Verantwortung, Daten und Kontrolle geklärt sind.

Vorheriger BeitragShadow AI: Verbieten, dulden oder kontrolliert nutzbar machen?Nächster BeitragPersonenbezogene Daten in KI-Systemen: Zweck vor Datenmenge