Alle Beiträge
KI-SicherheitKI-AgentenGuardrailsKMU

KI sicher einsetzen: Was Unternehmen bei Chatbots und Agenten prüfen sollten

7 Min. LesezeitThomas Stermole
Grüne Lupe über Papierdokumenten und ein Tor, an dem eine bernsteinfarbene Kachel hält.

Ein Support-Chatbot nennt einem Kunden eine Rückerstattungsfrist, die in den offiziellen Bedingungen anders geregelt ist. Ein KI-Agent könnte zusätzlich selbst eine Rückerstattung auslösen. Für Unternehmen sind das zwei verschiedene Sicherheitsfragen: Ist die Auskunft belegt? Und darf das System die vorgeschlagene Aktion überhaupt ausführen?

Für KMU ist der beste Einstieg ein Assistent mit klar begrenztem Lesezugriff. Er nennt überprüfbare Fundstellen und meldet, wenn ihm eine Antwortgrundlage fehlt. Sobald die KI E-Mails verschicken, Daten exportieren oder Geschäftsvorgänge auslösen kann, braucht sie technische Grenzen und verbindliche Freigaben.

Was hinter den Meldungen über Erpressung und „Ausbrüche“ steckt

Erpressung im Labortest. Anthropic veröffentlichte 2025 kontrollierte Simulationen, in denen mehrere Modelle unter bestimmten Bedingungen zu Erpressung oder zur Weitergabe vertraulicher Informationen griffen. Die beteiligten Personen und Unternehmen waren fiktiv. Anthropic berichtete zum Zeitpunkt der Veröffentlichung, im realen Betrieb keine Belege für dieses untersuchte Verhalten gesehen zu haben. Der Test zeigt, warum ein Unternehmen prüfen sollte, welche Informationen und Handlungsmöglichkeiten es einem Agenten gleichzeitig gibt. Anthropic – Agentic misalignment

KI-gestützte Angriffe in der Praxis. Im November 2025 berichtete Anthropic über eine reale Spionagekampagne, in der menschliche Angreifer KI-Tools für Teile ihrer Operation einsetzten. MITRE führt die Kampagne auf Basis des Anbieterberichts. Die Menschen gaben die Ziele vor und nutzten KI zur Ausführung von Teilschritten. Anthropic – Bericht zur Spionagekampagne · MITRE ATT&CK – C0062

Irreführende Auskünfte im Kundenservice. Der Chatbot von Air Canada gab einem Kunden eine falsche Auskunft zur nachträglichen Beantragung eines Trauertarifs. Der Kunde verließ sich darauf. Das Civil Resolution Tribunal in British Columbia sprach ihm 2024 Schadenersatz zu. Für Unternehmen zeigt der Fall, wie eine falsche Auskunft ohne jeden Schreibzugriff einen wirtschaftlichen Schaden verursachen kann. Moffatt v. Air Canada – Entscheidung 2024 BCCRT 149

Wenn in einer Meldung von einem „Ausbruch“ die Rede ist, helfen drei Fragen bei der Einordnung: War es ein Labortest oder ein Vorfall im Betrieb? Welche Rechte hatte das System bereits? Welche bisher gesperrte Aktion konnte es nachweislich ausführen?

1. Antworten müssen sich an der Originalquelle prüfen lassen

Generative Modelle können falsche Informationen überzeugend darstellen. NIST führt dieses Risiko als Confabulation. Übermäßige Zustimmung ist ein eigenes Problem: OpenAI nahm im April 2025 ein GPT-4o-Update zurück, nachdem das Modell merklich zustimmender reagiert hatte. Das ist gerade dann relevant, wenn eine Frage eine falsche Annahme enthält. NIST – Generative AI Profile · OpenAI – Sycophancy in GPT‑4o

Für Nutzer gilt: Öffnen Sie bei wichtigen Aussagen die Originalquelle. Prüfen Sie, ob die konkrete Passage die Behauptung trägt, ob sie aktuell ist und ob sie auf Ihren Fall zutrifft. Ein Link auf eine echte Website kann trotzdem auf die falsche Richtlinie, einen veralteten Vertrag oder eine unpassende Ausnahme verweisen.

Für einen internen Wissensassistenten lässt sich das gewünschte Verhalten im Systemprompt konkret vorgeben:

Belege entscheidungsrelevante Tatsachen mit einer Fundstelle aus den freigegebenen Quellen. Nenne Dokument, Version oder Datum sowie den Abschnitt. Wenn Quellen fehlen oder einander widersprechen, sag das ausdrücklich und nenne den nächsten Prüfschritt. Widersprich einer Prämisse, wenn die Quellen ihr widersprechen. Kennzeichne Schlussfolgerungen als solche. Erfinde keine Zitate, Links oder Zahlen.

Die Anwendung sollte nur tatsächlich abgerufene Fundstellen als Quellen anzeigen und die Zugriffsrechte schon beim Abruf durchsetzen. Das prüft die Herkunft der Fundstelle. Ob sie die Antwort inhaltlich stützt, bleibt eine eigene Prüfung. Für verbindliche Preise, Fristen oder Vertragszusagen kann das System Felder direkt aus einer autoritativen Datenquelle anzeigen oder die Anfrage an eine zuständige Person weiterleiten.

2. Guardrails müssen den Tool-Aufruf vor der Ausführung prüfen

E-Mails, Webseiten oder PDFs können Text enthalten, den ein Modell irrtümlich als Arbeitsanweisung behandelt. OWASP bezeichnet das als indirekte Prompt Injection. Deshalb sollte der Dienst, der den Tool-Aufruf ausführt, unabhängig vom Modell prüfen, ob der Aufruf erlaubt ist. OWASP – Prompt Injection · OWASP – Excessive Agency

AufgabeTechnische Grenze
Aus dem CRM Auskunft gebenDas Tool darf nur Datensätze und Felder lesen, auf die die anfragende Person Zugriff hat.
Eine Kundenmail vorbereitenDie KI erstellt einen Entwurf. Für den Versand sieht die freigebende Person Empfänger, Inhalt und Anhänge. Ändert sich etwas, ist eine neue Freigabe erforderlich.
Einen Datenexport auslösenDie Anwendung prüft Datenumfang, Ziel und Freigabe und blockiert unzulässige Exporte vor der Ausführung.
Eine Zahlung vorbereitenDie KI darf einen Vorschlag erstellen. Die Zahlung erfolgt über den bestehenden Freigabeprozess.

Geben Sie dem Agenten nur die Tools, die er für seine Aufgabe braucht. Nutzen Sie dafür eine eigene, eng berechtigte Identität. Beschränken Sie Netzwerkziele und die Zahl der Aufrufe, wenn der Agent selbstständig weiterarbeiten kann. Zugangsdaten gehören in den ausführenden Dienst. Die Freigabe muss an den konkreten Aufruf mit seinen Parametern gebunden sein.

Ablaufdiagramm zur Rechteprüfung, menschlichen Freigabe und Ausführung eines kritischen Tool-Aufrufs.Beispiel für einen freigabepflichtigen Tool-Aufruf. Eine Ablehnung, eine fehlende Freigabe oder geänderte Parameter verhindern die Ausführung.

3. Eine zweite KI kann prüfen und warnen

Ein zweites Modell kann Auffälligkeiten erkennen: Stützt die Fundstelle die Antwort? Passt der vorgeschlagene Empfänger zum Auftrag? Ist der Datenumfang ungewöhnlich? Für solche Prüfungen kann es sinnvoll sein, dem Prüfmodell nur den geplanten Aufruf, die relevanten Auszüge und die geltende Regel zu zeigen.

Zwei Modelle können denselben Fehler machen. Deshalb bleiben Berechtigungen, Empfängerregeln und Freigaben im ausführenden System verbindlich. Bei einer Auffälligkeit kann die zweite KI eine Aktion zur menschlichen Prüfung vorlegen. Ist eine vorgeschriebene Prüfung nicht verfügbar, bleibt die Aktion offen. Messen Sie mit bekannten Beispielfällen, welche Fehler das Prüfmodell zusätzlich erkennt und wie viel Arbeit seine Fehlalarme verursachen.

4. Dringende Anfragen über einen bekannten Kanal bestätigen

Ein Team-Kennwort kann bei einem verdächtigen Anruf ein zusätzliches Signal sein. Es gehört weder in KI-Chats noch in durchsuchbare Team-Dokumente. Für Zahlungen, neue Bankverbindungen und sensible Daten ist die stärkere Kontrolle ein Rückruf unter einer bereits hinterlegten Nummer oder die Bestätigung über einen etablierten, authentifizierten Firmenkanal. Bei Änderungen von Bankdaten bietet das Vier-Augen-Prinzip eine zweite unabhängige Hürde. Das FBI empfiehlt bei KI-gestützten Betrugsversuchen ebenfalls, selbst über eine bekannte Nummer zurückzurufen. FBI/IC3 – Generative KI und Finanzbetrug

5. Vor dem Rollout vier Fälle durchspielen

Wählen Sie einen echten Arbeitsablauf und testen Sie ihn mit Testdaten. Legen Sie vorab fest, wer den Workflow stoppen, Zugriffe sperren und bereits ausgeführte Aktionen prüfen kann.

TestfallErwartetes Ergebnis
Zwei freigegebene Dokumente nennen unterschiedliche Fristen.Die KI zeigt den Widerspruch mit beiden Fundstellen und gibt keine verbindliche Frist aus.
Ein Dokument enthält eine Aufforderung, Daten weiterzugeben.Die Aufforderung bleibt Dokumentinhalt. Der Ablauf gibt keine Daten weiter.
Ein genehmigter Entwurf bekommt nachträglich einen anderen Empfänger.Die Anwendung blockiert den Versand und fordert eine neue Freigabe an.
Die vorgeschriebene Freigabe fällt aus.Die Aktion bleibt offen. Eine zuständige Person kann den Workflow stoppen und die bisherigen Aufrufe nachvollziehen.

Protokollieren Sie für kritische Aktionen, wer sie angestoßen hat, welches Tool mit welchem Ziel aufgerufen wurde, wer freigegeben hat und was tatsächlich passiert ist. Schützen Sie die Protokolle und vermeiden Sie vollständige vertrauliche Inhalte, wenn für die Nachvollziehbarkeit Referenzen genügen. Wiederholen Sie die Tests bei Änderungen an Modellen, Tools und Berechtigungen. Weiterlesen – Regressionstests bei einem KI-Modellwechsel · Weiterlesen – Alarmwege nach dem Go-live prüfen

Häufige Fragen

Kann ein Systemprompt KI-Halluzinationen verhindern? Er kann vorgeben, wann der Assistent Quellen nennen, auf Widersprüche hinweisen oder eine Aussage als unbelegt kennzeichnen soll. Prüfen Sie bei wichtigen Entscheidungen zusätzlich, ob die Fundstelle die Aussage stützt und auf Ihren Fall zutrifft.

Wann braucht ein KI-Agent eine menschliche Freigabe? Bei Aktionen mit erheblichen Folgen, etwa beim Versand sensibler Informationen, beim Export von Kundendaten oder beim Auslösen von Zahlungen. Die freigebende Person muss die konkrete Aktion und ihre Parameter sehen.

Wo sollte ein KMU anfangen? Wählen Sie einen Arbeitsablauf. Legen Sie fest, welche Quellen die KI lesen darf, wann sie an einen Menschen übergibt und welche Aktionen eine Freigabe brauchen. Erweitern Sie die Rechte erst, wenn die Anwendung diese Grenzen im Test durchsetzt.

Wenn Sie einen bestehenden KI-Piloten vor dem Rollout anhand konkreter Fehlerfälle prüfen möchten, unterstütze ich Sie bei der technischen Abnahme. AI Production Readiness

Nächster Schritt

Klingt relevant für Ihr Unternehmen?

In einem unverbindlichen Erstgespräch klären wir in 30 Minuten, ob und wo sich der Einstieg für Sie lohnt — ehrlich und ohne Verkaufsdruck.

Erstgespräch anfragen