Was schiefgehen kann – Risiken und Mitigation-Strategien

Es ist ein Dienstagmorgen. Thomas Berger, Head of Marketing bei einem mittelständischen E-Commerce-Händler, findet eine E-Mail seines Kundendienstteams: Seit Montagnacht hat ein Kampagnen-Agent eigenständig Reaktivierungsmails an 18.000 Kunden versandt – mit einem Rabatt von 40%, obwohl das Limit bei 15% lag. Niemand hatte die Guardrail-Konfiguration nach dem letzten Update geprüft. Schaden: rund 54.000 Euro entgangener Marge. Nicht durch Hacking. Nicht durch Sabotage. Durch eine Konfigurationslücke.

Das ist kein Extremfall. Es ist ein Standardfall. Autonome Systeme machen auch autonom Fehler – mit KI-Geschwindigkeit, in großem Maßstab, ohne dass jemand rechtzeitig eingreift.

Dieses Kapitel ist kein Schreckenszenario. Es ist eine nüchterne Analyse der Fallstricke – damit du sie erkennst, bevor sie dich treffen.

Technische Risiken, die in der Praxis zuschlagen

Halluzinierende Agenten, Kaskadenfehler über Schichtgrenzen hinweg, Prompt Injection durch externe Inhalte, Agent Sprawl wenn Teams unkoordiniert deployen – vier Risikotypen, die nicht hypothetisch sind. Jedes davon hat in produktiven Systemen bereits erheblichen Schaden angerichtet.

Das strukturelle Problem: In einem Multi-Agenten-System propagieren sich Fehler. Ein fehlerhaftes Kundenprofil aus dem Data Layer führt zu einer falschen Decisioning-Empfehlung, falschem Content, falscher Ausspielung. Vier Fehler – verursacht durch einen einzigen Eingangsfehler. Fail-Fast ist nicht nur ein technisches Designprinzip, sondern eine wirtschaftliche Entscheidung.

Purpose Drift – die schleichende Gefahr

Ein Agent, der aus Kundendaten lernt, entwickelt über Zeit ein immer detaillierteres Bild – und nutzt diese Erkenntnisse irgendwann für Zwecke, für die keine Einwilligung erteilt wurde. Ein Kundenservice-Agent, der lernt, dass bestimmte Anfragen auf Abwanderungsrisiko hindeuten, und diese Information an den Marketing-Agenten weitergibt – ist das noch im Rahmen der erteilten Einwilligung?

Das DSGVO-Prinzip der Zweckbindung gilt auch für lernende Systeme. Ein System, das seinen Verwendungszweck ausdehnt, ohne neue Einwilligungen einzuholen, ist nicht konform – auch wenn niemand diesen Drift explizit gewollt hat. Und der EU AI Act, der ab August 2026 vollständig gilt, macht Transparenzpflichten für KI-gestützte Kommunikation verbindlich, unabhängig von der Hochrisiko-Klassifizierung.

Wie Canary Testing, Trust Scoring und das Least-Privilege-Prinzip als Robustheitsmuster für den Produktionsbetrieb aussehen – und welche Checkliste vor jedem nächsten Autonomie-Level abgearbeitet werden sollte – zeigt das Kapitel vollständig.

→ Kapitel 13 beschreibt die Risiken mit offenen Augen. Wie Agentic Marketing 2028 tatsächlich aussieht – und welche drei Szenarien für den DACH-Raum realistisch sind – zeigt Kapitel 14.

→ Zum Buch