Agentic Marketing messen: KPIs für Systeme, die selbst entscheiden

Die Frage, auf die es in Agenten-Projekten die schwächsten Antworten gibt, ist zugleich die einfachste: Woran merkt ihr, dass es funktioniert?

Was dann kommt, sind meistens Kampagnenkennzahlen — Öffnungsrate, Klickrate, Conversion-Rate der Kampagne. Das ist nachvollziehbar, weil das MarTech-Reporting seit fünfzehn Jahren so läuft. Diese Zahlen bewerten allerdings eine einzelne Aussendung. Interessant wäre etwas anderes: was ein dauerhaft laufendes System über Wochen hinweg bei einem Kunden bewirkt — und wie viel menschliche Nacharbeit es dafür braucht.

Warum klassische Kampagnen-KPIs bei Agenten schwächeln

Eine Öffnungsrate beschreibt eine feste Aussendung, mit fester Kreation, an ein fest definiertes Segment, zu einem festen Zeitpunkt. Alle vier Annahmen fallen weg, sobald ein agentisches System in einer dynamischen Customer Journey im Spiel ist.

Das System verschiebt Segmentgrenzen, weil sich Signale ändern. Es wählt Varianten neu aus, weil eine schlecht läuft. Es verschiebt Zeitpunkte, weil ein Kunde gerade anders reagiert als erwartet. Der Vergleich zweier Wochen misst dann nicht die Wirkung einer Maßnahme, sondern die Summe aus Maßnahme, Nachsteuerung und veränderter Grundgesamtheit.

Dazu kommt ein Zurechnungsproblem. Wenn ein Agent im Laufe eines Monats 40 Anpassungen vornimmt, gibt es keine Kampagne mehr, der ein Ergebnis zugeschrieben werden könnte. Es gibt einen laufenden Prozess mit einem Ergebnis über einen Zeitraum.

Beides führt zur selben Konsequenz: Die Messebene muss sich von der Kampagne auf das Ziel verschieben.

Vier Kennzahlen, die funktionieren

1. Ergebnis auf Zielebene. Nicht die Performance der einzelnen Aussendung, sondern der Beitrag pro Kunde über einen definierten Zeitraum — Deckungsbeitrag, Wiederkaufrate, Rückgewinnungsquote, je nach Ziel. Diese Zahl ist schwieriger zu ermitteln, weil sie eine saubere Kundenzuordnung über Kanäle hinweg voraussetzt. Sie ist die einzige, die bei laufender Nachsteuerung stabil interpretierbar bleibt.

Praktisch heißt das: Vergleichsgruppe mitlaufen lassen. Eine Kontrollgruppe, die vom Agenten ausgenommen bleibt, ist wie im klassischen Kampagnenmanagement die Voraussetzung dafür, überhaupt eine Aussage treffen zu können.

2. Reaktionszeit. Wie lange dauert es vom auslösenden Signal bis zur ausgeführten Aktion? Hier liegt der strukturelle Vorteil agentischer Systeme gegenüber kampagnengetriebenen Prozessen, und hier zeigt sich sofort, ob die Datenkadenz im Stack ausreicht. Eine Reaktionszeit, die bei 14 Stunden liegt, verrät einen nächtlichen Batch-Job.

3. Fehlerkosten. Was hat die schlechteste Entscheidung gekostet, die das System im Berichtszeitraum getroffen hat? Diese Kennzahl fehlt fast überall, und sie ist die wichtigste zur Beantwortung der Frage, wie viel Autonomie ein System bekommen darf.

Erfassen lässt sie sich über die Fälle, in denen ein Mensch korrigierend eingegriffen hat: Was wäre passiert, wenn niemand eingegriffen hätte? Der Schätzwert reicht völlig — er verändert die Diskussion über Freigabegrenzen von Bauchgefühl auf Zahlen.

4. Eingriffsquote. Wie hoch ist der Anteil der Systementscheidungen, bei denen ein Mensch korrigiert, überstimmt oder nacharbeitet — und wie entwickelt sich dieser Anteil über die Monate?

Das ist die aussagekräftigste Kennzahl für agentische Systeme, und sie wird selten erhoben. Eine sinkende Eingriffsquote bei gleichbleibendem Ergebnis bedeutet, dass das System tatsächlich Arbeit übernimmt. Eine Quote, die sich nach sechs Monaten nicht bewegt hat, beschreibt ein sehr teures Vorschlagswerkzeug, dessen Ausgaben weiterhin Stück für Stück geprüft werden. Der Business Case dahinter ist dann meistens keiner.

Messung als Input, nicht als Report

Der eigentliche Unterschied liegt darin, wofür die Zahlen verwendet werden. Im klassischen Setup fließt die Messung in ein Reporting, das ein Mensch liest, um daraus die nächste Kampagne abzuleiten. In einem agentischen System ist Messung Teil des Regelkreises: Ergebnisse fließen zurück in die Entscheidungslogik, ohne dass jemand ein Dashboard dazu benötigt.

Für die Datenarchitektur bedeutet das: Kennzahlen müssen als abfragbarer Wert maschinenlesbar, eindeutig definiert und zeitnah verfügbar sein. Eine Kennzahl, die nur in einem BI-Werkzeug existiert und dort von Hand interpretiert wird, kann kein System steuern.

Deshalb ist die wichtigste Vorabfrage nicht „Welche KPIs wollen wir sehen?”, sondern: Welche unserer Kennzahlen könnte ein Agent heute abrufen und ohne menschliche Deutung verwenden?

Was du im ersten Quartal misst

1. Kontrollgruppe einrichten, bevor der Agent live geht. Nachträglich lässt sich das kaum reparieren. Fünf bis zehn Prozent eines Segments reichen in der Regel.
2. Eingriffe protokollieren, nicht nur Ergebnisse. Jede Korrektur mit Zeitstempel, Grund und Person. Das ist die Rohdatenbasis für Eingriffsquote und Fehlerkosten.
3. Eine Zielkennzahl festlegen, nicht fünf. Bei mehreren gleichrangigen Zielen optimiert das System gegen sich selbst — und die Auswertung wird zur Auslegungssache.
4. Reaktionszeit ab Tag eins messen. Sie ist einfach zu erheben und deckt Architekturprobleme auf, die sonst erst bei der Skalierung sichtbar werden.
5. Nach 90 Tagen die Eingriffsquote gegen den Wert zu Beginn stellen. Das ist der erste belastbare Moment, in dem sich sagen lässt, ob das System lernt oder nur läuft.

Wer diese fünf Punkte hat, kann nach einem Quartal begründen, ob das Vorhaben weitergeführt, ausgeweitet oder eingestellt wird.

---

Kapitel 8 des Buchs behandelt den Measurement Layer im Zusammenspiel mit Orchestrierung und Governance: welche Kennzahlen in den Regelkreis zurückfließen, wie Zielhierarchien Konflikte auflösen und woran man erkennt, dass ein System tatsächlich lernt.

→ Zum Buch