Heute war bei uns internes Audit im Marketing. Geprüft hat eine KI. Geprüft wurde ein Prozess, dessen Aufzeichnungen zum großen Teil KI-Agenten geschrieben haben. Befragt wurde ich, weil ich den Prozess verantworte, die Beiträge freigebe und sie veröffentliche.
Dass das keine unabhängige Prüfung ist, steht im Bericht selbst, unter Unparteilichkeit: eingeschränkt. Derselbe Agent hatte eine Woche vorher auch unsere Managementbewertung geschrieben. Die Gegenmaßnahme: Jede Feststellung stützt sich auf eine Aufzeichnung, nicht auf einen Eindruck, und jede, die Arbeit der Agenten betrifft, ist eigens markiert.
Was geprüft wurde
Unser Marketing auf LinkedIn seit August: Kampagnenpläne, Beitragsnotizen, Auswertungen und das Dokument, das den Prozess beschreibt. Geplant war eine Stichprobe von acht Beiträgen. Geprüft wurden alle vierzehn, die seit der Freigabe der Prozessbeschreibung veröffentlicht wurden, zuerst maschinell, dann jede Lücke von Hand an der Notiz. Drei maschinelle Treffer hielten der Gegenprobe nicht stand.
Das Ergebnis
Keine Hauptabweichung, neun Nebenabweichungen, drei Hinweise. Sechs der neun Abweichungen betreffen die Arbeit der Agenten.
Die wichtigste Stelle hält: Kein Beitrag wurde von einem Agenten veröffentlicht. Alle vierzehn habe ich selbst gepostet, und jede Notiz belegt das.
Der Rest folgt einem Muster, das der Bericht in einem Satz zusammenfasst: Routinen, die das Prozessdokument beschreibt, werden in der Praxis anders oder gar nicht gelebt, und das Dokument wird nicht nachgezogen.
Drei Beispiele
Die Freigabeliste. Laut Prozess hält ein Agent eine Liste aller Beiträge aktuell, die auf meine Freigabe warten. Zuletzt gepflegt wurde sie am 28. September. Zwei neue Beiträge fehlten, zwanzig erledigte standen noch darin. In der Praxis frage ich den Agenten, was ansteht, und bekomme Links. Vermisst hat die Liste niemand.
Die Messung. Laut Prozess gibt es jeden Freitag drei Exporte aus LinkedIn, und die Werte je Beitrag kommen in die Notiz. Tatsächlich gab es Exporte am 2. September, am 17. September und am 16. Oktober. Bei vier Beiträgen standen die Werte im Export, aber nie in der Notiz.
Die Kennzahl. Ob ein Beitrag vor der Veröffentlichung freigegeben war, war an zwei Stellen verschieden definiert. Nach der einen Lesart waren 11 von 14 Beiträgen sauber nachgewiesen. Nach der strengeren, über alle Beiträge gezählt, 16 von 36. Beide Zahlen stammen vom selben Auditor.
Was ändert sich: das Dokument oder die Praxis?
Der Bericht macht keine Vorschläge. Er stellt fest, dass beides auseinanderläuft, und überlässt die Entscheidung der Geschäftsführung, also mir. Die Antwort war nicht in jedem Fall dieselbe.
Die Freigabeliste ist gestrichen. Wenn ich einen Beitrag selbst poste, ist das die Freigabe. Nur wenn Beiträge als Datei in ein anderes System gehen, muss die Freigabe vorher aufgezeichnet sein.
Die Freitagsmessung bleibt. Hier war das Dokument richtig und die Praxis falsch. Weil „jeden Freitag von Hand“ offensichtlich nicht hält, soll sie ein Programm übernehmen.
Die Kennzahl lautet jetzt an allen Stellen gleich.
Für die übrigen Befunde ist noch nichts entschieden. Einer ist unangenehmer als die anderen: Eine Kampagne, die Anfang Oktober endete, wurde nie ausgewertet. Ihr Ziel waren zwei bis drei qualifizierte Anfragen. Ob sie es erreicht hat, hat niemand festgehalten. Und wohin eine Anfrage aus unserer laufenden Kampagne ginge, wer sie in welcher Frist beantwortet, steht nirgends. Bisher kam keine.
Was ich daraus mitnehme
Ein Prozessdokument, das mehr beschreibt, als gelebt wird, ist keine strenge Regel. Es ist eine falsche Beschreibung. Und eine falsche Beschreibung schadet mehr als eine lückenhafte, weil sich jeder auf sie verlässt, auch die Agenten, die nach ihr arbeiten.
Nach einem Audit lautet die Frage deshalb nicht nur: Wie bringen wir die Praxis auf Linie? Sondern bei jedem Befund: Welche Seite stimmt?
Dass eine KI die Arbeit von KI prüft, ersetzt keinen unabhängigen Blick. Es macht ihn aber gezielter. Wer weiß, dass sechs von neun Abweichungen an Agentenarbeit hängen, weiß, wo ein externer Auditor zuerst hinschauen sollte.
Dieser Beitrag ist mit Unterstützung einer KI entstanden; Zahlen und Befunde stammen aus unserem eigenen Auditbericht, die Aussagen habe ich geprüft und verantworte sie.