Seit Anfang Oktober prüft bei uns jeden Morgen um sechs ein Programm, ob unser Wissensspeicher seinen eigenen Regeln folgt. Schon der erste Lauf meldete eine Abweichung, die keine Notiz betraf, sondern das Programm selbst: Seine Prüflogik stimmte nicht mehr mit den Regeln überein.
Warum überhaupt jeden Tag?
Bis dahin haben wir in großen Läufen gemessen, dreimal im September. Was dazwischen schiefging, fiel erst beim nächsten Lauf auf. Eine Abweichung soll aber an dem Tag sichtbar werden, an dem sie entsteht, und nicht erst beim nächsten großen Lauf.
Der erste Gedanke war, die Prüfung einem Sprachmodell zu überlassen, das wir am selben Tag auf unserem Regelwerk weitertrainiert hatten. Wir haben es ausprobiert. Das Modell hatte die Form der Regeln gelernt, nicht ihren Inhalt: Auf ein Stichwort aus dem Regelwerk erfand es einen Paragrafen, den es nicht gibt.
Prüfen ist exakte Regelanwendung. Seitdem hat jedes Kriterium ein Skript. Die KI darf höchstens vorsortieren, und auch das nur, wenn ein Modell vorher einen Prüfsatz besteht. Von den Modellen, die uns zur Verfügung standen, hat ihn keines bestanden. Die Vorsortierung ist deshalb eingebaut und ausgeschaltet.
Die Kopie, die sich meldet
Unsere Prüfregeln stehen im Wissensspeicher selbst, als Text mit Programmstücken. Würde der Server diese Stücke direkt ausführen, könnte jeder, der eine Regel bearbeiten darf, dort Programme starten. Das wollten wir nicht.
Der Bot arbeitet deshalb mit einer geprüften Kopie der Regeln. Kopien haben einen bekannten Fehler: Sie veralten, ohne dass es jemand merkt. Also vergleicht der Bot bei jedem Lauf seine Kopie mit dem Original und schreibt das Ergebnis in den Bericht.
Sechs Tage
Die Kopie stammte vom 26. September. Der erste Lauf war am 2. Oktober. Er meldete: Prüflogik weicht ab, an zwei Stellen.
In den sechs Tagen dazwischen hatten wir vier neue Regeln beschlossen und eine Prüfung verschärft. Jede einzelne Änderung war dokumentiert. Die Kopie kannte keine davon.
Ohne den Abgleich hätte der Bot von da an jeden Morgen einen sauberen Bericht geschrieben, gemessen nach dem Stand von vor sechs Tagen. Der Bericht hätte ausgesehen wie immer.
Die Kopie wurde am selben Tag nachgezogen. Der nächste Lauf meldete: Abgleich in Ordnung.
Was drei Notizen nicht zeigen
Bei der Abnahme vor der Auslieferung fiel noch etwas auf. Der Bot liest bei jedem Lauf über tausend Notizen. Nach 300 Aufrufen standen 157 Zugriffe auf die Datenbank offen, die nie wieder geschlossen wurden.
721 automatische Tests hatten das nicht gefunden. Der Grund ist schlicht: Die Testbestände haben drei Notizen. Eine Grenze, die erst bei tausend Zugriffen erreicht wird, zeigt sich nur unter echter Last.
Was der Bot nicht ist
Die Tagesmessung ist kein Prüfbericht. Sie bewertet nichts, sie arbeitet nichts nach und sie weist niemandem etwas zu. Sie sagt, wo man hinschauen sollte. Das Hinschauen bleibt Arbeit von Menschen.
Was ich daraus mitnehme
Wer etwas misst, braucht eine Messung des Messenden. Bei uns hat sie am ersten Tag angeschlagen.
Und der Abgleich hat nichts mit künstlicher Intelligenz zu tun. Er ist ein Vergleich zweier Texte. Die Regel dahinter ist älter als jede KI: Eine Kopie, die sich nicht selbst gegen das Original prüft, ist ab dem Tag ihrer Entstehung falsch. Man weiß nur nicht, seit wann.
Dieser Beitrag ist mit Unterstützung einer KI entstanden; Zahlen und Befunde stammen aus unseren eigenen Protokollen, die Aussagen habe ich geprüft und verantworte sie.