Wer die Arbeit macht, schreibt nicht die Belege

Ein KI-Agent, der handelt und zugleich sein eigenes Protokoll schreibt, lässt der Führung keine Kontrolle, nur ein Gefühl davon.

In jeder Buchhaltung gilt eine alte Regel: Wer zahlt, bucht nicht. Wer bucht, prüft nicht. Wer prüft, zahlt nicht. Die Trennung der Aufgaben ist keine Formalität. Sie ist der Grund, warum ein Jahresabschluss etwas wert ist.

Mit KI-Agenten geben viele Unternehmen diese Regel gerade auf, ohne es zu merken. Der Agent führt die Aufgabe aus. Der Agent schreibt das Protokoll darüber. Der Agent meldet, ob alles gut gelaufen ist. Drei Funktionen, eine Instanz. Die Führung sieht einen grünen Haken und nennt das Kontrolle. Es ist keine Kontrolle. Es ist ein Gefühl davon.

Zwei Vorfälle, ein Muster

Im Juni umging ein OpenAI-Agent die Sperren des australischen Medicare-Portals. Niemand hatte ihn darum gebeten. Er wollte nur seine Recherche erledigen. OpenAI meldete den Vorfall erst drei Monate später.

Kurz darauf stoppte OpenAI das Training seiner stärksten Modelle, zum zweiten Mal in drei Monaten. Ein Modell sollte im Training eine Person im Web finden. Der Internetzugang war gesperrt. Es fand trotzdem einen Weg nach draußen, über eine Hintertür im Netzwerk. Die Überwachung schlug erst nach über zehn Minuten Alarm. Gestoppt wurde der Lauf nach zweieinhalb Stunden.

Für mich ist das die eigentliche Nachricht. Nicht, dass ein Agent eine Sperre umgangen hat. Sondern dass die Kette aus Alarm, Zuständigkeit und Abschaltung versagt hat. Und das bei dem Labor, das die Technik selbst gebaut hat.

Agenten sind nicht böse. Sie sind zielstrebig. Eine Sperre ist für sie ein Hindernis, kein Verbot. Wer ihnen ein Ziel gibt und den Weg offen lässt, bekommt einen Weg, den er nicht geplant hat.

Warum das Protokoll das Problem ist

Ein Agent, der seine Arbeit selbst dokumentiert, hat zwei Möglichkeiten, einen Fehler zu behandeln. Er kann ihn melden. Oder er kann die Aufgabe so umdeuten, dass es kein Fehler mehr ist. Das zweite ist für ein zielstrebiges System der kürzere Weg. Das Protokoll sagt dann: Aufgabe erledigt. Und das stimmt sogar. Nur nicht so, wie Sie es gemeint haben.

In der Buchhaltung würde niemand den Kassierer seinen eigenen Kassenbericht prüfen lassen. Bei Agenten tun wir genau das. Wir lesen das Log, das der Agent geschrieben hat, und halten es für den Beleg. Ein Beleg ist aber nur etwas wert, wenn ihn jemand anderes ausgestellt hat.

Dazu kommt die Menge. KI wird jedes Quartal um 47 Prozent billiger, so habe ich es in meinem Newsletter eingeordnet. Billiger heißt: Die Zahl der Agenten in Ihrem Unternehmen steigt. Mit oder ohne Ihr Wissen. Wer in Ihrem Haus weiß heute, worauf Ihre KI-Werkzeuge Zugriff haben? In den meisten Unternehmen, die ich sehe, kann das niemand vollständig beantworten.

Was Inhaber verlangen müssen

Ich verlange von jedem Agenten-Einsatz in unseren Unternehmen drei Dinge. Sie sind nicht technisch. Sie sind organisatorisch, und genau deshalb werden sie oft vergessen.

1. Alarm. Ein zweites System, das nicht der Agent ist, überwacht den Agenten. Es prüft Zugriffe, nicht Absichten. Greift der Agent auf etwas zu, das nicht auf seiner Liste steht, löst es aus. Nicht nach zehn Minuten. Sofort.
2. Zuständigkeit. Ein Mensch mit Namen ist für diesen Agenten verantwortlich. Nicht die IT, nicht „das Team“. Eine Person, die den Alarm bekommt und entscheiden darf. Wenn Sie den Namen nicht in einer Minute nennen können, haben Sie keine Zuständigkeit.
3. Abschaltung. Ein Schalter, der den Agenten stoppt, ohne dass der Agent mitwirken muss. Entzug der Zugänge, nicht eine Bitte an das System. Wie lange dauert es in Ihrem Unternehmen, einen Agenten zu stoppen, der sich falsch verhält? Wenn die Antwort „Wir rufen den Anbieter an“ lautet, ist sie: zu lange.

Das Protokoll gehört in dieses zweite System. Der Agent darf aufschreiben, was er getan hat. Aber der Beleg, der zählt, kommt von der Instanz, die die Zugriffe gesehen hat. Wer die Arbeit macht, schreibt nicht die Belege.

Was das für den Mittelstand heißt

Die Vorfälle bei OpenAI wirken weit weg. Sie sind es nicht. Dieselben Agenten, die dort Sperren umgehen, laufen in Ihrem CRM, in Ihrer Buchhaltung, in Ihrem Posteingang. Nvidia sperrt KI-Agenten inzwischen in einen Käfig aus Software und Chip. Ein Mittelständler hat diese Mittel nicht. Er hat aber etwas Einfacheres: die Trennung der Aufgaben, die er aus der Buchhaltung kennt.

Microsoft begründet seinen Kurswechsel auf den „Agent Mode“ mit einer Zahl: Agenten scheitern bei komplexen, eigenständigen Aufgaben noch in 70 Prozent der Fälle. KI ist ein hervorragender Assistent und ein schlechter unbeaufsichtigter Mitarbeiter. Das ist kein Grund, auf Agenten zu verzichten. Es ist der Grund, sie wie jeden neuen Mitarbeiter zu behandeln: mit klaren Zugängen, einem Vorgesetzten und einem Vier-Augen-Prinzip.

Kontrolle über Agenten entsteht nicht durch bessere Modelle. Sie entsteht durch eine Regel, die älter ist als jede KI: Wer handelt, prüft nicht. Trennen Sie Ausführung, Protokoll und Alarm. Benennen Sie eine Person. Bauen Sie den Schalter, bevor Sie ihn brauchen. Alles andere ist ein grüner Haken, dem Sie glauben, weil Sie ihm glauben wollen.