Ein automatisiertes System, bei dem man unmöglich nachvollziehen kann, was es wann mit welchen Daten und warum getan hat, wird nicht betrieben, sondern lediglich unterstützt. Der Unterschied wird erst deutlich, wenn etwas schiefgeht, und dann lässt sich der Hergang nicht mehr rekonstruieren: Die notwendigen Daten wurden nicht gespeichert, weil niemand sie speichern wollte.
Dies ist wahrscheinlich der am weitesten verbreitete Konstruktionsfehler in den von uns geprüften KI-Komponentensystemen und lässt sich am günstigsten vermeiden, wenn man ihn frühzeitig angeht.
Überwachung bedeutet die Überprüfung, ob das System funktionsfähig ist: Es reagiert, erzeugt keine Fehler und die Latenz ist akzeptabel. Sie ist notwendig, aber nicht hinreichend.
Die Beobachtung ermöglicht es Ihnen, Fragen zu beantworten, die Sie nicht erwartet hatten. Warum hat sich dieser spezielle Fall so gelöst? Welche Modellversion war letzten Dienstag beteiligt? Wie oft musste das System es erneut versuchen, bevor es reagierte? Wie hoch ist der Prozentsatz der Vorschläge des Agenten, die vor der Genehmigung korrigiert werden?.
Diese Unterscheidung ist besonders bei probabilistischen Komponenten wichtig, denn ein KI-System kann hinsichtlich seiner Infrastruktur einwandfrei funktionieren – fehlerfrei, mit geringer Latenz und voller Verfügbarkeit – und dennoch zunehmend schlechtere Ergebnisse liefern. Ein herkömmliches Überwachungspanel erkennt dies nicht. Es zeigt alles in Ordnung an.
Wir haben es detaillierter ausgearbeitet in LLM-Beobachtbarkeit, die Metrik, die niemand misst
|
Schicht |
Was wird aufgezeichnet? |
Wozu dient es? |
|
Eingang |
Welche Daten und welchen Kontext hat das System empfangen? |
Den Fall reproduzieren und anomale Daten erkennen. |
|
Entscheidung |
Was hat das Modell produziert, mit welcher Version und mit welcher Konfiguration? |
Erläutern Sie das Ergebnis und erkennen Sie die Drift. |
|
Aktion |
Was lief tatsächlich auf welchem System? |
Prüfung, Stornierung und Haftung |
|
Validierung |
Wer hat es geprüft, was hat sich geändert und wann? |
Messen Sie die tatsächliche Qualität und stellen Sie die menschliche Aufsicht sicher. |
|
Kosten |
Verbrauch nach Ausführung und nach Geschäftsfall |
Kontrolle der Stückkosten im großen Maßstab |
Die Validierungsebene wird am häufigsten übersehen, ist aber gleichzeitig die wertvollste. Die Dokumentation der Korrekturen vor der Freigabe wandelt die menschliche Kontrolle in einen Datenfluss zur Systemqualität um. Ohne diese Dokumentation ist die einzige verfügbare Information die Kundenbeschwerde, die spät und voreingenommen eintrifft.
Die Kostenebene wird am zweithäufigsten übersehen. Ein KI-System verursacht variable Kosten pro Ausführung, was bei Unternehmenssoftware ungewöhnlich ist. Werden diese Kosten nicht pro Business Case erfasst, lässt sich nicht feststellen, ob der automatisierte Prozess rentabel ist. Diese Frage kommt immer wieder auf, üblicherweise bei der Budgetprüfung des folgenden Quartals.
Die technischen Indikatoren – Latenz, Tokens, API-Fehlerrate – dienen dem Betriebsteam. Nur vier davon sind für einen Lenkungsausschuss relevant:
Annahmequote unverändert. Welcher Prozentsatz der vom System generierten Vorschläge wird unverändert genehmigt? Dies ist der aussagekräftigste verfügbare Qualitätsindikator, da er auf realen Anwendungserfahrungen und nicht auf Labortests basiert.
Skalierungsrate des Menschen. Wie hoch ist der Prozentsatz der Fälle, die das System nicht lösen kann? Hierfür sollte ein Zielwert festgelegt werden: Ist er zu hoch, leistet das System keinen Beitrag; ist er null, löst es wahrscheinlich Fälle, die es nicht lösen sollte.
Kosten pro gelöstem Fall. Die Gesamtkosten werden durch die Anzahl der tatsächlich abgeschlossenen Fälle geteilt, nicht durch die Anzahl der Versuche. Dieser Wert wird mit den Kosten des vorherigen Prozesses verglichen.
Fehlererkennungszeit. Wie lange dauert es, bis eine Organisation erkennt, dass das System falsche Ergebnisse liefert? Wenn das niemand gemessen hat, lautet die wahre Antwort meist: «Wenn sich ein Kunde beschwert.».
Diese vier Kennzahlen können auf einer Folie dargestellt werden und beantworten die einzige Frage, die für einen Vorstand von Bedeutung ist: Funktioniert das, wie viel kostet es und wie lange dauert es, bis wir feststellen, ob es nicht mehr funktioniert?
Bis vor Kurzem wurde die Rückverfolgbarkeit mit technischen Argumenten verteidigt. Seit 2025 gibt es ein zweites Argument, das in einem Ausschuss schwieriger zu widerlegen ist.
Die europäische KI-Verordnung fordert für bestimmte Systemkategorien Ereignisprotokollierung, technische Dokumentation und nachweisbare menschliche Aufsicht. Das NIST-Rahmenwerk für KI-Risikomanagement strukturiert das Risikomanagement anhand der Mess- und Überwachungsfähigkeit. Die Norm ISO/IEC 42001 verlangt den Nachweis einer fortlaufenden Kontrolle für die Zertifizierung eines KI-Managementsystems.
Alle drei Frameworks benötigen im Wesentlichen dasselbe, wenn auch mit unterschiedlicher Terminologie: die Fähigkeit, die Systemaktionen nachzuweisen. Ein System, das seine Aktionen nicht protokolliert, kann diese nicht nachweisen, und das nachträgliche Hinzufügen dieser Informationen erfordert eine Anpassung der Architektur.
Es ist wichtig, dies klarzustellen, da es die Prioritätenreihenfolge verändert: Die Beobachtbarkeit ist nicht länger eine Aufgabe des operativen Geschäfts, sondern eine Anforderung an die Konstruktion geworden..
Es besteht keine Notwendigkeit, es neu zu schreiben. Der übliche Ablauf umfasst drei Schritte und kann ausgeführt werden, ohne den Betrieb zu unterbrechen:
Der Fehler, den es zu vermeiden gilt, ist der Versuch, alles gleichzeitig zu implementieren. Ein System mit zwei klar definierten Schichten ist ungleich besser handhabbar als eines mit fünf nur teilweise definierten Schichten.
Bevor ein Automatisierungsprojekt als abgeschlossen betrachtet wird, empfiehlt es sich, einen konkreten Test durchzuführen: Wählen Sie einen zufälligen Fall von vor drei Wochen aus und bitten Sie die Person, genau zu erklären, was passiert ist..
Kann das Team den Ablauf rekonstruieren – welche Daten eingegeben wurden, welche Modellversion verwendet wurde, was ausgeführt wurde und wer es validiert hat –, ist das System betriebsbereit. Beginnt die Antwort hingegen mit «Wir müssten die Protokolle prüfen, ich weiß aber nicht, ob wir diese speichern», befindet sich das System zwar im Produktivbetrieb, ist aber noch nicht fertig.
Es geht um die Fähigkeit, unerwartete Fragen zum Systemverhalten zu beantworten: warum ein bestimmter Fall auf eine bestimmte Weise gelöst wurde, welche Modellversion verwendet wurde, wie viele Wiederholungsversuche es gab oder welcher Anteil der Vorschläge korrigiert wird. Dies unterscheidet sich vom Monitoring, das lediglich die Verfügbarkeit und Reaktionsfähigkeit des Systems überprüft.
Fünf Ebenen: Eingabe (empfangene Daten und Kontext), Entscheidung (Modellausgabe, Version und Konfiguration), Aktion (was ausgeführt wurde und auf welchem System), Validierung (was der Prüfer korrigiert hat) und Kosten pro Ausführung und pro Geschäftsfall.
Viertens: unveränderte Akzeptanzrate, Eskalationsrate an menschliche Mitarbeiter, Kosten pro gelöstem Fall und Zeit bis zur Fehlererkennung. Technische Kennzahlen wie Latenz oder Token-Verbrauch dienen dem Betriebsteam, nicht der Geschäftsentscheidung.
Ja. Die europäische KI-Verordnung schreibt Ereignisprotokollierung, technische Dokumentation und nachweisbare menschliche Aufsicht für bestimmte Systemkategorien vor. Das NIST AI RMF strukturiert das Risikomanagement anhand der Mess- und Überwachungsfähigkeit, und ISO/IEC 42001 verlangt für die Zertifizierung den Nachweis einer fortlaufenden Kontrolle.
Ja, ohne es neu zu schreiben. Die effektive Reihenfolge ist, zuerst Eingabe und Aktion zu implementieren – was die Rekonstruktion eines Vorfalls ermöglicht – und dann den Datensatz zur menschlichen Validierung hinzuzufügen und die Alarmschwellenwerte zu definieren, bevor die Daten vorliegen, nicht danach.
Da Infrastrukturindikatoren (Verfügbarkeit, Latenz, Fehler) zwar positiv erscheinen können, die Ergebnisqualität jedoch abnimmt, wird die Qualität einer probabilistischen Komponente nicht mit herkömmlichen Überwachungstools, sondern anhand von Leistungskennzahlen gemessen, die auf der tatsächlichen Nutzung basieren.
|
Könnten Sie heute rekonstruieren, was Ihr KI-System vor drei Wochen getan hat? Wenn die Antwort unklar ist, sollten Sie sie am besten prüfen, bevor ein Kunde oder Wirtschaftsprüfer die Frage stellt. Wir analysieren Ihren Fall innerhalb von zwei Stunden – unverbindlich. Lass uns reden → |
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
