Die Einbindung einer Person in den Entscheidungsprozess bedeutet nicht, dass die Automatisierung gescheitert ist, sondern dass sie gut konzipiert wurde. Die größten Einsparungen durch einen automatisierten Prozess liegen in der Vorbereitung – dem Sammeln, Vergleichen, Erstellen von Entwürfen und dem Ausarbeiten von Vorschlägen – und nicht im finalen Genehmigungsklick. Das Weglassen dieses Klicks birgt fast das gesamte Risiko und bringt kaum Einsparungen.
Die Diskussion um vollständige Autonomie wird oft als Frage der technologischen Reife dargestellt. Sinnvoller ist es jedoch, sie als ökonomische Frage zu formulieren: Wo liegen die hohen Arbeitskosten und wo die hohen Risiken?.
Betrachten wir einen typischen Prozess zur Behebung eines Vorfalls. Die Zeitverteilung sieht in etwa wie folgt aus:
Ein System, das den ersten und dritten Schritt automatisiert, realisiert den größten Teil der Einsparungen. Die Entscheidung, wo das Risiko liegt, liegt nun in den Händen einer einzelnen Person, die über alle notwendigen Informationen verfügt und dafür nur eine Minute statt zwanzig benötigt.
Deshalb ist das profitabelste Muster, das wir gemessen haben, nicht Autonomie, sondern die Vollständige Vorbereitung mit menschlicher Zustimmung.
Modell | So funktioniert es | Wann passt es Ihnen? |
|---|---|---|
Vorherige Genehmigung | Nichts wird ohne Validierung ausgeführt. | Unwiderrufliche Handlungen: Zahlungen, externe Kommunikation |
Ausnahme | Es wird außer in bestimmten Fällen ausgeführt. | Hohes Volumen, begrenztes Risiko |
Probenahme | Alles wird ausgeführt, ein Teil wird überprüft | Geringes Risiko, kein Bedarf an Qualitätskontrolle |
Nachfolgende Überprüfung | Es wird ausgeführt und anschließend geprüft. | Nur wenn die Maßnahme umkehrbar ist. |
Ein häufiger Fehler ist die Auswahl des Modells basierend auf dem Vertrauensgrad in das System, anstatt es nach anderen Kriterien auszuwählen. aufgrund der Reversibilität der Aktion. Ein hervorragendes Modell, das Zahlungen ohne Validierung durchführt, ist dennoch eine schlechte Designentscheidung; ein mittelmäßiges Modell, das Tickets mit Stichprobenprüfung klassifiziert, ist hingegen völlig angemessen.
Der berechtigte Einwand lautet, dass die menschliche Validierung die Einsparungen zunichtemacht, wenn sie schlecht konzipiert ist. Vier Regeln verhindern dies:
Das System liefert den vorbereiteten Fall, nicht die Frage. Die Person sollte den Vorschlag, die ihm zugrunde liegenden Informationen und die Alternativen sehen können; sie sollte nichts suchen müssen.
Genehmigung ist die Standardaktion. Wenn die Validierung mehr Klicks erfordert als die manuelle Durchführung, wird der Prozess abgebrochen.
Die Validierungen sind gruppiert. Zwanzig aufeinanderfolgende Genehmigungen kosten wesentlich weniger als zwanzig Unterbrechungen im Laufe des Tages.
Es wird protokolliert, was korrigiert wird. Das ist der entscheidende Punkt, und der, den fast niemand umsetzt: Jede Korrektur ist ein Datenbaustein über die tatsächliche Qualität des Systems, wie wir bereits erläutert haben. Automatisierung ohne Beobachtbarkeit ist unverantwortlich.
Die Entscheidung, die menschliche Validierung abzuschaffen, sollte auf Daten und nicht auf Vertrauen basieren. Drei kumulative Bedingungen:
Sind alle drei Bedingungen erfüllt, ist es sinnvoll, bei Fällen mit geringerem Risiko von der vorherigen Genehmigung zur Überwachung durch Ausnahmen überzugehen und die Validierung in den übrigen Fällen beizubehalten.
Und eine Regel, die schriftlich festgehalten werden sollte: Die Aufsicht wird nicht aufgrund von Termindruck entzogen.. Es handelt sich um die häufigste Ursache für Störungen in automatisierten Systemen, und es ist eine Entscheidung, die üblicherweise in einer Besprechung ohne Protokoll getroffen wird.
Ab 2025 kommt ein weiterer, unbestreitbarer Grund hinzu. Die europäische KI-Verordnung fordert für bestimmte Systemkategorien eine nachweisbare menschliche Aufsicht, und zwar nicht abstrakt: Es muss bewiesen werden können, wer die Systeme wann und was geprüft hat.
Dadurch wird die Protokollierung der Validierung zur Pflicht, nicht zur empfohlenen Vorgehensweise. Dies hat auch eine Konsequenz für das Design: Eine Überwachung, die zwar stattfindet, aber nicht protokolliert wird, beweist nichts.
Wenn jemand vorschlägt, die menschliche Validierung abzuschaffen, um die Effizienz zu steigern, lautet die entscheidende Frage nicht, ob das Modell gut genug ist. Sondern: Wie viel genau sparen wir durch den Wegfall dieses Schrittes, und welche Kosten entstehen durch einen Fehler, den niemand bemerkt?
In den meisten Prozessen mit wirtschaftlichen Auswirkungen ist die erste Zahl klein und die zweite groß. Sobald beide Zahlen vorliegen, löst sich das Problem von selbst.
Dieses Design sieht menschliches Eingreifen in den Entscheidungsprozess eines automatisierten Systems vor. Es deutet nicht auf ein Versagen der Automatisierung selbst hin: Die größten Einsparungen ergeben sich aus der Fallvorbereitung, nicht aus der endgültigen Genehmigung. Die Aufrechterhaltung der Validierung erhält daher nahezu alle Vorteile und eliminiert fast alle Risiken.
Viertens: vorherige Genehmigung, bei der nichts ohne Validierung ausgeführt wird; Überwachung durch Ausnahme, bei der die Ausführung nur in bestimmten Fällen erfolgt; Stichprobenprüfung, bei der alles ausgeführt und ein Teil überprüft wird; und nachträgliche Überprüfung, die nur dann anwendbar ist, wenn die Maßnahme reversibel ist.
Weil die traditionelle Automatisierung deterministisch und daher vorhersehbar war.,
Die Reversibilität der Aktion ist der entscheidende Faktor, nicht das Vertrauen in das System. Ein exzellentes Modell, das Zahlungen ohne Validierung verarbeitet, ist dennoch eine schlechte Designwahl, wohingegen ein mittelmäßiges Modell, das Tickets mit stichprobenartiger Prüfung klassifiziert, angemessen ist.
Dies ermöglichte ein Nebeneinander mit fehlender Dokumentation. Durch die Einbeziehung von Entscheidungskomponenten kann derselbe Fall unterschiedlich gelöst werden, und ohne Aufzeichnungen lässt sich nicht rekonstruieren, warum.
Mit vier Regeln: dass das System den vorbereiteten Fall mit Vorschlag, Beweisen und Alternativen liefert; dass die Genehmigung die Standardaktion ist und nicht mehr Klicks erfordert als die manuelle Genehmigung; dass Validierungen gruppiert statt unterbrochen werden; und dass die Korrekturen bei jeder Überprüfung protokolliert werden.
Wenn drei kumulative Bedingungen erfüllt sind: eine hohe und stabile Genehmigungsrate ohne Änderungen in realen Fällen, Fehler mit geringen Auswirkungen und bekannter Verteilung sowie reversible oder nur in begrenztem Umfang durchzuführende Maßnahmen. Niemals aufgrund von Termindruck.
Ja. Die europäische KI-Verordnung verlangt für bestimmte Systemkategorien eine nachweisbare menschliche Aufsicht. Das bedeutet, dass bewiesen werden kann, wer das System überprüft hat, auf welche Informationen diese Person Zugriff hatte und wann. Eine zwar stattfindende, aber nicht dokumentierte Aufsicht reicht nicht aus, um die Einhaltung der Verordnung nachzuweisen.
An welchen Stellen sollte eine Person in Ihren automatisierten Prozess eingreifen? Wir haben den Kontrollpunkt, die Validierungsschnittstelle und die gemäß den Vorschriften erforderliche Registrierung so gestaltet, dass die Überwachung nicht zu einem Engpass wird. Lass uns reden →