Die Sicherheit eines KI-gestützten Systems wird entweder in der Entwurfsphase festgelegt oder gar nicht: Am Ende werden lediglich teilweise Abhilfemaßnahmen für bereits getroffene Entscheidungen vorgenommen. Ein Schutzmechanismus, der Antworten filtert, behebt kein schlecht konzipiertes Berechtigungsmodell, genauso wenig wie ein Geländer das Fundament korrigiert.
Der Unterschied zwischen den beiden Arbeitsweisen liegt nicht in der Sicherheit. Es geht um die Kosten, und die sind enorm: Was ein zweistündiges Vorgespräch kostet, kann später ein ganzes Projekt verschlingen.
Entscheidung | Wenn es zu Beginn eingenommen wird | Wenn Sie versuchen, es später hinzuzufügen |
|---|---|---|
Welche Identität verwendet das System für den Zugriff? | Konfiguration | Redo-Integrationen und Berechtigungsmodell |
Welche Aktionen können Sie durchführen? | Die Liste war von Anfang an geschlossen. | Prüf- und Begrenzungscode bereits in der Produktion |
Was wird bei jeder Ausführung protokolliert? | Instrumentierung vom ersten Tag an | Die Vergangenheit lässt sich nicht rekonstruieren. |
Trennung der Umgebungen | Projektstruktur | Migration durch Störungen gefährdet |
Wo sie ihren Sitz haben und wer die Daten verarbeitet | Architekturwahl | Vertragsneuverhandlung und Migration |
Die dritte Reihe besitzt eine Eigenschaft, die sie besonders teuer macht: Es ist unumkehrbar.. Wenn es nicht registriert wurde, existiert es nicht. Wenn ein Kunde, ein Prüfer oder ein Gericht fragt, was das System vor drei Monaten geleistet hat, hängt die Antwort nicht von der Kooperationsbereitschaft ab, sondern von einer technischen Entscheidung, die jemand vor dem Start getroffen – oder nicht getroffen – hat.
Es ist wichtig, präzise zu sein, da dieser Artikel fälschlicherweise als Kritik an Schutzmaßnahmen interpretiert werden könnte. Das Filtern unangemessener Inhalte, das Erkennen bekannter Manipulationsmuster und die Begrenzung der Antwortlänge sind allesamt sinnvolle Maßnahmen.
Was sie nicht leisten, ist, strukturelle Schäden zu verhindern. Eine Schutzbarriere wirkt auf den ein- und ausgehenden Text; sie greift nicht in die Systemfunktionen ein. Wenn das System die Berechtigung zur Zahlungsabwicklung hat, kann kein Inhaltsfilter die Zahlungsabwicklung verhindern, sobald das System aus irgendeinem Grund dazu veranlasst wird.
Die korrekte Hierarchie ist folgende:
Die Reihenfolge ist wichtig. Normalerweise beginnt man mit Punkt 4, weil man das kaufen kann; mit Punkt 1 zu beginnen ist jedoch sinnvoller, weil man das selbst entwirft.
Dies sind die Fragen, die wir uns stellen, bevor wir in einem Projekt mit KI-Komponenten Code schreiben:
Mit welcher Identität greift das System auf die einzelnen Quellen zu? Die richtige Antwort lautet fast immer: mit dem Benutzer, propagiert.
Welche Aktionen können vollständig durchgeführt werden? Aufgeführt, nicht beschrieben. Was nicht aufgeführt ist, existiert nicht.
Welche Handlungen sind unumkehrbar und wer bestätigt sie? Zahlungen, externe Kommunikation, Produktionsänderungen und alles, was Daten Dritter betrifft.
Was wird aufgezeichnet, wo und wie lange? Mit genügend Details, um einen konkreten Fall Monate später zu rekonstruieren.
Welche Daten gelangen in das System und welche Daten werden durch eine explizite Entscheidung ausgeschlossen? Der Gedanke «nur für den Fall, dass man es braucht» ist der Ursprung der meisten Ausstellungen.
Wie kann man es stoppen und wie kann man es rückgängig machen? Ein Mechanismus, der weder die Bereitstellung von Code erfordert noch von einem Anbieter abhängig ist.
Sechs Fragen, ein Treffen. Es ist die Maßnahme mit dem besten Kosten-Nutzen-Verhältnis des gesamten Projekts, und sie ist diejenige, die am häufigsten ausgelassen wird, weil unter der Woche jeder sehen will, dass etwas funktioniert.
Das Gegenargument ist stets dasselbe und durchaus nachvollziehbar: Es besteht Druck, Ergebnisse vorzuweisen, und die Sicherheitsvorkehrungen verlangsamen den Prozess.
Die sinnvolle Reaktion besteht nicht darin, an ein abstraktes Risiko zu appellieren, sondern eine konkrete Alternative anzubieten: eine kleinere Reichweite mit dem kompletten Design. Mit anderen Worten: Es geht nicht darum, die Sicherheit zu verringern, um die Frist einzuhalten, sondern darum, den Funktionsumfang zu reduzieren und die sechs Entscheidungen beizubehalten.
Ein System, das drei Aufgaben gut erfüllt und mit begrenzten Berechtigungen und Nachverfolgbarkeit auskommt, lässt sich erweitern. Ein System, das dreißig Aufgaben unkontrolliert erfüllt, muss vor einer Erweiterung komplett neu aufgebaut werden, und bis dahin sind bereits Nutzer davon abhängig.
Eile ist nicht der Feind der Sicherheit. Umfang schon.
Es geht darum, Sicherheitsentscheidungen – Zugriffsberechtigungen, zulässige Aktionen, Protokollierung, Umgebungstrennung und Datenspeicherort – bereits in der Entwurfsphase und nicht erst nach der Entwicklung zu treffen. Diese Entscheidungen sind anfänglich kostengünstig, ihre Änderung im Produktivbetrieb jedoch sehr kostspielig.
Um unangemessene Inhalte zu filtern, bekannte Manipulationsmuster zu erkennen und Antwortformate einzuschränken. Was sie jedoch nicht leisten, ist die Verhinderung struktureller Schäden: Sie wirken auf eingehenden und ausgehenden Text ein, nicht auf das, was das System mit seinen Berechtigungen ausführen kann.
Sechstens: Mit welcher Identität greift das System auf die einzelnen Quellen zu, wie sieht die geschlossene Liste der zulässigen Aktionen aus, welche Aktionen sind irreversibel und wer validiert sie, was wird aufgezeichnet und wie lange, welche Daten werden durch eine explizite Entscheidung ausgeschlossen und wie wird das System gestoppt und rückgängig gemacht?.
Denn es ist unumkehrbar: Wenn es nicht aufgezeichnet wurde, existiert die Information nicht. Wenn ein Kunde, ein Prüfer oder ein Gericht fragt, was das System vor Monaten getan hat, hängt die Antwortmöglichkeit von einer technischen Entscheidung ab, die vor dessen Inbetriebnahme getroffen wurde.
Das NIST AI RMF strukturiert das Risikomanagement auf der Grundlage der Fähigkeit zur Identifizierung, Messung und Kontrolle; ISO/IEC 42001 verlangt für die Zertifizierung den Nachweis einer fortlaufenden Kontrolle; und die europäische KI-Verordnung schreibt für bestimmte Kategorien Ereignisprotokollierung, technische Dokumentation und nachweisbare menschliche Aufsicht vor.
Die Reduzierung des Funktionsumfangs, nicht der Designentscheidungen, ist entscheidend. Ein System, das drei Aufgaben mit begrenzten Berechtigungen und Nachverfolgbarkeit gut erfüllt, lässt sich erweitern; ein System, das dreißig Aufgaben ohne Kontrolle erledigt, muss vor einer Erweiterung neu gestaltet werden, insbesondere wenn die Benutzer bereits darauf angewiesen sind.
Planen Sie, ein KI-Projekt zu starten? Das zweistündige Gespräch über Identität, Berechtigungen, Aktionen und Registrierung ist die lohnendste Investition im gesamten Projekt. Wir führen es gerne mit Ihnen durch – ganz unverbindlich. Lass uns reden → |
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
