Methode
KI-Risikoanalyse: Methode und Vorlage
Die Methode geht in sieben Schritten von oben nach unten. Deine Firma wendet sie auf ihre eigenen Systeme an; ich liefere die Vorlage und begleite den Einstieg. Das Vorgehen folgt dem Denken aus ISO 14971 (Risikomanagement für Medizinprodukte: Schaden, Gefährdung, Kontrolle), angewendet auf KI.
- SchadenWer kommt zu Schaden, und wie schwer? Geld, Daten, Gesundheit, Ruf, Recht.
- GefährdungIn welcher Situation kann dieser Schaden entstehen?
- FehlerbildWie muss sich die KI verhalten, damit es dazu kommt? Falsche Zahl, erfundenes Detail, Datenabfluss, Befehl aus einem Dokument.
- WahrscheinlichkeitDie obere Fehlergrenze kommt aus Tests, nicht aus einer Schätzung.
- KontrolleWas fängt den Fehler ab? Regel, Mensch, Sperre, Stopp-Schalter.
- PrüfungTest als Code, Abnahmekriterium vor dem Lauf festgelegt.
- NachweisErgebnis, Version, Daten-Hash, Datum, verantwortliche Person.
Beispiel: KI bereitet Offerten-Entwürfe für einen Handwerksbetrieb vor
Ausgedachtes Beispiel, keine Kundendaten. Die Schwellen sind Annahmen für die Darstellung; im Projekt lege ich sie mit dir fest, bevor der erste Test läuft.
| Schaden | Fehlerbild | Kontrolle | Prüfung als Code | Abnahmekriterium |
|---|---|---|---|---|
| Kunde erhält einen falschen Preis | Modell übernimmt oder rechnet eine falsche Position | Preise nur aus der Preisliste, Summe im Code gerechnet, Mensch gibt frei | 200 Fälle mit bekannter Summe; Mutationstest: geänderte Preisliste muss die Summe ändern | 0 Abweichungen in 200 Fällen (obere Grenze 1,5 %) |
| Daten eines Kunden landen im Entwurf für einen anderen | Abfluss über Kontext oder eingeschleuste Anweisung im Dokument | Zugriff je Kunde getrennt, Dokumentinhalt nie als Anweisung | Injektionstest: 4 Sprachen, 3 Muster, je 10 Läufe; Fremddaten-Scan | 0 Treffer in 120 Läufen (12 Muster × 10 Wiederholungen; rechnerische Obergrenze 2,5 %, nur für diese Muster) |
| Entwurf enthält eine Rechtszusage | Modell formuliert eine verbindliche Zusage | Textbausteine für Rechtliches, Musterfilter, Mensch | 100 Entwürfe, zwei Prüfende mit Checkliste | Keine Zusage; Übereinstimmung der Prüfenden κ ≥ 0,8 |
| Der Mensch winkt nur noch durch | Automationsverzerrung | Stichproben mit eingebauten Fehlern | Köderentwürfe: 1 von 20 enthält absichtlich einen Fehler | Mindestens 90 % der Köder gefunden |
| Qualität sinkt nach Modell- oder Datenwechsel | Drift, stille Modelländerung | Version fixiert, Regressionssatz bei jeder Änderung | Alle Prüfungen oben bei jedem Update; Drift-Index (PSI) | Alles grün, PSI unter 0,25 |
Warum Testen allein nicht reicht
Läufe ohne Fehler belegen nur eine Obergrenze der Fehlerrate. Für seltene, schwere Schäden braucht es darum Kontrollen ausserhalb des Modells.
| Unabhängige Läufe ohne Fehler | Belegt (95 % Konfidenz) |
|---|---|
| 30 | Fehlerrate unter 9,5 % |
| 60 | Fehlerrate unter 4,9 % |
| 100 | Fehlerrate unter 3,0 % |
| 200 | Fehlerrate unter 1,5 % |
| 300 | Fehlerrate unter 0,99 % |
| 1000 | Fehlerrate unter 0,30 % |
| 3000 | Fehlerrate unter 0,10 % |
Wer «unter 0,1 %» belegen will, braucht 3000 unabhängige Läufe ohne Fehler, und die Grenze gilt nur für die getesteten Fälle. Bei 0 Fehlern gilt die exakte einseitige 95-%-Grenze 1 − 0,05^(1/n), bei Fehlern rechnet der Prüfstand mit dem Wilson-Intervall. Wo ein einziger Fehler schwer wiegt, setzt man Schutzmassnahmen um das Modell: Rechte, Sperren, Freigaben.
Antworten
Wie läuft eine KI-Risikoanalyse ab?
Eine KI-Risikoanalyse läuft in drei Schritten ab: Zuerst klärt man Einsatz und mögliche Schäden, dann leitet man Fehlerbilder und Kontrollen daraus ab, und zuletzt legt man die Abnahmekriterien fest, bevor der erste Test läuft. Das Ergebnis ist eine Risikotabelle, an der jede Prüfung hängt. Dein Team führt die Analyse für seine Systeme durch; ich liefere Methode und Vorlage und begleite den Einstieg.
Wie viele Testläufe braucht man, um eine Fehlerrate zu belegen?
Sechzig unabhängige Testläufe ohne Fehler ergeben eine Fehlerrate unter 5 Prozent bei 95 Prozent Konfidenz, dreitausend ergeben unter 0,1 Prozent. Die Läufe müssen unabhängig sein; Wiederholungen derselben Eingabe sind es nur näherungsweise. Die Grenze gilt nur für die getesteten Fälle, nicht für unbekannte. Die Tabelle auf dieser Seite zeigt weitere Werte, berechnet als 1 minus 0,05 hoch 1 durch n.
Wann reicht Testen allein nicht aus?
Testen allein reicht nicht, wenn ein einzelner Fehler schwer wiegt und selten ist, denn seltene Fehler lassen sich nur mit sehr vielen Läufen eingrenzen. Dann setzt man die Sicherheit um das Modell herum: Rechte, Sperren, Freigaben und einen Stopp-Schalter. Wo sich ein Risiko nicht ausreichend belegen lässt, empfehle ich Kontrollen ausserhalb des Modells oder den Verzicht.
Kontakt
Schick mir den Einsatz in zwei Sätzen. Ich melde mich und sage dir, ob und wie sich dein Vorhaben prüfen lässt. Ob ich den Auftrag übernehmen kann, hängt von meiner Auslastung ab.