Haltung
Beleg vor Aussage
Zehn Thesen, auf denen der Rahmen aufbaut und an denen sich meine Arbeit messen lässt.
- «Sicher» ist eine Messaussage. Ein System, ein Einsatzbereich, eine Version, eine Zahl mit Vertrauensbereich. «Das Modell ist sicher» ohne diese Angaben sage ich nicht.
- Beleg vor Aussage. Reihenfolge: Risiko, Prüfung, Messung, Aussage. Wer die Aussage zuerst schreibt, sucht danach nur noch Belege dafür.
- Von oben nach unten. Die Methode beginnt beim Schaden, den ein Mensch erleidet, nicht beim Modell. Jede Prüfung hängt an einem Risiko. Jedes Risiko hat mindestens eine Prüfung oder eine begründete Ausnahme.
- Prüfungen sind Code. Versioniert und wiederholbar, im Projekt bei jeder Änderung automatisch ausgelöst. Ein Dokument mit dem Vermerk «getestet» ist keine Prüfung.
- Der Prüfstand muss rot werden können. Er wird gegen absichtlich kaputte Modelle getestet. Ein Test, der nie fehlschlägt, sagt nichts über das Modell.
- Zu wenig Daten ist ein Befund. 60 unabhängige Läufe ohne Fehler belegen erst eine Fehlerrate unter 5 Prozent (95 % Konfidenz). Was sich nicht belegen lässt, schliesst man aus dem Geltungsbereich aus und benennt es.
- Eine Kennzahl genügt nie. Ein Modell mit Datenleckage kann tadellose Zahlen liefern. Darum werden Daten, Verhalten, Robustheit, Teilgruppen, Kalibrierung und Betrieb getrennt geprüft.
- Der Mensch sitzt dort, wo ein Fehler Schaden macht. Auch die menschliche Kontrolle wird getestet: Wird sie genutzt, oder klickt man durch? Dafür gibt es Köderfälle.
- Nach dem Go-live wird weiter gemessen. Drift, Vorfälle, Stopp-Schalter. Eine Freigabe gilt für eine Version und läuft bei jeder Änderung ab.
- Ein Zertifikat ersetzt den Beleg nicht. Ein Zertifikat nach ISO/IEC 42001 bestätigt das Managementsystem. Ob ein Modell in deinem Einsatz sicher genug ist, kann nur eine Prüfung am Modell zeigen, und auch sie nur für die geprüften Fälle.
Kontakt
Schick mir den Einsatz in zwei Sätzen. Ich melde mich und sage dir, ob und wie sich dein Vorhaben prüfen lässt. Ob ich den Auftrag übernehmen kann, hängt von meiner Auslastung ab.