Welche Sicherheitskennzahlen sagen wirklich etwas aus?

Jeder Sicherheitsbericht ist voll davon: die Zahl der gepatchten Systeme, die Zahl der abgeschlossenen Schulungen, die Zahl der bearbeiteten Meldungen. Es sind allesamt Zählungen von Aktivität, und alle beantworten sie eine Frage, die niemand gestellt hat. Die Frage, die der Vorstand, die Aufsichtsbehörde und der Auditor tatsächlich stellen, nämlich ob die Organisation sicherer wird, bleibt in den meisten Berichten unbeantwortet. Dieser Artikel handelt vom Unterschied zwischen Zählen und Wissen und von der kleinen Menge an Kennzahlen, mit der Sie beginnen können.

Dieser Artikel gehört zur Phase Nachweisen aus dem Modell hinter Kantyra. Wer nachweisen will, dass Maßnahmen wirken, braucht Kennzahlen, die das wirklich aussagen.

Warum sagt ein volles Dashboard so wenig aus?

Die wissenschaftliche Literatur zu Sicherheitskennzahlen beginnt mit einer unbequemen Feststellung. Vilhelm Verendel durchforstete die gesamte quantitative Sicherheitsforschung von 1981 bis 2008 und kam zu dem Schluss, dass die Annahme, Sicherheit lasse sich korrekt in Zahlen fassen, weitgehend unbewiesen ist, denn die meisten vorgeschlagenen Kennzahlen wurden nie empirisch überprüft. Eine Kennzahl ist mit anderen Worten eine Hypothese und noch keine Tatsache, solange niemand gezeigt hat, dass sie mit dem zusammenhängt, was Sie wissen wollen.

Shari Lawrence Pfleeger und Robert Cunningham erklärten, warum dieses Fach so widerspenstig ist. Sicherheit ist eine negative Eigenschaft, denn man misst die Abwesenheit von Ereignissen, und der Gegner passt sich an das an, was man misst. Wer die Zahl der abgewehrten Angriffe berichtet, misst vor allem die Angriffe, die ohnehin chancenlos waren. Forschung der TU Delft, aus der Gruppe von Michel van Eeten, die Sicherheit empirisch anhand tatsächlicher Missbrauchsdaten misst, fügt dem eine praktische Lehre hinzu. Rohe Zahlen führen in die Irre, solange man nicht um Größe und Exposition korrigiert. In ihrer Analyse von Web-Kompromittierungen bei Hosting-Anbietern ließ sich erst nach statistischer Normalisierung entwirren, wer wirklich gut oder schlecht abschnitt. Für Ihren eigenen Bericht bedeutet das, dass zehn Vorfälle bei tausend Systemen etwas anderes sind als zehn bei hundert, und dass eine steigende Zählung sowohl eine Verschlechterung als auch eine bessere Sicht bedeuten kann.

Was geschieht, wenn eine Messgröße zum Ziel wird?

Es gibt eine zweite Falle, und sie ist verhaltensbedingt. Die Anthropologin Marilyn Strathern prägte die inzwischen berühmte Formulierung des Goodhart’schen Gesetzes: Sobald eine Messgröße zum Ziel wird, hört sie auf, eine gute Messgröße zu sein. Wer Teams daran misst, fünfundneunzig Prozent der Feststellungen innerhalb von dreißig Tagen zu schließen, bekommt geschlossene Feststellungen, aber nicht notwendigerweise gelöste Probleme. Ross Anderson und Tyler Moore zeigten in ihrem einflussreichen Überblick über die Sicherheitsökonomie, dass dies kein Einzelfall, sondern eine Struktur ist, denn Sicherheitsversagen entsteht häufiger aus falsch ausgerichteten Anreizen als aus Technik. Eine Kennzahl, die die Anreize ignoriert, misst das Falsche und steuert obendrein in die falsche Richtung.

Woran erkennt man eine Kennzahl, die tatsächlich zählt?

Ein Kriterium taucht in der Literatur immer wieder auf, nämlich dass eine Kennzahl erst dann gut ist, wenn eine Entscheidung an ihr hängt. Rainer Böhme verband Kennzahlen mit Investitionsentscheidungen und zeigte, dass viele populäre Zahlen keine einzige Investitionsfrage beantworten können. Der Test ist einfach. Wenn sich die Zahl im nächsten Monat plötzlich verdoppelt oder halbiert, wer handelt dann anders? Lautet die Antwort niemand, dann ist es keine Kennzahl, sondern Tapete.

Das amerikanische Normungsinstitut NIST hat seine Richtlinie für Sicherheitskennzahlen, die Veröffentlichung 800-55, Ende 2024 vollständig überarbeitet, und die Richtung dieser Überarbeitung bestätigt dieses Bild. Die neue Fassung legt den Schwerpunkt auf die Auswahl und Priorisierung einer kleinen Menge von Kennzahlen, die an die Ziele der Organisation gekoppelt sind, erkennt die qualitative Beurteilung ausdrücklich als gleichwertig neben der quantitativen an und widmet einen ganzen zweiten Band dem Messprogramm darum herum, mit Verantwortlichen, Entscheidungspunkten und Datenverwaltung. Auch die ISO-Welt verlangt dies bereits. ISO 27001 verpflichtet in Abschnitt 9.1 zur Bewertung der Wirksamkeit des Systems, und die zugehörige Richtlinie ISO 27004 unterscheidet dabei nachdrücklich das Messen von Leistung vom Messen von Wirksamkeit. Wer nur Aktivität zählt, erfüllt also nicht einmal die Norm, mit der er sich schmückt.

Womit fangen Sie an, wenn Sie noch wenig messen?

Die Versuchung ist groß, dies durch mehr Messen zu lösen. Die Forschung weist in die andere Richtung. Die systematische Übersichtsarbeit von Max van Haastrecht und Kollegen (Universität Utrecht und Leiden), die ich auch im Grundlagenartikel anführe, zeigt, dass das Angebot an Kennzahlen vor allem technisch und aktivitätsorientiert ist, während Organisationen ohne eigenes Messteam wenige, verständliche und an den Kontext anpassbare Kennzahlen brauchen. Bilge Yigit Ozkan und Marco Spruit arbeiteten das zu einer anpassbaren Reifegradmessung für KMU aus. Fangen Sie schlank an, messen Sie, was zu Ihrer Organisation passt, und wachsen Sie mit.

In die Praxis übersetzt, empfehle ich jeder Organisation denselben Grundstock. Stellen Sie zu jeder wichtigen Maßnahme drei Fragen: Existiert sie, wirkt sie, und hat das kürzlich jemand beurteilt? Das klingt fast beschämend einfach, aber es sind genau die Fragen, auf die die meisten Organisationen die Antwort schuldig bleiben, und es sind qualitative Urteile, die die überarbeitete NIST-Richtlinie als vollwertig bezeichnet. Darüber hinaus passt eine Handvoll Ergebniskennzahlen, die echte Entscheidungen berühren: die Zeit zwischen Signal und Bearbeitung, der Anteil der Maßnahmen mit einem bestandenen Wirksamkeitstest, die Zahl der offenen Ausnahmen über ihr Enddatum hinaus und die Meldegeschwindigkeit bei Phishing, über die ich im Awareness-Artikel geschrieben habe. In Kantyra ist dies bewusst so eingerichtet. Das Dashboard zählt keine erledigten Aktivitäten, sondern zeigt Stände: den Fortschritt bei der Erklärung zur Anwendbarkeit, die offenen Risiken und Vorfälle sowie die Aufgaben, die aus der Überwachung von Test-, Review- und Enddaten entstehen. Die Erklärung zur Anwendbarkeit macht daraus je Norm einen Bericht.

Was bedeutet das für Ihre Organisation?

Wenn Sie eine Sache aus diesem Artikel mitnehmen, dann diese: Sie sollten Kennzahlen eher streichen als hinzufügen. Stellen Sie sich drei Fragen. Können Sie zu jeder Kennzahl in Ihrem aktuellen Bericht sagen, welche Entscheidung auf ihr beruht? Wissen Sie von Ihren fünf wichtigsten Maßnahmen, ob sie existieren, wirken und kürzlich beurteilt wurden? Und steht in Ihrem Bericht mindestens eine Zahl, die Sie dem Vorstand lieber nicht zeigen würden? Letzteres ist keine Fangfrage, denn ein Bericht, auf dem alles grün ist, misst mit ziemlicher Sicherheit die falschen Dinge. Der Wert einer Kennzahl liegt nicht darin, zu beruhigen, sondern darin, rechtzeitig zu beunruhigen.

Rechenschaft und Quellen

Dieser Artikel ist eine fundierte Synthese bestehender wissenschaftlicher Forschung und keine eigenständige, von Fachkollegen begutachtete Forschung. Wo ich einordne oder interpretiere, geht diese Interpretation auf meine eigene Verantwortung.

1. Schroeder, K., Trinh, H. & Pillitteri, V. (2024). Measurement Guide for Information Security: Volume 1, Identifying and Selecting Measures (NIST SP 800-55v1). NIST. https://doi.org/10.6028/NIST.SP.800-55v1
2. Schroeder, K., Trinh, H. & Pillitteri, V. (2024). Measurement Guide for Information Security: Volume 2, Developing an Information Security Measurement Program (NIST SP 800-55v2). NIST. https://doi.org/10.6028/NIST.SP.800-55v2
3. Verendel, V. (2009). Quantified security is a weak hypothesis: a critical survey of results and assumptions. Proceedings of NSPW '09, ACM. https://doi.org/10.1145/1719030.1719036
4. Pfleeger, S.L. & Cunningham, R.K. (2010). Why Measuring Security Is Hard. IEEE Security & Privacy, 8(4). https://doi.org/10.1109/MSP.2010.60
5. Böhme, R. (2010). Security Metrics and Security Investment Models. Advances in Information and Computer Security (IWSEC 2010), Springer. https://doi.org/10.1007/978-3-642-16825-3_2
6. Tajalizadehkhoob, S. u. a. (2017). Herding Vulnerable Cats: A Statistical Approach to Disentangle Joint Responsibility for Web Security in Shared Hosting. Proceedings of ACM CCS '17. https://doi.org/10.1145/3133956.3133971
7. Anderson, R. & Moore, T. (2006). The Economics of Information Security. Science, 314(5799). https://doi.org/10.1126/science.1130992
8. Strathern, M. (1997). 'Improving ratings': audit in the British University system. European Review, 5(3). https://www.cambridge.org/core/journals/european-review/article/abs/improving-ratings-audit-in-the-british-university-system/FC2EE640C0C44E3DB87C29FB666E9AAB
9. Van Haastrecht, M., Yigit Ozkan, B., Brinkhuis, M. & Spruit, M. (2021). Respite for SMEs: A Systematic Review of Socio-Technical Cybersecurity Metrics. Applied Sciences, 11(15). https://doi.org/10.3390/app11156909
10. Yigit Ozkan, B. & Spruit, M. (2023). Adaptable Security Maturity Assessment and Standardization for Digital SMEs. Journal of Computer Information Systems, 63. https://doi.org/10.1080/08874417.2022.2119442
11. ISO/IEC 27004:2016. Information security management: Monitoring, measurement, analysis and evaluation. ISO. https://www.iso.org/standard/64120.html