Funktioniert die Risikomatrix eigentlich?

Öffnen Sie ein beliebiges Risikoregister, und Sie finden die Matrix aus Wahrscheinlichkeit mal Auswirkung, meist fünf mal fünf, mit grünen, gelben und roten Feldern. Die Risikomatrix ist das am häufigsten genutzte Instrument im Risikomanagement, von der Sicherheitstechnik bis zur Wirtschaftsprüfung und vom Gesundheitswesen bis zur Informationssicherheit. Auch Kantyra hat eine im Herzen des Risikomoduls. Gerade deshalb muss ich ehrlich über etwas sein, das nur wenige Anbieter laut aussprechen. Die wissenschaftliche Literatur ist nämlich auffallend kritisch gegenüber diesem Instrument. In diesem Artikel stelle ich diese Kritik neben die Praxis und zeige, wie Sie trotz der Einschränkungen verantwortungsvoll mit einer Matrix arbeiten.

Dieser Artikel baut auf der wissenschaftlichen Grundlage des Modells auf, in der ich die vier Phasen Erkennen, Bewerten, Lösen und Nachweisen begründe. Die Risikomatrix gehört zur Phase Bewerten und verdient dieselbe ehrliche Behandlung.

Was ist laut Wissenschaft an der Matrix falsch?

Die grundlegendste Kritik stammt von Tony Cox, einem amerikanischen Risikowissenschaftler, der ihr gemeinsam mit Kollegen 2005 und danach allein 2008 zwei Artikel widmete, die inzwischen Klassiker sind. Seine Analyse in Risk Analysis, der führenden Fachzeitschrift des Gebiets, ist mathematischer Natur und lässt sich in drei Erkenntnissen zusammenfassen.

Erstens hat eine Matrix ein grobes Unterscheidungsvermögen. Weil Wahrscheinlichkeit und Auswirkung in eine Handvoll Kategorien gepresst werden, erhalten Risiken, die sich zahlenmäßig stark unterscheiden, dieselbe Farbe, und eine Matrix kann von zwei zufällig gewählten Risiken nur in einem begrenzten Teil der Fälle korrekt sagen, welches der beiden größer ist. Zweitens macht eine Matrix nachweisbare Rangfolgefehler, denn es gibt Situationen, in denen ein Risiko, das zahlenmäßig kleiner ist, dennoch in einem höheren Feld landet als ein größeres Risiko. Drittens, und das ist die härteste Schlussfolgerung, schneidet eine Matrix bei Risiken, bei denen Wahrscheinlichkeit und Auswirkung negativ zusammenhängen, also wo die seltenen Ereignisse gerade die schweren sind, im schlimmsten Fall nicht besser ab als zufälliges Raten. Cox verwendet dafür die inzwischen berühmte Formulierung, dass die Matrix dann „worse than useless“ (schlechter als nutzlos) sei.

Forscher aus der Öl- und Gasbranche schärften dies später nach. Thomas, Bratvold und Bickel zeigten 2014, dass auch die Gestaltungsentscheidungen der Matrix selbst, wie die Anzahl der Kategorien, die Einteilung der Skalen und die Werte, die an den Feldern hängen, die letztliche Rangfolge der Risiken tiefgreifend verändern. Zwei Organisationen, die genau dieselben Risiken bewerten, aber eine andere Matrixeinteilung verwenden, kommen zu einer anderen Prioritätenliste, ohne dass jemand einen Fehler gemacht hätte. Die daraus resultierende Rangfolge ist damit teils eine Folge des Instruments und nicht allein der Wirklichkeit.

Warum kommen zwei Bewerter beim selben Risiko so unterschiedlich heraus?

Die zweite Kritiklinie betrifft nicht die Mathematik, sondern den Menschen, der die Felder ausfüllt. David Ball und John Watt untersuchten 2013, wie verschiedene Bewerter dieselbe Gefahr auf einer Matrix verorten. Die Streuung erwies sich als groß und verschwand auch nach Reflexion und Erläuterung nicht. Die Unterschiede rührten zudem nicht aus Nachlässigkeit her, sondern aus unterschiedlichen Weltbildern und Überzeugungen, die während einer Risikositzung selten auf den Tisch kommen.

Hinzu kommt ein Sprachproblem. Begriffe wie „wahrscheinlich“, „selten“ und „erheblich“ bedeuten für jeden etwas anderes. David Budescu und Kollegen ließen Versuchspersonen Wahrscheinlichkeitsausdrücke aus den Berichten des IPCC, des Klimarats der Vereinten Nationen, in Zahlen übersetzen. Selbst mit den offiziellen Definitionen daneben liefen die Interpretationen stark auseinander. Wer „wahrscheinlich“ sagt, kann beim einen dreißig Prozent hervorrufen und beim anderen neunzig. Jede Risikomatrix, die mit solchen Wörtern arbeitet, erbt dieses Problem.

Und unter all dem liegt die älteste Erkenntnis dieses Fachgebiets. Amos Tversky und Daniel Kahneman beschrieben bereits 1974, wie Menschen Wahrscheinlichkeiten mit Faustregeln einschätzen, die systematische Denkfehler hervorbringen: Wir überschätzen, was jüngst oder bildhaft ist, wir verankern uns am ersten Zahlenwert, der vorbeikommt, und wir sind strukturell zu sicher über unser eigenes Urteil. Eine Risikositzung, in der Experten ohne weitere Unterstützung Felder auswählen, ist für all diese Effekte anfällig.

Ist die Matrix damit abgeschrieben?

Nein, und das ist nicht mein Urteil, sondern das derselben Literatur. Nijs Jan Duijm, verbunden mit der Technischen Universität Dänemark, veröffentlichte 2015 einen abgewogenen Überblick über die Schwächen mit konkreten Empfehlungen für Gestaltung und Gebrauch. Der Kern seiner Empfehlungen ist, dass die Matrix als Instrument zum Priorisieren und zum Strukturieren des Gesprächs über Risiken brauchbar ist, solange Sie sie nicht als Messinstrument behandeln und die Kategorien sorgfältig und zahlenmäßig verankert definieren.

Auch an der TU Delft wurde an dieser Frage gearbeitet. Ben Ale, emeritierter Professor für Sicherheit und Katastrophenbekämpfung, zeigte 2015 mit Kollegen, dass Wahrscheinlichkeits-Folgen-Diagramme eine legitime mathematische Grundlage haben, aber irreführend werden, sobald sie ohne Kenntnis der dazugehörigen Regeln verwendet werden. Floris Goerlandt und Genserik Reniers, Letzterer ebenfalls Professor in Delft, fügten dem 2016 einen wesentlichen Punkt hinzu. Ein Punkt in einer Matrix erweckt den Eindruck von Sicherheit, während das eine Urteil auf jahrelangen Vorfalldaten beruht und das andere auf einer ersten Einschätzung in einer Arbeitssitzung. Sie plädieren deshalb dafür, neben der Position in der Matrix auch die Stärke des zugrunde liegenden Wissens zu bewerten und sichtbar zu machen. Diese Erkenntnis kehrt in den Praxisgewohnheiten weiter unten wieder, denn das Feld sagt wenig ohne die Begründung dazu.

Neuere experimentelle Forschung des Winton Centre in Cambridge weist in dieselbe Richtung. Holly Sutherland und Kollegen prüften in randomisierten Experimenten mit fast zweitausendsiebenhundert Teilnehmern, wie Menschen Matrizen verstehen. Eine Matrix erwies sich nicht selbstverständlich als besser als gewöhnlicher Text, um Risikoinformationen zu vermitteln, und die Gestaltung war von großer Bedeutung: Bei Skalen, die nicht linear ansteigen, half eine Etikettierung, die dies ausdrücklich macht, erheblich. Eine Folgestudie von Rossa Proto und Kollegen aus dem Jahr 2023 untersuchte die Farben selbst und stellte fest, dass farbige Bänder das Urteil verzerren. Die Teilnehmer maßen Risikoreduktionen, die eine Farbgrenze überschritten, mehr Wert bei als gleich großen Reduktionen innerhalb derselben Farbe. Die Grenze zwischen Gelb und Orange wird dann mitgewichtet, als wäre sie eine Eigenschaft des Risikos, während sie eine Eigenschaft des Bildes ist.

Die Summe ist, dass die Matrix kein Messinstrument ist und auch nicht als solches verwendet werden darf, dass sie aber als strukturierte Gesprächs- und Priorisierungsform Wert hat, sofern sie gut gestaltet ist und die Nutzer ihre Grenzen kennen.

Was ist die Alternative?

Die wissenschaftlichen Kritiker plädieren nahezu alle für dieselbe Alternative, nämlich mit Zahlen zu rechnen statt mit Feldern. Douglas Hubbard und Richard Seiersen arbeiteten das für die Informationssicherheit am weitesten aus. Sie zeigen, dass Sie auch mit wenigen Daten Wahrscheinlichkeiten und Schäden in Bandbreiten ausdrücken können, dass Sie Experten trainieren können, kalibrierte Einschätzungen zu treffen, und dass sogar ein einfaches quantitatives Modell die Verzerrung der Matrix weitgehend beseitigt.

Für eine Organisation mit einem eigenen Risikoteam und ausreichenden Daten ist das der bessere Weg. Aber hier kehrt die KMU-Forschung aus meinem früheren Artikel zurück. Für die meisten Organisationen ohne eine Vollzeit-Sicherheitsabteilung ist ein vollständig quantitativer Ansatz derzeit nicht machbar, und eine schlecht ausgeführte Quantifizierung erweckt mehr Scheinsicherheit als eine gut verstandene Matrix. Es ist also keine Wahl zwischen rein und sündhaft. Der realistische Weg ist eine gut gestaltete Matrix für die Breite des Registers, mit quantitativer Vertiefung für die wenigen Risiken, an denen die größten Entscheidungen hängen.

Wie arbeiten Sie in der Praxis verantwortungsvoll damit?

Aus der Literatur folgen fünf Gewohnheiten, die den Unterschied zwischen einer Matrix, die in die Irre führt, und einer Matrix, die hilft, ausmachen.

1. Verankern Sie jede Kategorie in Zahlen. „Wahrscheinlich“ wird dann zum Beispiel „häufiger als einmal pro Jahr“, und „schwerwiegend“ erhält eine Bandbreite in Euro oder Wiederherstellungszeit. Damit beseitigen Sie das Sprachproblem von Budescu weitgehend und zwingen die Bewerter zu demselben Bezugsrahmen.
2. Bewerten Sie nie allein. Die Streuung, die Ball und Watt fanden, verschwindet nicht, wird aber handhabbar, sobald Unterschiede im Urteil ausdrücklich besprochen werden. Zwei Bewerter, die auf verschiedenen Feldern herauskommen, haben einander etwas zu erklären, und gerade dieses Gespräch liefert die Erkenntnisse.
3. Halten Sie die Begründung fest und nicht nur die Bewertung. Ein Feld ohne Begründung ist in einem Jahr nichts mehr wert. Die Annahmen hinter Wahrscheinlichkeit und Auswirkung sind das, was ein Prüfer, ein Nachfolger oder Ihr eigenes zukünftiges Ich braucht, um das Urteil zu überprüfen.
4. Nutzen Sie die Matrix zum Priorisieren und niemals, um zu beweisen, dass ein Risiko klein ist. Die Rangfolgefehler von Cox stecken vor allem im Vergleich einzelner Felder. Für die Frage, welche zehn Risiken zuerst Aufmerksamkeit verdienen, ist die Matrix brauchbar; für die Schlussfolgerung, dass ein bestimmtes Risiko vernachlässigbar ist, ist sie zu grob.
5. Bewerten Sie anhand von Signalen neu statt anhand des Kalenders. Ein Vorfall, eine misslungene Übung oder ein beunruhigendes Assessment sagt mehr über die Haltbarkeit eines Urteils aus als das Verstreichen von zwölf Monaten. Das ist der Zyklus aus dem Modell, denn was Sie erkennen, speist die nächste Bewertung.

Der Vollständigkeit halber weise ich darauf hin, dass es in Kantyra ebenso eingerichtet ist. Die Skalen der Matrix sind pro Organisation definierbar, sodass Sie sie zahlenmäßig verankern können. Jedes Risiko verlangt standardmäßig eine Begründung neben der Bewertung (jede Organisation kann diese Pflicht selbst ein- oder ausschalten), schwerwiegende Vorfälle, die ein Risiko berühren, stellen automatisch eine Neubewertung bereit, und jede Änderung bleibt mit Benutzer und Zeitpunkt im Audit-Log erhalten. Die Matrix selbst bleibt damit das, was sie laut der Literatur sein darf, nämlich ein Priorisierungs- und Gesprächsinstrument, eingebettet in eine Arbeitsweise, die ihre Schwächen auffängt.

Was bedeutet das für Ihre Organisation?

Wenn Sie eine Sache aus diesem Artikel mitnehmen, dann diese: Sie sollten nicht der Matrix misstrauen, sondern dem nackten Feld. Eine Bewertung ohne zahlenmäßige Definition, ohne zweiten Bewerter, ohne Begründung und ohne Neubewertung bei neuen Signalen ist genau das symbolische Risikomanagement, vor dem die Literatur warnt. Dieselbe Matrix, eingebettet in diese vier Gewohnheiten, ist ein vertretbares und praktikables Instrument, auch gegenüber einem kritischen Prüfer, der Cox gelesen hat.

Stellen Sie sich deshalb drei Fragen. Sind die Kategorien Ihrer Matrix irgendwo zahlenmäßig definiert, oder bedeutet „wahrscheinlich“ bei Ihnen für jeden etwas anderes? Können Sie bei Ihren fünf größten Risiken die Begründung hinter dem Urteil wiederfinden? Und wann wurde dieses Urteil zuletzt an dem geprüft, was seitdem tatsächlich geschehen ist? Wer diese drei Fragen beantworten kann, nutzt die Matrix so, wie die Wissenschaft es erlaubt. Wer das nicht kann, hat kein Matrixproblem, sondern ein Bewertungsproblem, und das ist glücklicherweise lösbar.

Verantwortung und Quellen

Dieser Artikel ist eine fundierte Synthese bestehender wissenschaftlicher Forschung und keine eigenständige, von Fachkollegen begutachtete Forschung. Wo ich deute oder interpretiere, geht diese Interpretation auf meine Kappe.

1. Cox, L.A. (2008). What's Wrong with Risk Matrices? Risk Analysis, 28(2). https://doi.org/10.1111/j.1539-6924.2008.01030.x
2. Cox, L.A., Babayev, D. & Huber, W. (2005). Some Limitations of Qualitative Risk Rating Systems. Risk Analysis, 25(3). https://doi.org/10.1111/j.1539-6924.2005.00615.x
3. Thomas, P., Bratvold, R.B. & Bickel, J.E. (2014). The Risk of Using Risk Matrices. SPE Economics & Management, 6(2). https://doi.org/10.2118/166269-PA
4. Ball, D.J. & Watt, J. (2013). Further Thoughts on the Utility of Risk Matrices. Risk Analysis, 33(11). https://doi.org/10.1111/risa.12057
5. Duijm, N.J. (2015). Recommendations on the use and design of risk matrices. Safety Science, 76. https://doi.org/10.1016/j.ssci.2015.02.014
6. Ale, B.J.M., Burnap, P. & Slater, D.H. (2015). On the origin of PCDS (Probability consequence diagrams). Safety Science, 72. https://doi.org/10.1016/j.ssci.2014.09.003
7. Goerlandt, F. & Reniers, G. (2016). On the assessment of uncertainty in risk diagrams. Safety Science, 84. https://doi.org/10.1016/j.ssci.2015.12.001
8. Sutherland, H., Recchia, G., Dryhurst, S. & Freeman, A.L.J. (2022). How People Understand Risk Matrices, and How Matrix Design Can Improve their Use: Findings from Randomized Controlled Studies. Risk Analysis, 42(5). https://doi.org/10.1111/risa.13822
9. Proto, R. und andere (2023). Do colored cells in risk matrices affect decision-making and risk perception? Insights from randomized controlled studies. Risk Analysis. https://doi.org/10.1111/risa.14091
10. Budescu, D.V., Broomell, S.B. & Por, H.-H. (2009). Improving Communication of Uncertainty in the Reports of the Intergovernmental Panel on Climate Change. Psychological Science, 20(3). https://doi.org/10.1111/j.1467-9280.2009.02284.x
11. Tversky, A. & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157). https://doi.org/10.1126/science.185.4157.1124
12. Hubbard, D.W. & Seiersen, R. (2023). How to Measure Anything in Cybersecurity Risk (zweite Auflage). Wiley. https://doi.org/10.1002/9781119892335