La matrice des risques fonctionne-t-elle vraiment ?

Ouvrez n'importe quel registre des risques et vous y trouverez la matrice de probabilité multipliée par impact, le plus souvent cinq par cinq, avec des cases vertes, jaunes et rouges. La matrice des risques est l'instrument le plus utilisé en gestion des risques, de l'ingénierie de la sécurité à l'audit et de la santé à la sécurité de l'information. Kantyra en a également une au cœur de son module de risques. C'est précisément pourquoi je dois être honnête sur une chose que peu de fournisseurs disent à voix haute. La littérature scientifique est en effet remarquablement critique envers cet instrument. Dans cet article, je place cette critique à côté de la pratique et montre comment, malgré ses limites, vous pouvez travailler de manière responsable avec une matrice.

Cet article s'appuie sur la base scientifique du modèle, dans lequel je fonde les quatre phases Détecter, Évaluer, Résoudre et Démontrer. La matrice des risques appartient à la phase Évaluer et mérite le même traitement honnête.

Qu'est-ce qui, selon la science, ne va pas avec la matrice ?

La critique la plus fondamentale vient de Tony Cox, un scientifique américain des risques qui lui a consacré deux articles, l'un avec des collègues en 2005 et l'autre seul en 2008, devenus depuis des classiques. Son analyse dans Risk Analysis, la revue de référence du domaine, est de nature mathématique et se résume en trois constats.

Premièrement, une matrice a un pouvoir de discrimination grossier. Parce que la probabilité et l'impact sont comprimés dans une poignée de catégories, des risques qui diffèrent fortement en termes chiffrés reçoivent la même couleur, et une matrice ne peut, pour deux risques choisis au hasard, dire correctement lequel des deux est le plus grand que dans une part limitée des cas. Deuxièmement, une matrice commet des erreurs de classement démontrables, car il existe des situations où un risque numériquement plus petit se retrouve pourtant dans une case plus élevée qu'un risque plus grand. Troisièmement, et c'est la conclusion la plus dure, pour les risques où la probabilité et l'impact sont corrélés négativement, c'est-à-dire où les événements rares sont précisément les plus graves, une matrice ne fait, dans le pire des cas, pas mieux que le hasard. Cox emploie à cet égard la formule désormais célèbre selon laquelle la matrice est alors « worse than useless » (pire qu'inutile).

Des chercheurs du secteur pétrolier et gazier ont ensuite affiné cela. Thomas, Bratvold et Bickel ont montré en 2014 que les choix de conception de la matrice elle-même, comme le nombre de catégories, la division des échelles et les scores attachés aux cases, modifient également en profondeur le classement final des risques. Deux organisations qui évaluent exactement les mêmes risques mais utilisent une disposition de matrice différente aboutissent à une liste de priorités différente, sans que personne ait commis d'erreur. Le classement qui en résulte est ainsi en partie une conséquence de l'instrument et non uniquement de la réalité.

Pourquoi deux évaluateurs aboutissent-ils si différemment sur le même risque ?

La deuxième ligne de critique ne porte pas sur les mathématiques mais sur l'humain qui remplit les cases. David Ball et John Watt ont étudié en 2013 comment différents évaluateurs situent le même danger sur une matrice. La dispersion s'est révélée importante, et n'a pas non plus disparu après réflexion et explication. Les différences ne provenaient d'ailleurs pas de négligence, mais de visions du monde et de convictions divergentes qui viennent rarement sur la table lors d'une séance sur les risques.

S'y ajoute un problème de langage. Des termes comme « probable », « rare » et « considérable » signifient quelque chose de différent pour chacun. David Budescu et ses collègues ont fait traduire en chiffres, à des sujets d'expérience, des expressions de probabilité tirées des rapports du GIEC, le groupe d'experts sur le climat des Nations unies. Même avec les définitions officielles à côté, les interprétations divergeaient fortement. Celui qui dit « probable » peut évoquer trente pour cent chez l'un et quatre-vingt-dix chez l'autre. Toute matrice des risques qui fonctionne avec de tels mots hérite de ce problème.

Et sous tout cela se trouve le plus ancien enseignement de ce domaine. Amos Tversky et Daniel Kahneman ont décrit dès 1974 comment les gens estiment les probabilités à l'aide de règles empiriques qui produisent des erreurs de raisonnement systématiques : nous surestimons ce qui est récent ou frappant, nous nous ancrons sur le premier chiffre qui passe et nous sommes structurellement trop sûrs de notre propre jugement. Une séance sur les risques où des experts choisissent des cases sans autre soutien est vulnérable à tous ces effets.

La matrice est-elle pour autant à jeter ?

Non, et ce n'est pas mon jugement mais celui de cette même littérature. Nijs Jan Duijm, rattaché à l'Université technique du Danemark, a publié en 2015 un aperçu équilibré des faiblesses assorti de recommandations concrètes pour la conception et l'usage. L'essentiel de ses recommandations est que la matrice est utilisable comme instrument pour hiérarchiser et pour structurer la conversation sur les risques, tant que vous ne la traitez pas comme un instrument de mesure et que vous définissez les catégories avec soin en les ancrant dans des chiffres.

Cette question a également été travaillée à l'Université technique de Delft. Ben Ale, professeur émérite de sécurité et de gestion des catastrophes, a montré en 2015 avec des collègues que les diagrammes probabilité-conséquence ont une base mathématique légitime, mais deviennent trompeurs dès qu'ils sont utilisés sans connaissance des règles qui les accompagnent. Floris Goerlandt et Genserik Reniers, ce dernier également professeur à Delft, y ont ajouté en 2016 un point essentiel. Un point dans une matrice donne une impression de certitude, alors qu'un jugement repose sur des années de données d'incidents et un autre sur une première estimation faite lors d'une séance de travail. Ils plaident donc pour évaluer et rendre visible, à côté de la position dans la matrice, la force de la connaissance sous-jacente. Cet enseignement revient dans les habitudes pratiques plus loin, car la case dit peu de chose sans le raisonnement qui l'accompagne.

Des recherches expérimentales plus récentes du Winton Centre à Cambridge vont dans le même sens. Holly Sutherland et ses collègues ont testé, dans des expériences randomisées avec près de deux mille sept cents participants, comment les gens comprennent les matrices. Une matrice ne s'est pas révélée d'emblée meilleure qu'un texte ordinaire pour transmettre l'information sur les risques, et la présentation comptait beaucoup : pour des échelles qui n'augmentent pas de façon linéaire, un étiquetage qui le rend explicite aidait considérablement. Une étude de suivi de Rossa Proto et ses collègues de 2023 a examiné les couleurs elles-mêmes et a constaté que les bandes colorées faussent le jugement. Les participants accordaient plus de valeur aux réductions de risque qui franchissaient une frontière de couleur qu'à des réductions tout aussi importantes au sein de la même couleur. La frontière entre le jaune et l'orange se met alors à peser comme s'il s'agissait d'une propriété du risque, alors qu'elle est une propriété de l'image.

La somme de tout cela est que la matrice n'est pas un instrument de mesure et ne doit pas non plus être utilisée comme tel, mais qu'en tant que forme structurée de conversation et de hiérarchisation, elle a de la valeur, pour autant qu'elle soit bien conçue et que ses utilisateurs en connaissent les limites.

Quelle est l'alternative ?

Les critiques scientifiques plaident presque tous pour la même alternative, à savoir calculer avec des chiffres plutôt qu'avec des cases. Douglas Hubbard et Richard Seiersen l'ont poussée le plus loin pour la sécurité de l'information. Ils montrent qu'avec peu de données également, vous pouvez exprimer probabilités et dommages en fourchettes, que vous pouvez entraîner des experts à faire des estimations calibrées, et que même un modèle quantitatif simple élimine en grande partie la distorsion de la matrice.

Pour une organisation disposant de sa propre équipe des risques et de suffisamment de données, c'est la meilleure voie. Mais ici revient la recherche sur les PME de mon article précédent. Pour la plupart des organisations sans service de sécurité à temps plein, une approche entièrement quantitative n'est pas réalisable à l'heure actuelle, et une quantification mal exécutée crée davantage de fausse certitude qu'une matrice bien comprise. Ce n'est donc pas un choix entre le pur et le coupable. La voie réaliste est une matrice bien conçue pour l'étendue du registre, avec un approfondissement quantitatif pour les quelques risques dont dépendent les plus grandes décisions.

Comment travailler avec elle de manière responsable en pratique ?

De la littérature découlent cinq habitudes qui font la différence entre une matrice qui induit en erreur et une matrice qui aide.

1. Ancrez chaque catégorie dans des chiffres. « Probable » devient alors par exemple « plus souvent qu'une fois par an », et « grave » reçoit une fourchette en euros ou en temps de rétablissement. Vous éliminez ainsi en grande partie le problème de langage de Budescu et contraignez les évaluateurs au même cadre de référence.
2. N'évaluez jamais seul. La dispersion que Ball et Watt ont trouvée ne disparaît pas, mais devient gérable dès que les différences de jugement sont discutées explicitement. Deux évaluateurs qui aboutissent à des cases différentes ont quelque chose à s'expliquer, et c'est précisément cette conversation qui produit les enseignements.
3. Consignez le raisonnement et pas seulement le score. Une case sans raisonnement ne vaudra plus rien dans un an. Les hypothèses derrière la probabilité et l'impact sont ce dont un auditeur, un successeur ou votre propre futur vous-même a besoin pour vérifier le jugement.
4. Utilisez la matrice pour hiérarchiser et jamais pour prouver qu'un risque est petit. Les erreurs de classement de Cox se situent surtout dans la comparaison de cases individuelles. Pour la question de savoir quels dix risques méritent l'attention en premier, la matrice est utilisable ; pour la conclusion qu'un risque précis est négligeable, elle est trop grossière.
5. Réévaluez sur la base de signaux plutôt que du calendrier. Un incident, un exercice manqué ou une évaluation inquiétante en dit plus sur la durée de validité d'un jugement que l'écoulement de douze mois. C'est le cycle du modèle, car ce que vous détectez alimente l'évaluation suivante.

Pour être complet, je signale que dans Kantyra, c'est également configuré ainsi. Les échelles de la matrice sont définissables par organisation, de sorte que vous pouvez les ancrer dans des chiffres. Chaque risque demande par défaut un raisonnement à côté du score (chaque organisation peut activer ou désactiver elle-même cette obligation), les incidents graves qui touchent un risque préparent automatiquement une réévaluation, et chaque modification est conservée avec l'utilisateur et l'horodatage dans le journal d'audit. La matrice elle-même reste ainsi ce que la littérature lui permet d'être, à savoir un instrument de hiérarchisation et de conversation, intégré dans une méthode de travail qui compense ses faiblesses.

Qu'est-ce que cela signifie pour votre organisation ?

Si vous ne retenez qu'une chose de cet article, que ce soit celle-ci : ne vous méfiez pas de la matrice, mais de la case nue. Un score sans définition chiffrée, sans deuxième évaluateur, sans raisonnement et sans réévaluation à l'arrivée de nouveaux signaux est exactement la gestion des risques symbolique contre laquelle la littérature met en garde. La même matrice, intégrée dans ces quatre habitudes, est un instrument défendable et praticable, même face à un auditeur critique qui a lu Cox.

Posez-vous donc trois questions. Les catégories de votre matrice sont-elles définies de manière chiffrée quelque part, ou « probable » signifie-t-il quelque chose de différent pour chacun chez vous ? Pouvez-vous retrouver, pour vos cinq plus grands risques, le raisonnement derrière le jugement ? Et quand ce jugement a-t-il été confronté pour la dernière fois à ce qui s'est réellement passé depuis ? Celui qui peut répondre à ces trois questions utilise la matrice comme la science le permet. Celui qui ne le peut pas n'a pas un problème de matrice mais un problème d'évaluation, et cela, heureusement, se résout.

Responsabilité et sources

Cet article est une synthèse étayée de recherches scientifiques existantes et non une recherche indépendante évaluée par des pairs. Là où j'interprète ou explique, cette interprétation relève de ma responsabilité.

1. Cox, L.A. (2008). What's Wrong with Risk Matrices? Risk Analysis, 28(2). https://doi.org/10.1111/j.1539-6924.2008.01030.x
2. Cox, L.A., Babayev, D. & Huber, W. (2005). Some Limitations of Qualitative Risk Rating Systems. Risk Analysis, 25(3). https://doi.org/10.1111/j.1539-6924.2005.00615.x
3. Thomas, P., Bratvold, R.B. & Bickel, J.E. (2014). The Risk of Using Risk Matrices. SPE Economics & Management, 6(2). https://doi.org/10.2118/166269-PA
4. Ball, D.J. & Watt, J. (2013). Further Thoughts on the Utility of Risk Matrices. Risk Analysis, 33(11). https://doi.org/10.1111/risa.12057
5. Duijm, N.J. (2015). Recommendations on the use and design of risk matrices. Safety Science, 76. https://doi.org/10.1016/j.ssci.2015.02.014
6. Ale, B.J.M., Burnap, P. & Slater, D.H. (2015). On the origin of PCDS (Probability consequence diagrams). Safety Science, 72. https://doi.org/10.1016/j.ssci.2014.09.003
7. Goerlandt, F. & Reniers, G. (2016). On the assessment of uncertainty in risk diagrams. Safety Science, 84. https://doi.org/10.1016/j.ssci.2015.12.001
8. Sutherland, H., Recchia, G., Dryhurst, S. & Freeman, A.L.J. (2022). How People Understand Risk Matrices, and How Matrix Design Can Improve their Use: Findings from Randomized Controlled Studies. Risk Analysis, 42(5). https://doi.org/10.1111/risa.13822
9. Proto, R. et autres (2023). Do colored cells in risk matrices affect decision-making and risk perception? Insights from randomized controlled studies. Risk Analysis. https://doi.org/10.1111/risa.14091
10. Budescu, D.V., Broomell, S.B. & Por, H.-H. (2009). Improving Communication of Uncertainty in the Reports of the Intergovernmental Panel on Climate Change. Psychological Science, 20(3). https://doi.org/10.1111/j.1467-9280.2009.02284.x
11. Tversky, A. & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157). https://doi.org/10.1126/science.185.4157.1124
12. Hubbard, D.W. & Seiersen, R. (2023). How to Measure Anything in Cybersecurity Risk (deuxième édition). Wiley. https://doi.org/10.1002/9781119892335