Kantyra
Kantyra
Alain Rees · 10-07-2026 · 8 min leestijd
Chaque rapport de sécurité en regorge : le nombre de systèmes corrigés, le nombre de formations achevées, le nombre d'alertes traitées. Ce sont autant de comptages d'activité, et tous répondent à une question que personne n'a posée. La question que le conseil d'administration, le régulateur et l'auditeur posent réellement, à savoir si l'organisation devient plus sûre, reste sans réponse dans la plupart des rapports. Cet article porte sur la différence entre compter et savoir, et sur le petit ensemble d'indicateurs par lequel vous pouvez commencer.
Cet article relève de la phase Démontrer du modèle qui sous-tend Kantyra. Qui veut démontrer que les mesures fonctionnent a besoin d'indicateurs qui le disent vraiment.
La littérature scientifique sur les indicateurs de sécurité commence par un constat inconfortable. Vilhelm Verendel a passé au crible toute la recherche quantitative en sécurité de 1981 à 2008 et a conclu que l'hypothèse selon laquelle la sécurité peut être correctement traduite en chiffres est largement non prouvée, car la plupart des indicateurs proposés n'ont jamais été testés empiriquement. Un indicateur est, autrement dit, une hypothèse et non encore un fait, tant que personne n'a montré qu'il est corrélé à ce que vous voulez savoir.
Shari Lawrence Pfleeger et Robert Cunningham ont expliqué pourquoi cette discipline est si récalcitrante. La sécurité est une propriété négative, car on mesure l'absence d'événements, et l'adversaire s'adapte à ce que l'on mesure. Qui rapporte le nombre d'attaques bloquées mesure surtout les attaques qui étaient de toute façon sans chance. Les travaux de la TU Delft, issus du groupe de Michel van Eeten qui mesure la sécurité de manière empirique à partir de données réelles d'abus, y ajoutent une leçon pratique. Les chiffres bruts induisent en erreur tant que l'on ne corrige pas de la taille et de l'exposition. Dans leur analyse de compromissions web chez des hébergeurs, ce n'est qu'après une normalisation statistique qu'il est devenu possible de démêler qui était réellement performant ou non. Pour votre propre rapport, cela signifie que dix incidents sur mille systèmes ne sont pas la même chose que dix sur cent, et qu'un comptage en hausse peut aussi bien signifier une dégradation qu'une meilleure visibilité.
Il existe un second piège, et il est comportemental. L'anthropologue Marilyn Strathern a forgé la formulation désormais célèbre de la loi de Goodhart : dès qu'une mesure devient un objectif, elle cesse d'être une bonne mesure. Qui évalue les équipes sur la clôture de quatre-vingt-quinze pour cent des constats dans les trente jours obtient des constats clôturés, mais pas nécessairement des problèmes résolus. Ross Anderson et Tyler Moore ont montré, dans leur influente synthèse de l'économie de la sécurité, qu'il ne s'agit pas d'un accident mais d'une structure, car les défaillances de sécurité proviennent plus souvent d'incitations mal alignées que de la technique. Un indicateur qui ignore les incitations mesure la mauvaise chose et, de plus, oriente dans la mauvaise direction.
Un critère revient sans cesse dans la littérature, à savoir qu'un indicateur n'est bon que lorsqu'une décision y est attachée. Rainer Böhme a relié les indicateurs aux décisions d'investissement et a montré que beaucoup de chiffres populaires ne peuvent répondre à aucune question d'investissement. Le test est simple. Si le chiffre double ou diminue de moitié le mois prochain, qui agit alors différemment ? Si la réponse est personne, alors ce n'est pas un indicateur mais du papier peint.
L'institut de normalisation américain NIST a entièrement révisé sa ligne directrice sur les indicateurs de sécurité, la publication 800-55, fin 2024, et l'orientation de cette révision confirme ce constat. La nouvelle version met l'accent sur le choix et la priorisation d'un petit ensemble d'indicateurs reliés aux objectifs de l'organisation, reconnaît explicitement l'appréciation qualitative comme pleinement équivalente à l'appréciation quantitative, et consacre tout un second volume au programme de mesure qui l'entoure, avec des responsables, des moments de décision et la gestion des données. Le monde ISO le demande d'ailleurs déjà. L'ISO 27001 impose, à l'article 9.1, d'évaluer l'efficacité du système, et la ligne directrice associée, l'ISO 27004, y distingue nettement la mesure de la performance de la mesure de l'efficacité. Qui ne compte que l'activité ne satisfait donc même pas à la norme qu'il affiche.
La tentation est grande de résoudre cela en mesurant davantage. La recherche indique l'inverse. La revue systématique de Max van Haastrecht et de ses collègues (universités d'Utrecht et de Leyde), que je cite également dans l'article de fond, montre que l'offre d'indicateurs est surtout technique et orientée activité, alors que les organisations sans équipe de mesure propre ont besoin d'indicateurs peu nombreux, compréhensibles et adaptables au contexte. Bilge Yigit Ozkan et Marco Spruit en ont tiré une évaluation de maturité adaptable pour les PME. Commencez léger, mesurez ce qui convient à votre organisation et évoluez avec elle.
Traduit en pratique, je recommande à chaque organisation le même ensemble de base. Posez trois questions pour chaque mesure importante : existe-t-elle, fonctionne-t-elle, et cela a-t-il récemment été apprécié par quelqu'un ? Cela paraît presque gênant de simplicité, mais ce sont précisément les questions auxquelles la plupart des organisations restent sans réponse, et ce sont des jugements qualitatifs que la ligne directrice NIST révisée qualifie de pleinement valables. Au-dessus s'ajoute une poignée d'indicateurs de résultat qui touchent à de véritables décisions : le temps entre le signal et le traitement, la part des mesures ayant réussi un test d'efficacité, le nombre d'exceptions ouvertes au-delà de leur date d'échéance, et la vitesse de signalement de l'hameçonnage dont j'ai parlé dans l'article sur la sensibilisation. Dans Kantyra, cela est délibérément conçu ainsi. Le tableau de bord ne compte pas les activités réalisées, mais montre des états : l'avancement de la déclaration d'applicabilité, les risques et incidents ouverts, ainsi que les tâches issues de la surveillance des dates de test, de revue et d'échéance. La Déclaration d'applicabilité en fait un rapport par norme.
Si vous ne retenez qu'une chose de cet article, que ce soit celle-ci : il faut supprimer des indicateurs plutôt que d'en ajouter. Posez-vous trois questions. Pouvez-vous, pour chaque indicateur de votre rapport actuel, dire quelle décision repose sur lui ? Savez-vous, pour vos cinq mesures les plus importantes, si elles existent, fonctionnent et ont récemment été appréciées ? Et votre rapport comporte-t-il au moins un chiffre que vous préféreriez ne pas montrer au conseil d'administration ? Cette dernière question n'est pas un piège, car un rapport où tout est au vert mesure presque à coup sûr les mauvaises choses. La valeur d'un indicateur ne réside pas dans le fait de rassurer, mais dans celui d'alerter à temps.
Cet article est une synthèse étayée de recherches scientifiques existantes et non une recherche indépendante évaluée par des pairs. Là où j'interprète ou explique, cette interprétation relève de ma seule responsabilité.
In een demo van 30 minuten lopen we het model door aan de hand van jouw situatie.
Plan een demo