Kantyra
Kantyra
Alain Rees · 10-07-2026 · 6 min leestijd
Elke securityrapportage staat er vol mee: het aantal gepatchte systemen, het aantal afgeronde trainingen, het aantal behandelde meldingen. Het zijn allemaal tellingen van activiteit, en allemaal beantwoorden ze een vraag die niemand stelde. De vraag die het bestuur, de toezichthouder en de auditor wél stellen, namelijk of de organisatie er veiliger op wordt, blijft in de meeste rapportages onbeantwoord. Dit artikel gaat over het verschil tussen tellen en weten, en over de kleine set indicatoren waarmee je kunt beginnen.
Dit artikel hoort bij de fase Aantonen uit het model achter Kantyra. Wie wil aantonen dat maatregelen werken, heeft indicatoren nodig die dat werkelijk zeggen.
De wetenschappelijke literatuur over beveiligingsindicatoren begint met een ongemakkelijke vaststelling. Vilhelm Verendel doorzocht al het kwantitatieve beveiligingsonderzoek van 1981 tot 2008 en concludeerde dat de aanname dat beveiliging correct in getallen te vangen is grotendeels onbewezen is, want de meeste voorgestelde indicatoren zijn nooit empirisch getoetst. Een indicator is met andere woorden een hypothese en nog geen feit, totdat iemand heeft laten zien dat hij samenhangt met wat je wilt weten.
Shari Lawrence Pfleeger en Robert Cunningham legden uit waarom dit vak zo weerbarstig is. Beveiliging is een negatieve eigenschap, want je meet de afwezigheid van gebeurtenissen, en de tegenstander past zich aan aan wat jij meet. Wie het aantal geblokkeerde aanvallen rapporteert, meet vooral de aanvallen die toch al kansloos waren. Onderzoek van de TU Delft, uit de groep van Michel van Eeten die beveiliging empirisch meet aan de hand van werkelijke misbruikgegevens, voegt daar een praktische les aan toe. Ruwe aantallen misleiden zolang je niet corrigeert voor omvang en blootstelling. In hun analyse van webcompromitteringen bij hostingpartijen bleek pas na statistische normalisatie te ontwarren wie er werkelijk goed of slecht presteerde. Voor jouw eigen rapportage betekent dit dat tien incidenten bij duizend systemen iets anders zijn dan tien bij honderd, en dat een stijgende telling zowel verslechtering als beter zicht kan betekenen.
Er is een tweede valkuil, en die is gedragsmatig. De antropologe Marilyn Strathern muntte de inmiddels beroemde formulering van de wet van Goodhart: zodra een meetwaarde een doel wordt, houdt zij op een goede meetwaarde te zijn. Wie teams afrekent op het sluiten van vijfennegentig procent van de bevindingen binnen dertig dagen, krijgt gesloten bevindingen, maar niet noodzakelijk opgeloste problemen. Ross Anderson en Tyler Moore lieten in hun invloedrijke overzicht van de beveiligingseconomie zien dat dit geen incident is maar een structuur, want beveiligingsfalen komt vaker voort uit verkeerd uitgelijnde prikkels dan uit techniek. Een indicator die de prikkels negeert, meet het verkeerde en stuurt bovendien de verkeerde kant op.
Eén criterium komt in de literatuur steeds bovendrijven, namelijk dat een indicator pas goed is als er een beslissing aan vastzit. Rainer Böhme verbond indicatoren aan investeringsbeslissingen en liet zien dat veel populaire cijfers geen enkele investeringsvraag kunnen beantwoorden. De toets is simpel. Als het getal volgende maand ineens verdubbelt of halveert, wie doet er dan iets anders? Is het antwoord niemand, dan is het geen indicator maar behang.
Het Amerikaanse normeringsinstituut NIST heeft zijn richtlijn voor beveiligingsindicatoren, publicatie 800-55, eind 2024 volledig herzien, en de richting van die herziening bevestigt dit beeld. De nieuwe versie legt de nadruk op het kiezen en prioriteren van een kleine set indicatoren die aan de doelen van de organisatie is gekoppeld, erkent kwalitatieve beoordeling uitdrukkelijk als volwaardig naast kwantitatieve, en besteedt een heel tweede deel aan het meetprogramma eromheen, met eigenaren, beslismomenten en gegevensbeheer. Ook de ISO-wereld vraagt dit al. ISO 27001 verplicht in artikel 9.1 tot het evalueren van de effectiviteit van het stelsel, en de bijbehorende richtlijn ISO 27004 onderscheidt daarbij nadrukkelijk het meten van prestaties van het meten van effectiviteit. Wie alleen activiteit telt, voldoet dus niet eens aan de norm die hij ophangt.
De verleiding is groot om dit op te lossen met méér meten. Het onderzoek wijst de andere kant op. De systematische review van Max van Haastrecht en collega's (Universiteit Utrecht en Leiden), die ik ook in het basisartikel aanhaal, laat zien dat het aanbod aan indicatoren vooral technisch en activiteitgericht is, terwijl organisaties zonder eigen meetteam behoefte hebben aan weinig, begrijpelijke en op de context aanpasbare indicatoren. Bilge Yigit Ozkan en Marco Spruit werkten dat uit tot een aanpasbare volwassenheidsmeting voor het mkb. Begin licht, meet wat bij je organisatie past en groei mee.
Vertaald naar de praktijk raad ik elke organisatie dezelfde basisset aan. Stel per belangrijke maatregel drie vragen: bestaat hij, werkt hij, en is dat onlangs door iemand beoordeeld? Het klinkt bijna beschamend eenvoudig, maar het zijn precies de vragen waarop de meeste organisaties het antwoord schuldig blijven, en het zijn kwalitatieve oordelen die de herziene NIST-richtlijn volwaardig noemt. Daarboven past een handvol uitkomstindicatoren die aan echte beslissingen raken: de tijd tussen signaal en behandeling, het aandeel maatregelen met een geslaagde effectiviteitstest, het aantal openstaande uitzonderingen voorbij hun einddatum, en de meldsnelheid bij phishing waarover ik in het awarenessartikel schreef. In Kantyra is dit bewust zo ingericht. Het dashboard telt geen activiteit, maar toont de status, de testuitkomsten en de beoordelingsdata van maatregelen, en de Verklaring van Toepasselijkheid maakt daar per norm een rapportage van.
Als je één ding uit dit artikel onthoudt, laat het dan zijn dat je eerder indicatoren moet schrappen dan toevoegen. Stel jezelf drie vragen. Kun je van elke indicator op je huidige rapportage zeggen welke beslissing erop rust? Weet je van je vijf belangrijkste maatregelen of ze bestaan, werken en onlangs beoordeeld zijn? En staat er op je rapportage minstens één getal dat je liever niet aan het bestuur laat zien? Dat laatste is geen strikvraag, want een rapportage waarop alles groen is meet vrijwel zeker de verkeerde dingen. De waarde van een indicator zit niet in het geruststellen, maar in het op tijd verontrusten.
Dit artikel is een onderbouwde synthese van bestaand wetenschappelijk onderzoek en geen zelfstandig onderzoek dat door vakgenoten is beoordeeld. Waar ik duid of interpreteer, komt die interpretatie voor mijn rekening.
In een demo van 30 minuten lopen we het model door aan de hand van jouw situatie.
Plan een demo