Gå till innehåll

I jakt på goda exempel på riskanalys (för IT-/infosäk) snubblade jag över en handbok från Socialstyrelsen1. Den bör bygga på vetenskap och beprövad erfarenhet, så det känns ju lovande... Nu kunde jag dessvärre avfärda metodiken snabbt genom att bläddra fram till riskmatriserna. Riskmatriser är i sig fundamentalt trasiga2, men det finns olika grader av problem.

Jag hoppas jag har missförstått detta, men det ser inte bra ut.

Beräkning av riskpoäng

Metodiken bygger på beräkning av riskpoäng för identifierade risker. Jag har klippt ut några essentiella delar.

Konsekvens

För risker bedömer man allvarlighetsgraden av dess konsekvens enligt tabell nedan. (Bilder är från handboken sidan 46 och framåt.)

socialstyrelsen-konsekvens

Kriterierna i sig har jag ingen åsikt om, det är tilldelningen av allvarlighetsgrad 1 till 4 som är problematisk. Summan av 4 st obehag är lika med 1 död. Svårt med folklig förankring här tror jag.

Sannolikhet

socialstyrelsen-sannolikhet

Sannolikheten bedöms på en skala 1 till 4. En gång på ett år blir 1 och 365 på ett år blir 4. Inte bra.

Och så riskmatrisen...

Den i nästan alla riskanalyser obligatoriska matrisen, här med ett lite annorlunda koordinatsystem men med den klassiska multiplikationen. Det är inget matematiskt fel på "Sannolikhet x Konsekvens", men det gäller ju att stoppa in något bättre än godtyckliga ordningstal i ekvationen.

socialstyrelsen-riskmatris

 

Dagligt obehag är likvärdigt med ett dödsfall per år!

Vi kan nu se att en risk som vi bedömer kommer att skapa obehag (1) dagligen (4) ger oss riskpoäng 4, vilket är samma riskpoäng som en risk som medför ett dödsfall (4) varje år (1), och samma som att en patient i månaden (2) får en utökad vårdepisod (2).

Vilken risk ska vi prioritera att åtgärda om vi bara har pengar till att lösa ett problem? Spelar ingen roll!

 

Förbättringsförslag

Till att börja med så tycks det inte finnas något vetenskapligt stöd för att Socialstyrelsens metod fungerar, det är ett problem även om det är väntat. Metoden ger heller inget stöd för att prioritera åtgärder. En risk med ett högre riskvärde är inte med nödvändighet viktigare att hantera än en risk med ett lägre (övriga omständigheter lika).

Om man nu vill behålla matrisen (vilket det egentligen inte finns någon vettig anledning till) så skulle man ändå kunna förbättra den genom att tilldela värden för sannolikhet och konsekvens som har verklighetskoppling. Sannolikheten är enkel, vi kan t.ex. ange frekvensen per år vilken redan framgår av Socialstyrelsens tabell. Konsekvensen kan översättas till kostnad i kronor för människoliv och annan skada. Myndigheter räknar på kostnaden för människoliv i andra situationer, så varför inte i riskanalyser.

Med googlade kostnader för liv och hälsa så konstruerade jag lite snabbt följande nya "riskmatris". (Färgskalan rött-vitt blev lite tråkig eftersom det är väldigt dyrt att ta livet av en patient/dag.)

socialstyrelsen-riskmatris-ng

Uppdaterad riskbedömning

Nu är det ca 5 gånger så dyrt med ett årligt dödsfall som för det dagliga obehaget. Även om liv fortfarande kan tyckas vara lågt prioriterat så är vi i alla fall närmare en bedömning som känns rimlig.

Vi kan också se att den månatliga ökningen av vårdepisod för en patient nu bara kostar en tredjedel av det dagliga obehaget. Känns ganska rimligt.

Sammanfattning

Detta var bara ett snabbt nedslag i en detalj i en metodbeskrivning, men:

  • Det finns generella och stora problem med metodiken för riskanalyser inom det offentliga, och naturligtvis även inom det privata.
  • Vi måste våga att kvantifiera!
  • Osäkerhet i bedömningar måste redovisas!

Jag hoppas kunna återkomma med inte bara gnäll, utan även något mer konstruktivt.

1

Ekots lördagsintervju med inrikesminister Anders Ygeman (Poddradio RSS) från 24/1 innehåller en del intressant ur bland annat IT- och informationssäkerhetsperspektiv och är värd att lyssna på.

Några noteringar:

6.55: Om PNR-registret - Ekot frågar "Har ni någon som helst analys av hur effektivt det här skulle kunna vara?". Svaret är "Inte det nya systemet så klart, för det finns ju inte på plats. Vi har bara konstaterat att det är viktigt [...]". En extra följdfråga från Ekot visar att detta med analys inte är något som anses behövas för införa EU PNR.

23.23: Om cyberattacker och incidentrapportering - Inrikesministern säger sig nyss ha träffat chefen för Säkerhetspolisen, Generaldirektören för MSB och chefen för polisens nationella operativa avdelning för att diskutera hur man ska tydliggöra det statliga myndighetsansvaret för informationssäkerhet och mot cyberhot. De jobbar även vidare på att införa obligatorisk incidentrapportering.

Lite tyckande om detta:

Det känns inte speciellt bra att man vill införa ett centralt EU PNR med hänvisning till någon slags "sunt förnuft". Risken nu är att det inte finns underlag att gå tillbaka till om några år för att utvärdera om systemet uppfyller sina syften. Om rättsväsendets nytta faktiskt skulle visa sig blir mindre än förväntat så skulle kanske de inskränkningar i privatlivet som man tidigare bedömt vara befogade inte längre vara giltiga. Men nu riskerar systemet (om det väl införs) antagligen att bli kvar för evigt!

Förutom mer fokus på avvägningen mellan nytta och personlig integritet så önskar jag att lite vetenskaplighet lyser igenom samt att avvägningar och beslut baseras på underlag och analys. Känns ganska grundläggande kan man tycka.

På plussidan: Att ministern följer upp de uttalanden han gjorde i början av november om nationell incidentrapportering är däremot välkommet. Det låter som om detta verkligen är på gång, pådrivet av NIS-direktivet. Kanske kommer MSB:s rapport Nationellt system för it-incidentrapportering att dammas av? Om jag vore en cyniker så skulle jag dock tro att man i stället börjar om med en ny utredning...

Jag tror det är bra med en samordnad koll på incidenter och hot mot samhällsfunktioner, för i dag brister detta grovt med försämrad säkerhet som resultat. Utmaningarna för att få organisationen på plats är dock stora och det finns en del frågor. Kommer det att gälla endast offentlig verksamhet eller, som Ygeman antytt tidigare, även för privata företag? Kommer det att kunna skapas en tillit till den nya organisationen (var den nu hamnar) så att känsligt material verkligen kan samlas där? Och kommer de att ha förmågan att sammanställa materialet till något praktiskt användbart? Jag är hoppfull, men skeptisk.

DN skriver att cyberhoten ökar mot svensk industri. Belägg för detta i texten:

  • Ett handplockat fall i Tyskland.

Tyvärr inget mer. En röst på FOI säger även att intresset för styrsystem har ökat inom "hackercommunityt". Mycket möjligt, antagligen troligt, men om intresset nu leder till hot, till vilken nivå har hoten (riskerna) ökat, och vad baseras detta på för underlag? Sony-hacket tas också upp, detta är dock inte relaterat till styrsystem.

Yttrande:

  • Argumentationen bygger på "cherry picking".
  • Vad vi har att göra med är klassisk "fear mongering".
  • Brister är inte hot!

Som tillägg kan nämnas att CERT-SE (MSB) har hanterat cirka en (1) incident under de senaste två åren som relaterar till SCADA. (Jag ber att få återkomma till denna siffra i senare inlägg.) Nu ger inte data från CERT-SE en samlad bild av problematiken, men jag tycker det är lite intressant ändå.

Tyvärr kan man väl inte lära sig något mer av detta än att det är uppenbart att det behövs bättre underlag för att bedöma eventuella risker.

Bristen på empiriska data beträffande it-incidenter i samhället försvårar det systematiska arbetet med samhällets informationssäkerhet. -MSB

Inrikesminister Anders Ygeman har reagerat1 på den senaste tidens rapporterade IT-incidenter och vill utreda frågan om rapporteringsskyldighet. Det behövs kanske inte för MSB har redan gjort detta2.

Inrikesministern överväger en tvingande rapporteringsskyldighet både för myndigheter och företag. Bättre att gå på MSB:s linje med tvång för statliga myndigheter och frivillighet för övriga organisationer, så länge det inte handlar om tjänsteleverantörer till det allmänna.

Kul tajming eftersom jag här om dagen skrev att just bristen på dessa empiriska data hindrar en vettig utvärdering av MSBFS 2009:103.

I rapporten En bild av myndigheternas informationssäkerhetsarbete 20141, som MSB släppte 1 september, redovisas hur väl föreskriften MSBFS 2009:102 tillämpas ute på myndigheterna.

Resultaten som redovisas är överlag är dystra. Exempelvis har endast 35 % av myndigheterna en kontinuitetsplan. Av dessa har 36 % även övat den. Ca 13 % har således både tagit fram en plan och övat den.

13 % är en riktigt dålig siffra! Eller? Hur är det med detta egentligen? Vi kan anta att det faktiskt inte alls är bra, men ingen vet hur pass dåligt det är i praktiken. Vi kan inte heller ta reda på detta!

Det finns inom statsapparaten ingen sammanställd statistik över brister och incidenter, och det finns inte heller någon rapporteringsplikt. Vi kan därför inte analysera om efterlevnad av föreskrifterna faktiskt ger en säkerhetshöjande effekt.

Nu när MSBFS 2009:10 är under revision så hade det varit guld värt att veta vilka krav i föreskriften som faktiskt har givit resultat, vad som behöver läggas till eller förtydligas och inte minst vad som kostar mer än det smakar - och ska tas bort. Lägga till och fördyra är lätt, att ta bort krav kräver mod och underlag.

Många år av prat om "ständig förbättring" har passerats. Evidensbaserad infosäk fortsatt svår att hitta.