Kā izmērīt risku ar labāku OKR.

Es esmu kļuvis par lielu Objective and Key Result (OKR) fanu uzņēmumos, kas tos uztver nopietni. Es aprakstīšu apzinātu metodi, kas der OKR un mēra izvēlētā riska samazinājumu (vai palielinājumu). Tas informēs komandas lēmumu samazināt vai palielināt inženiertehniskos centienus, lai mazinātu turpmāko risku.

Šī metode ir līdzīga tam, kā meteorologs prognozē laika apstākļus.

Lai dziļi ienirtu OKR, varat to izlasīt, skatīties vai lasīt.

OKR ir vienkāršs veids, kā izteikt motivējošu mērķi un apņemties izveidot īsu izmērāmu rezultātu sarakstu, kas virza grupu uz šo mērķi. Viņi dažreiz pāriet no izpildvaras vadības līdz visiem darbiniekiem. OKR ir ierasta prakse starp tehnoloģiju uzņēmumiem un daudzām drošības komandām, ar kurām es strādāju.

Piemēram,

Mērķis: uzlabot autentifikāciju no izstrādātāju klēpjdatoriem līdz ražošanai.

Šis mērķis nav slikts, taču daudzas riska novērtēšanas iespējas ir palaistas garām.

Mēs samazināsim retu, ietekmīgu risku, izmantojot kvantitatīvi izsakāmu metodi.

Šāda veida riskus parasti ir grūti izmērīt.

Vēstures dati (nekad nav notikuši) slikti informē mūsu nākotni (vai tas varētu notikt?).

Izmantojot prognozēšanas un novērtēšanas metodes, mēs varam izmērīt, cik liela varbūtība varētu rasties nākotnē, pat ja mums iepriekš trūkst vēsturisko datu par šo scenāriju. Mēs izmantojam grupas “nenoteiktību” kā riska starpnieku, un mēs to izmērīsim. Mēs pārvaldīsim ar prognozēm saistītos izziņas traucējumus.

MĒRĶIS: uzrakstiet mērķi ar “riska scenāriju”.

Jūsu mērķis ir samazināt risku, kas izteikts scenārijā.

Zemāk ir iepriekš minēts mērķis, kas tika uzrakstīts, lai samazinātu risku. Tas ir uzrakstīts ar zināmu uzlabošanas iespēju:

Mērķis: uzlabot autentifikāciju no izstrādātāju klēpjdatoriem līdz ražošanai.

Tas nebūt nav slikts mērķis, lai gan to var uzlabot, pārrakstot to kā scenāriju.

Mērķis: samaziniet risku, ka “pretinieks piekļūst ražošanai no izstrādātāja klēpjdatora Q3.”

Viņi šķiet līdzīgi, vai ne?

  • Galvenā atšķirība ir tā, ka scenārijs ir ticams. Var paredzēt varbūtīgas frāzes. Prognozēšana ir labi izpētīta, parasti saprotama (piemēram: laika apstākļi), kvantitatīva un mēra jūsu nenoteiktību.

Neskaidrība ir tā lieta jūsu smadzenēs, kas liek jums paraustīt plecus par iespēju kopumu vai spēcīgi izjust kādu no tām. Kā izrādās, grupas nenoteiktību var izmērīt tiešā veidā. Mēs padarīsim ekspertu nenoteiktību par rādītāju mūsu mērījumu mērķim.

  • Neliela atšķirība ir tā, ka scenārijs atlīdzina inženiera radošumu.

Piemēram, vai to izstrādātāju skaita samazināšana, kuriem nepieciešami ražošanas akreditācijas dati, uzlabo autentifikāciju? Nē, tas mazliet sasniedz. Bet tas mazinātu risku, un galvenais rezultāts ir vairāk saderīgs ar modificēto mērķi. Tas bija labāks mērķis, tāpēc varbūt mūsu galvenie rezultāti būs labāki.

“Riska scenārija” mērķis neparedz risinājumu. Tas tikai izveido tīru prognozi. Scenārijs var darīt labāk, definējot risku kā nākotnes notikumu, no kura jāizvairās.

Labs, iepriekš paredzams scenārijs ir saistīts ar pārdomātu draudu, vektoru, aktīvu vai ietekmes sajaukumu. Jūs varat radoši izlemt par konkrētu darbības jomu vai risku, pievienojot sašaurinātu vai paplašinātu specifiku. Prognozei ir jāizlemj par konkrētu laika grafiku.

GALVENIE REZULTĀTI: Izvēlieties atskaites punktus vai metriku un apņemieties veikt prognozi.

Pirmkārt, viegli priekšmeti. Galveniem rezultātiem jābūt izmērāmiem. Google pirmajos laikos Marisa Meijere sacīja:

"Tas nav galvenais rezultāts, ja vien tam nav numura."

Viena vienkārša mērīšanas forma ir bināri sasniegumi: 1 izdarīts, 0, ja nav izdarīts. Piemēram: “Mēs pievienojām XYZ biznesa lietojumprogrammu mūsu vienotās pierakstīšanās platformai”. Ja jūs to izdarījāt, jūs saņemat “1”!

Vēl viens ir izvēlēties kvantitatīvu metriku, piemēram, “labot X kļūdas” vai “samazināt X gadījumu skaitu” vai “nolīgt N inženierus”. Tie ir nepieciešami, bieži sastopami un atspoguļo projekta mērķus un darbības rādītājus. Jūs, iespējams, esat pie tā pieradis. Viņi var dot arī jaukus galvenos rezultātus.

Tomēr tie patiesībā nemēra ar mūsu scenāriju saistītā riska samazināšanu. Drīzāk tie ir atpaliekoši rādītāji par paveikto darbu. Šis darbs ir radījis vērtību riska mazināšanai, bet jūs faktiski vēl neesat izmērījis riska samazinājumu. Jūs vienkārši pieņemat, ka jūsu centienu dēļ risks samazinās.

Bet par cik? Ko darīt, ja tas faktiski palielināsies?

Drošības metrikas salīdzinājums ar noteiktības mērījumu

Tradicionālie drošības rādītāji ir ļoti noderīgi to informatīvās vērtības dēļ. Tie norāda uz mūsu nenoteiktību attiecībā uz risku, bet neatspoguļo riska varbūtību un bieži neizsaka milzīgo nenoteiktību, kāda mums var būt par konkrētu scenāriju.

Piemēram, es uzskatu, ka vēsturiskais ievainojamību skaits vai regresijas biežums tieši neizsaka risku, bet tas noteikti palīdz informēt par manu nenoteiktību jautājumā par to, vai šo datu rezultātā radīsies saistīts scenārijs vai nē.

Tas notiek tāpēc, ka vērtība, ko mēs piešķiram individuālai metrikai, ir nemainīgā kustībā.

Jebkura specifiska metrika var būt mans informatīvākais datu punkts… līdz brīdim, kad kaut kas to aizvieto. Pēc manām domām, bijušie dati tiks nolietoti tūlīt pēc tam, kad būs uzklausīta jauna informācija, kas kliedz “ak, crap”, salīdzinot ar vecajiem datiem, vai jebkurš trausls modelis, kuru mēs mēģinājām izveidot šajā jautājumā.

Tagad ķersimies pie “cietās daļas”. Izgatavosim šo OKR.

Tas patiesībā ir ļoti viegli, kad jūs to pakavējat.

OKR piemērs, kas paredzēts mērīšanai:

Kā minēts, mēs izveidosim šo OKR, lai tas būtu saderīgs riska noteikšanai ar prognozēšanas un novērtēšanas paņēmieniem.

Šis ir OKR piemērs mazai AWS drošības komandai:

Mērķis:

Samaziniet iespēju, ka “AWS akreditācijas dati tika atklāti sabiedrībai 3. ceturksnī”.

Galvenie rezultāti:

  1. Apņemas pieminēt AWS_SECRET_KEY, parādoties # drošības drošībā.
  2. Fotoattēlu dublēšanas cauruļvads tiks pārvietots uz AWS lomu.
  3. Pilnīgs drošības pērtiķu brīdināšanas cauruļvads uz mūsu dežūras noteikšanu.
  4. Pabeidziet pirms un pēc prognozes un CloudTrail medības.

Pirmajiem galvenajiem rezultātiem (1–3) nav vajadzīgas diskusijas. Tie ir tikai moderni inženiertehniskie darbi, un jūs varat izvēlēties visu, ko vēlaties. Pēdējais galvenais rezultāts (Nr. 4) ir tas, uz ko mēs koncentrēsimies, lai turpinātu.

Lai novērtētu šo riska scenāriju, mēs izmantosim prognožu paneli. Tas pastiprinās mūsu spēju varbūtības pakāpē izmērīt OKR pamatā esošo riska scenāriju.

1. Pirms darba sākšanas: “bāzes līnijas” prognoze.

Pieņemsim, ka tas ir OKR gada trešajam ceturksnim. Jūnija sākumā daži dažādi un apmācīti indivīdi, kas pārzina OKR, prognozēs scenārija iespējamību varbūtības izteiksmē (ticamības procents).

Mūsu dalībnieki ir pērtiķi (), vienradzis (), govs () un pingvīns (). Mēs viņus īsi kalibrējam, lai domātu ticamības izteiksmē (apmācība tiešsaistē). Viņiem ir pieeja jebkurai pieejamai metrikai, modeļiem, pēcnāves modeļiem, konsultantu auditiem vai infrastruktūras diagrammām. Tas viss ir noderīgi un sniedz informāciju par viņu prognozi.

Iepriekš minētajai prognozei ir 78% pārliecība, ka CloudTrail medības neatradīs nekādu starpgadījumu. Pastāv 14% pārliecība, ka var tikt atklāts negadījums, un 6% pārliecība, ka mēs nonāksim patiesībā lielās nepatikšanās.

Tagad uzskatiet, ka atbilde par 33% no katras grupas žūrijas būtu norādījusi uz pilnīgu nenoteiktību, it kā viņiem burtiski nebūtu informācijas vai viedokļa. Scenāriju varēja rakstīt, piemēram, citā valodā. Šajā gadījumā tas tā nav, dalībnieki netic, ka katrs variants ir vienāds ar otru. Viņi domā, ka ir ļoti iespējams, ka neviens incidents nenotiks, ņemot vērā viņu zināšanas par vidi un iespējamiem draudiem.

Tādējādi šī grupa ticamības izteiksmē pauž viedokli, ka, visticamāk, šajā laikā negadījums nenotiks. Tomēr atklātais incidents nav pilnībā izslēgts. Tas notiek daudzos citos uzņēmumos. Viņiem jātic, ka pastāv neliela iespējamība, ka tas varētu notikt.

Faktiski šķiet, ka žūrijas loceklis (Monkey ) ir pārliecinātāks, ka kaut kas tiks atrasts.

Labi, ka Monkey grupas viedoklis ir atšķirīgs. Par to diskutēsim vēlāk - žūrijai nav jāpiekrīt!

2. Tagad dariet savu darbu, progresējiet kā parasti.

Ceturtdaļas vidū galvenā uzmanība tiek pievērsta mērķu sasniegšanai, kā parasti. Vienkārši strādājiet.

Kā tika izvirzīti mūsu mērķi, komanda izveido brīdināšanu, reaģē uz lietotni AWS lomu izmantošanai un izvieto drošības pērtiķi. Cerams, ka viņiem veicas labi un tos visus pabeidz!

Šī metode neietekmē jūsu ikdienas darbu. Tas vienkārši virza darbu uz izmērāmu rezultātu. Uzbrūkiet riskam, kā parasti.

3. EOQ. Mēs guvām panākumus! Tagad mēs salīdzinām ar sākotnējo stāvokli.

Mēs esam apņēmušies veikt divas lietas ceturkšņa beigās.

Pirmkārt, mēs piepūlamies, meklējot CloudTrail žurnālus ar rūpīgu pārbaudi, un noskaidrojam, vai no izmeklēšanas centieniem mēs varam iznīcināt visus P0 gadījumus.

Otrkārt, komisija atkal mēra pasākumus, izņemot mūsu nenoteiktību nākamajam ceturksnim (Q4).

Mūsu panelis ir bruņots ar jaunām zināšanām. Šī ceturkšņa progress un CloudTrail medību rezultāts būs ievērojami mainījuši mūsu viedokli par šo scenāriju.

Pieņemsim, ka komandai ir izdevies sasniegt citus galvenos rezultātus, un pārkāpumu novērtējums ir bijis tīrs.

Mēs atkal prognozējam. Šeit ir rezultāti.

Tagad mēs varam novērot, cik lielu noteiktību panelis ir ieguvis vai zaudējis, pamatojoties uz viņu centieniem. Šajā piemērā mūsu uzskati labvēlīgi attīstījās vēl vairāk, lai sasniegtu noteiktību (prom no 33%). Vai mūsu darbs ietekmēja mūsu paneļa noteiktību? Šī grupa tic.

Šajā gadījumā mēs uzlabojām savu pārliecību par šo risku. Mums ir kvantitatīvs uzlabojums par 5% pareizajā virzienā.

4. Pieņemiet vadības lēmumu, vadoties pēc datiem.

Tagad jūs esat bruņots efektīvai lēmumu pieņemšanai.

Šķiet, ka tas prognozē pārkāpumu vienā no desmit ceturkšņiem.

  • Vai tas ir pietiekami labs?
  • Vai mēs vēlamies to uzlabot vēl vairāk, vai arī mēs uzturam citus riskus?
  • Kāds ir mūsu pieļaujamais slieksnis?
  • Cik daudz pūļu un resursu mums vajag, lai to pārsniegtu?

Kāpēc šāda pieeja?

Cilvēki ir veidoti tā, lai apstrādātu atšķirīgus informācijas avotus un ātri pieņemtu jaunu informāciju, lai pieņemtu lēmumus.

Ceturkšņa laikā mēs neapšaubāmi iegūsim informāciju, kas maina mūsu noteiktības līmeni par mūsu izvēlētajiem riskiem.

Šī informācija nāk no daudzām vietām: pats praktiskais darbs, nozares tendences, pārkāpumi, varbūt ziņojumi par ievainojamību citās infrastruktūras jomās, mūsu pašu izmantotie pētījumi, bumbas atklāšanas tvīts utt.

Tomēr mūsu uzticēšanās šiem informācijas avotiem ir dinamiska. Mēs nevaram būt atkarīgi no individuālas, statiskas metrikas, lai pārstāvētu savu risku, jo viņu lēmumu pieņemšanas vērtība ātri mainās. Mēs varētu izmantot savu noteiktību kā starpnieku šiem riskiem, kas, kā zināms, ir izmērāmi, ir rūpīgi izpētīti, palielinot norādījumus par prognozēšanas metožu kā mērīšanas instrumenta uzlabošanu.

Faktiski ekspertu izaicinājums ir svarīgs faktors varbūtējos riska novērtējumos citās nozarēs, piemēram, kodolieroču, kosmiskās aviācijas un vides.

Mums tas nav nekas jauns, tikai jauns.

Izolācija pret aizspriedumu risku.

Prognozēšana ir bīstama, ja uz to neattiecas stingri. Kognitīvie aizspriedumi ir labi izpētīti, un šie atklājumi ir bieži jāatkārto. Ir dažādi mazinājumi sliktas prognozēšanas riskiem.

Pētījumi aizstāv, ka prognozēšanu var uzlabot, ja:

  1. Paneļi ir apmācīti domāt varbūtīgi un par aizspriedumiem.
  2. Lai apvienotu un izlīdzinātu aizspriedumu ietekmi, ekspertu grupas sastāv no grupas. Daudzveidība perspektīvā ir galvenā!
  3. Paneļi atkārtoti saskaras ar savu prognožu iznākumu (kalibrēšana). (Tiešsaistes apmācība, labs spriedums, pārliecības kalibrēšana)
  4. Ekspertu grupas dalībnieki tiek mudināti sadalīt scenāriju granulētākās daļās, un viņiem tiek nodrošināta pārredzama pieeja pieejamajiem datiem, kas viņiem nepieciešami, lai tos saprastu.
  5. Stingra patiesā “Melnā gulbja” izpratne. Viņi maldina prognozētājus.
  6. Nemēģiniet paredzēt un mazināt katru risku, esiet gatavs neizbēgamai neveiksmei.
  7. Atdaliet paaugstināšanu no amata un algas no OKR un prognozējiet rezultātus, lai izvairītos no smilšu maisiņiem, kas jau ir problēma darbinieku darbības pārvaldībā.

Vienkārši lūdzot paneļotājus prognozēt “domā ātri!”, Protams, jūs iegūsit sliktus rezultātus. Stingrai pieejai ir augstākas mērījumu (sanāksmju) izmaksas, taču tā ir daudz vienkāršāka nekā metodes ar neglītām riska matricu izklājlapām.

Bet… es vienmēr “pieņemu pārkāpumu”, tāpēc tas nedarbojas!

Ir pilnīgi pareizi pieņemt, ka esat pārkāpts. Es jebkurai organizācijai dotu ļoti lielu varbūtību (99%), ka kaut kādā nopietnībā kaut kāda veida sacīkstes ir saistītas ar sistēmu, kas tām pieder. To man nozīmē “pieņemt pārkāpumu”.

Tomēr ir neveselīgi uzskatīt, ka katrs pretinieks katrā noteiktā laikā apdraud katru sistēmas sastāvdaļu. Racionāli cilvēki, pat FUD slotiņas, tik tālu neiedziļinās.

Racionāli dziļi pesimistiskais prāts joprojām atstāj vietu šaubām, tikai vairāk vai mazāk nekā citi. Ja jums ir pārliecība, ka indivīdu centieni uzlabos riskus, tad šo nenoteiktības samazinājumu var izmērīt varbūtības izteiksmē. Pesimists noteikti netic, ka viņu darbs, piemēram, pasliktina situāciju.

Īsāk sakot, pat pesimistisko sākumstāvokli var uzlabot, un tas, ka komisijā ir pāris pesimistu, patiesībā ir ļoti, ļoti laba lieta.

Riska novērtēšanas un prognozēšanas nākotne

Daudzu ceturkšņu laikā mēs varam vēl vairāk atbalstīt varbūtības metodi. Lai vadītu mūsu prognozes, mēs varam ieviest Red Teams, Brier Scores un nozares paraugus. Mēs varam vienoties par datu vērtību un novērot, kā tie svārstās. Mēs varam “Chatham House” vai anonimizēt prognozes, lai dalītos ar vienaudžu drošības komandām.

Prognožu rezultātus mēs varam izmantot Montekarlo simulācijās, ļaujot mums gūt zināšanas un pieredzi no NASA, Kodolieroču licencēšanas un citām jomām, kas ir tālāk par kiberdrošību, lai izprastu galējos riskus.

Organizācijām ir daudz iespēju pieņemt riska prognozēšanas praksi. Lai sasniegtu labus rezultātus, nav nepieciešama milzīga enerģija. Sākot ar mazu, piemēram, ar risku balstītu OKR, var uzskatāmi samazināt jūsu organizācijas risku un likt jūsu organizācijai virzīties uz kvantitatīvu risku.

Secinājums

OKR ir izplatīts veids, kā vadīt inženieru komandu. Izveidojot OKR, kas ir saderīgi ar novērtēšanas un prognozēšanas paņēmieniem, mēs varam labāk novērtēt progresu riska mazināšanā.

Šīs metodes netraucē “kā” komanda veic savu darbu, tā vienkārši mēra “cik daudz” var mainīties rezultātā. Ja jums pašlaik nav metodes riska noteikšanai, tad jebkurai kvantitatīvai metodei vajadzētu būt labākai nekā jums. Šai stratēģijai ir minimāla ietekme uz inženiertehnisko praksi, vienlaikus pielāgojot komandu mēramam riska samazināšanas līmenim.

Turpmākais lasījums

Riska prognozēšana: augsta līmeņa prezentācija par šo metodi.

Vienkārša riska analīze: dziļa riska prognozēšanas niršana.

Killing Little Chicken: izpētīt ierobežojumus un riska prognozēšanas iespējas.

Drošības riska sadalīšana scenārijos: risku sadalīšana scenāriju hierarhijā, sākot no plašiem un beidzot ar sīkākiem scenārijiem.

Domā ātri un lēni: Nobela prēmijas ieguvums ir cilvēku izziņas kļūdu pētījums, galvenokārt aizspriedumu veidā.

Prognozēšana par superprognozēm: pētījumi par to, kā mazināt izziņas kļūdas un padarīt tās efektīvās prognozēšanas grupās.

Kā izmērīt jebko kiberdrošības risku: lielisks avots, lai aizstāvētu prognozēšanu kā mērīšanas metodi. Spēcīgas debates, kas veicina mērīšanas lomu lēmumu pieņemšanā.

Ryan McGeehan raksta par drošību vidē.