Skvelé výsledky spoločnosti ESET v testovaní EPR organizáciou AV-Comparatives umocňujú návratnosť investícií do produktov a služieb ESET s podporou XDR. Dokáže test dať do kontextu aj výsledky spoločnosti ESET z piateho kola testovania ATT&CK® Evaluations organizácie MITRE Engenuity zameraného na segment veľkých firiem?
ESET najlepší v prevencii a v reakcii na hrozby
V nedávno zverejnenej porovnávacej správe organizácie AV‑Comparatives zameranej na riešenia na prevenciu a reakciu na útoky na koncové zariadenia (EPR) za rok 2023 získalo riešenie ESET PROTECT Enterprise vo verzii 10.1 vysoké skóre v kvadrante EPR CyberRisk™. Spoločnosť ESET, ktorá bola vyhlásená za Strategického lídra iba spolu s tromi ďalšími dodávateľmi, obsadila pozíciu na vrchole rebríčka z hľadiska schopností prevencie a reakcie s najvyššou mierou detekcie.
Pre niektorých partnerov spoločnosti ESET a dokonca aj pre našich potenciálnych zákazníkov je výsledok v testovaní EPR od organizácie AV-Comparatives v zjavnom kontraste s pokrytím prehľadu o hrozbách v čiastkových krokoch, ktorý sme poskytli v rámci testovania ATT&CK® Evaluations organizácie MITRE Engenuity zameraného na segment veľkých firiem za rok 2023. Niekto by mohol namietať, že štatistické výsledky týkajúce sa testovania detekcie a ochrany v rámci tohto hodnotenia vyzerajú úplne inak. Žijú testeri, dodávatelia a koncoví používatelia v samostatných vesmíroch, kde matematika nie je univerzálnym jazykom?
Podľa nášho názoru testeri z MITRE Engenuity zameraní na pokročilé pretrvávajúce hrozby (APT) nevytvorili pri skúmaní ochrany a detekcie naprieč reťazcom kybernetických útokov rebríček výkonnosti (ani konkurenčný test), prinajmenšom nie taký, ktorý by sa dal ľahko porovnať s inými testami. Čitatelia, ktorí prechádzajú z hodnotenia ATT&CK na EPR testovanie organizácie AV-Comparatives, budú musieť preskupiť svoju pozornosť. Je potrebné sa zamerať na účinnosť simulácie reálnych podmienok a, čo je dôležité, zohľadniť rôzne cieľové skupiny testov – v prípade testovania EPR sú to koncoví používatelia aj zúčastnení dodávatelia.
Porovnanie cieľových skupín
Dva spomínané testy sú cielené na jedinečné publiká. Organizácia AV-Comparatives vytvorila svoj EPR test s cieľom vyhodnotiť očakávania dodávateľov na produkty a, čo je veľmi podstatné, poskytnúť kupujúcim transparentný prístup k štandardným a odsúhlaseným výsledkom prostredníctvom metodiky, ktorá najlepšie napodobňuje reálny výkon. V rámci služby pre kupujúcich testeri tretích strán zvyčajne poskytujú vlastnú analýzu prvotných údajov, ktorú organizácia AV-Comparatives ponúka vo svojej správe o EPR.
Naproti tomu spoločnosť MITRE Engenuity neposkytuje porovnávacie analýzy výkonnosti dodávateľov v hodnoteniach ATT&CK Evaluations. Spoločnosť MITRE Engenuity uvádza:
Tieto hodnotenia nie sú analýzou konkurencieschopnosti. Otestované detekcie predkladáme bez určenia „víťaza“. Keďže neexistuje jednotný spôsob analýzy, hodnotenia alebo klasifikácie riešení, namiesto toho uvádzame, ako každý dodávateľ pristupuje k ochrane pred hrozbami v kontexte hodnotenia ATT&CK.
Z tohto vyhlásenia je úplne jasné, že hodnotenie ATT&CK Evaluations nie je rebríčkom, ale zdrojom informácií, jednak pre dodávateľov a jednak pre bezpečnostných pracovníkov organizácií, ktorí si môžu dôkladne prejsť poskytnuté dáta.
Inak povedané, testy tretích strán sú produktom aj službou, ktoré poskytujú svojim používateľom – dodávateľom aj koncovým podnikom – vstupné údaje na prijímanie kvalifikovaných rozhodnutí týkajúcich sa produktového vývoja a výskumu či firemných nákladov a reálneho výkonu.
Účasť na hodnotení ATT&CK Evaluations a v testovaní EPR
Ďalším kľúčovým bodom je, kto sa na týchto testoch zúčastňuje. Hodnotenie ATT&CK® Evaluations organizácie MITRE Engenuity zamerané na segment veľkých firiem za rok 2023 podrobilo 29 dodávateľov dvom scenárom útokov, ktoré boli vytvorené na základe techník používaných skupinou Turla. V konečnom dôsledku tento test pomáha dodávateľom pri overovaní ich prístupu k optimalizovanej detekcii a ochrane, čo zahŕňa aj zdôvodnenie (ne)detegovania konkrétnych čiastkových krokov v rámci hodnotenia.
Naopak, v testovaní EPR AV-Comparatives za rok 2023 sa veľmi komplexne hodnotilo 12 dodávateľov, pre ktorých bolo nasadených 50 scenárov cielených útokov s použitím rôznych techník namapovaných do databázy znalostí MITRE ATT&CK. Tieto scenáre neboli oznámené pred testom, čo je ďalší kontrast medzi prístupom organizácie AV-Comparatives a spoločnosti MITRE Engenuity. Výsledný kvadrant EPR CyberRisk zohľadňuje účinnosť produktu pri prevencii narušenia, vypočítané úspory a náklady na nákup produktu, presnosť prevádzky a oneskorenie pracovného postupu.
Napriek vysokej pridanej hodnote prístupu organizácie AV-Comparatives sa viacerí zúčastnení dodávatelia rozhodli nezverejniť svoje mená. Okrem toho sa ďalší dodávatelia, ktorí boli súčasťou hodnotenia ATT&CK Evaluations, nechceli podieľať na EPR testovaní. Potenciálni koncoví používatelia produktov XDR môžu oprávnene pochybovať o nákladoch na tieto netestované produkty a o tom, či dané náklady prípadne neznižujú schopnosť detekcie uvedenú v hodnoteniach ATT&CK Evaluations.
Pri vývoji našich vlastných možností a preskúmaní výkonov v minulých hodnoteniach ATT&CK Evaluations zastávame názor, že obvyklá „cena“ za tvrdenie o 100 % detekcii alebo ochrane v rámci hodnotení je pravdepodobne platená vo falošne pozitívnych výsledkoch. Náš produkt ESET PROTECT Enterprise však z testu organizácie AV-Comparatives vyšiel bez falošných detekcií, čo je pre našu spoločnosť veľmi dôležité. Faktom je, že nesprávne detekcie sú spúšťačom reálnych nákladov – nákladov, ktoré môžu dokonca prevýšiť cenu za skutočné narušenia bezpečnosti – pretože IT pracovníci môžu stráviť mnoho hodín ich riešením.
Dôležitosť našej účasti v EPR testovaní organizácie AV-Comparatives spočíva v tom, aby sme dokázali odkomunikovať svoju hodnotu tým, ktorí rozhodujú o IT bezpečnosti. Osoby na vedúcich IT pozíciách majú radi kvadranty, ako je napríklad kvadrant EPR CyberRisk, pretože zjednodušujú pochopenie schopností rôznych produktov. Vieme si predstaviť, ako riaditeľ informačnej bezpečnosti uvažuje: „Dajte mi produkt s najlepšou schopnosťou detekcie a ochrany. Ale počkať, finančný riaditeľ mi pripomenul, aby som zohľadnil aj náklady!“
Obrázok 1. Kvadrant EPR CyberRisk poskytuje rýchly a jednoduchý prístup k schopnostiam prevencie a reakcie na hrozby v porovnaní s nákladmi
Kvadrant EPR CyberRisk organizácie AV-Comparatives je skvelým zdrojom informácií, podľa ktorých môžu spoločnosti začať vyhodnocovať a vyberať riešenia XDR na základe ukazovateľov prevencie a celkových nákladov na vlastníctvo ešte predtým, ako sa nevyhnutne ponoria do riešenia technológie a implementácie.
Porovnanie metodík
Zatiaľ čo AV-Comparatives využíva reálnu metodiku a poskytuje publiku analýzy, MITRE Engenuity ponúka plán emulácie a výsledky ako nespracované dáta. Ak máte ako organizácia zdroje a kvalifikovaný IT personál, mohli by ste dokonca zopakovať hodnotenie ATT&CK Evaluation či jej čiastkové kroky aj vo svojej sieti s cieľom získať vysoko relevantnú, reálnu spätnú väzbu o skutočnej účinnosti a nákladoch rôznych riešení.
Bez takéhoto personalizovaného opakovania však podľa nášho názoru hodnotenia ATT&CK Evaluations nie sú vhodné ako primárny základ pre rozhodnutie o kúpe. Cieľom hodnotení je skôr poskytnúť vycvičenému oku zdroj na pochopenie konkrétnych úrovní prehľadu v čiastkových krokoch, ktoré produkt ponúka. O tom, či je poskytovaná úroveň prehľadu vhodná pre koncového používateľa, sa vedú vášnivé diskusie, ale naša hlavná odpoveď je, že nepotrebujete 100 % prehľad ani detekcie techník útokov pre každý čiastkový krok. Je však potrebné vidieť dostatok relevantných čiastkových krokov – keďže nie každý čiastkový krok je rovnako dôležitý na určenie, či útok prebieha – a následne ho zmierniť a/alebo zastaviť.
Personalizovaná analýza, ktorá je potrebná na získanie skutočného významu z hodnotení ATT&CK Evaluations, znamená, že všetci čitatelia musia byť pripravení samostatne uchopiť plán emulácie a starostlivo zvážiť každý čiastkový krok a to, čo to predstavuje pre vašu organizáciu. Čím lepšie pochopíte techniky protivníkov, výzvy spojené s rekonštrukciou reťazcov útokov a spoločné črty udalostí vyskytujúcich sa vo vašom prostredí, tým lepšia bude vaša analýza a závery. Pre osoby s rozhodovacími právomocami môže byť náročné interpretovať zmysel hodnotení, pretože nie sú prezentované v stručnej a ľahko zrozumiteľnej forme.
Opatrenia prijaté organizáciou AV-Comparatives s cieľom ponúknuť čo najlepšie približné prostredie reálneho sveta, doplnené o komerčne dostupné, open-source nástroje na útoky, ako aj o taktiky, techniky a postupy zostavené z databázy znalostí MITRE ATT&CK, podčiarkujú testovanie určené pre služby podnikov a inštitúcií, ktoré sa spoliehajú na ochranu koncových zariadení a detekciu a reakciu na útoky z reálneho sveta.
Obrázok 2. Taktiky, techniky a postupy hodnotenia MITRE ATT&CK použité v EPR testovaní organizácie AV-Comparatives za rok 2023 (Zdroj)
Premyslený prístup organizácie AV-Comparatives ku kvantifikácii výkonnosti produktov nad rámec ochrany a detekcie naprieč celým reťazcom útokov prináša veľké benefity pri predchádzaní problémom spôsobeným falošnými detekciami.
Výborným príkladom zo súboru výsledkov hodnotenia ATT&CK Evaluation týkajúceho sa skupiny Turla je počet upozornení, ktoré možno vytvoriť bez postihu. Jeden dodávateľ mal vygenerovaných viac ako milión upozornení na jeden reťazec útokov. Riadiaci panel iného dodávateľa zasa ukázal takmer 6,7 miliónov podozrivých udalostí. Naproti tomu ESET Inspect zobrazil v prvý deň hodnotenia približne 6 000 detekcií (vrátane detekcií na koncových zariadeniach aj detekcií na základe pravidiel) a v druhý deň približne 2 000 detekcií. Netreba zabúdať, že testovacie prostredia zahŕňali štyri alebo päť zariadení a spoločnosť MITRE Engenuity netestovala produkty na súbore „čistých“ scenárov, ako to robila organizácia AV-Comparatives.
Stávka na obidva kone
Ako dodávateľ máme jasnú motiváciu zachovať si účasť na hodnotení ATT&CK Evaluations spoločnosti MITRE Engenuity aj na EPR testovaní organizácie AV-Comparatives, ktoré boli zvládnuté veľmi profesionálne. EPR test zameraný na obchodné aj technické publikum a hodnotenie ATT&CK Evaluations cielené (v ideálnom prípade) na technicky zdatných koncových používateľov podporujú pokročilú bezpečnostnú prax.
Stávky na viac „koní“ nie sú ničím novým. Vysoká úroveň zapojenia výskumníkov malvéru a bezpečnostných analytikov spoločnosti ESET s databázou znalostí MITRE ATT&CK už mnoho rokov napomáha riadiť výskum a vývoj v oblasti vylepšovania našich EPP a EDR produktov, ako aj informácií o hrozbách. Spoločnosť ESET začala prispievať do databázy MITRE ATT&CK veľmi skoro a v súčasnosti patrí medzi 10 najlepších z viac ako 350 prispievateľov. Účasť na hodnotení ATT&CK Evaluations tak poháňa kritický dialóg medzi viacerými tímami s cieľom vyvážiť prehľad a použiteľnosť techník a postupov ATT&CK.
Vďaka internej komunikácii, ktorú sme nadviazali a udržiavame prostredníctvom našej spolupráce so spoločnosťou MITRE Engenuity, naša paralelná účasť na EPR testovaní organizácie AV-Comparatives poskytuje potrebnú rovnováhu na zohľadnenie reálnych potrieb používateľov. Výsledkom je kombinované použitie oboch testov, pretože majú významnú hodnotu a (rozdielny) prínos.
Záver
S cieľom nielen byť lídrom v oblasti prevencie a reakcie na hrozby, ale aj poskytovať konkurencieschopné skóre v rámci celkových nákladov na vlastníctvo, považuje ESET za kľúčových čitateľov správy organizácie AV-Comparatives o EPR ľudí na rozhodujúcich pozíciách.
Podnetný dialóg, ktorý započalo hodnotenie ATT&CK Evaluations spoločnosti MITRE Engenuity, je úplne iný. Podnikom, inštitúciám a iným vybraným firmám s vlastnými bezpečnostnými centrami alebo kvalifikovanými bezpečnostnými pracovníkmi odporúčame, aby naďalej využívali databázu znalostí MITRE ATT&CK a komplexnejšie nahliadali na hodnotenie ATT&CK Evaluations. Skutočnú hodnotu však vidíme v tom, že je spúšťačom inovácií, experimentovania a neustáleho zlepšovania.
