Umelá inteligencia mení obranu firiem: čo by mali vedieť bezpečnostné tímy?

Umelá inteligencia poskytuje bezpečnostným tímom väčšiu rýchlosť a škálovateľnosť, ale neznamená to, že môžu zanedbávať základy.

Bezpečnostné tímy využívajú umelú inteligenciu (AI) na prechádzanie obrovských objemov telemetrických údajov, identifikáciu aktivít, ktoré si zaslúžia pozornosť, a zefektívnenie vyšetrovaní. Zároveň však kyberzločinci experimentujú s mnohými z tých istých technológií s cieľom zdokonaliť phishingové kampane, automatizovať podvody a rozšíriť rozsah svojich operácií. To vedie k značnému zmätku.

Niektoré titulky vykresľujú AI ako budúcnosť kyberbezpečnosti, zatiaľ čo iné ju prezentujú ako nový zdroj rizika, ktorý obrancovia nedokážu kontrolovať. Skutočnosť leží niekde uprostred. AI nie je ani nepriateľom, ani odpoveďou na každý bezpečnostný problém.

Ak sa používa zodpovedne, je to nástroj, ktorý môže pomôcť bezpečnostným špecialistom pracovať efektívnejšie. Ak sa však používa nezodpovedne, môže vytvárať nové riziká.

Organizácie, ktoré z umelej inteligencie ťažia najviac, sa nesnažia nahradiť bezpečnostných špecialistov. Namiesto toho využívajú umelú inteligenciu na to, aby pomohli skúseným odborníkom prijímať lepšie rozhodnutia v kratšom čase.

Kľúčové body tohto článku:

• Umelá inteligencia pomáha bezpečnostným tímom odhaľovať hrozby, stanovovať priority výstrah, analyzovať zložité aktivity a rýchlejšie reagovať, ale najlepšie funguje v kombinácii s ľudskou expertízou.
• Útočníci využívajú umelú inteligenciu na zdokonaľovanie phishingu, sociálneho inžinierstva, podvodov a automatizácie útokov, čím sa známe hrozby stávajú rozsiahlejšími a presvedčivejšími.
• Umelá inteligencia zároveň prináša nové bezpečnostné výzvy, ako sú „tieňová umelá inteligencia – shadow AI“, úniky údajov, manipulácia a riziká spojené so správou a riadením, ktoré musia organizácie aktívne riešiť.
• Hlavnými príčinami incidentov však naďalej zostávajú známe slabé miesta, ako sú phishing, slabé heslá, neaktualizované systémy a nedostatočné monitorovanie.
• Budúcnosť kyberbezpečnosti spočíva v ľudských odborných znalostiach umocnených umelou inteligenciou, podporených silnými základmi bezpečnosti a zodpovedným riadením.

Čo predstavuje umelá inteligencia v oblasti kyberbezpečnosti?

Umelá inteligencia v oblasti kyberbezpečnosti predstavuje využitie inteligentných algoritmov na detekciu hrozieb, analýzu správania, stanovenie priorít výstrah, podporu vyšetrovaní a zlepšenie bezpečnostných operácií. To však neznamená, že by sa rozhodnutia v oblasti bezpečnosti mali prenechať strojom.

Jednou z najbežnejších mylných predstáv je, že umelá inteligencia nahradí tímy kyberbezpečnosti. V praxi však jej skutočná hodnota spočíva v tom, že pomáha analytikom sústrediť sa na činnosti, ktoré sú najdôležitejšie.

Umelá inteligencia pomáha bezpečnostným tímom zvládnuť obrovský objem údajov, čo je problém, ktorý neustále narastá. Moderná organizácia generuje obrovské množstvo bezpečnostných údajov a každý pokus o prihlásenie, aktivita koncového zariadenia, sieťové pripojenie, udalosť v cloude a interakcia s aplikáciou vytvára informácie, ktoré môžu, ale nemusia byť dôležité. Niekde v týchto údajoch sa môže skrývať prvý náznak útoku.

Kde pomáha umelá inteligencia – a kde stále záleží na ľuďoch

Keďže ľudskí analytici nemôžu ručne skontrolovať každú udalosť, umelá inteligencia im môže pomôcť zúžiť rozsah. Namiesto toho, aby museli preverovať každú udalosť jednotlivo, môžu využiť systémy riadené umelou inteligenciou na identifikáciu nezvyčajnej aktivity, prepojenie súvisiacich udalostí a odhalenie incidentov, ktoré si vyžadujú okamžitú pozornosť. Výsledkom je cielenejšia a efektívnejšia bezpečnostná prevádzka.

Ľudský dohľad však naďalej zostáva nevyhnutný, pretože bezpečnostné rozhodnutia si vyžadujú kontext, úsudok a zodpovednosť, ktoré softvér nedokáže poskytnúť. Ľudia sú naďalej lepší v pochopení vplyvu na podnikanie, zvažovaní konkurenčných priorít a rozhodovaní o tom, aké opatrenia by sa mali nakoniec prijať. Preto najsilnejšie programy kyberbezpečnosti kombinujú efektívnosť strojov s ľudskou odbornosťou.

Umelá inteligencia pre kyberbezpečnosť vs. bezpečnosť umelej inteligencie

Toto rozlíšenie je dôležité, pretože v diskusiách o umelej inteligencii a kyberbezpečnosti sa často zamieňajú dva odlišné pojmy. Jeden sa zameriava na využitie umelej inteligencie na zlepšenie výsledkov v oblasti bezpečnosti, zatiaľ čo druhý sa zameriava na zabezpečenie samotnej umelej inteligencie. Pozrime sa na tento rozdiel.

Umelá inteligencia pre kyberbezpečnosť

Umelá inteligencia pre kyberbezpečnosť sa týka využitia technológií umelej inteligencie v rámci bezpečnostných operácií.

Medzi príklady patria systémy, ktoré:

• Detegujú podozrivú aktivitu
• Analyzujú škodlivý softvér
• Korelujú súvisiace udalosti
• Prioritizujú výstrahy
• Podporujú vyšetrovania
• Odporúčajú možné reakčné opatrenia

Cieľ je jasný: pomôcť obrancom efektívnejšie identifikovať hrozby a reagovať na ne.

Bezpečnosť umelej inteligencie

Bezpečnosť umelej inteligencie rieši úplne inú výzvu.

Keď organizácie zavádzajú asistentov umelej inteligencie, nástroje typu ChatGPT, agentov umelej inteligencie, autonómne pracovné postupy a vlastné aplikácie umelej inteligencie, vytvárajú nové aktíva, ktoré je potrebné chrániť. Tieto systémy môžu spracúvať citlivé informácie, pristupovať k interným zdrojom alebo vykonávať akcie v mene používateľov.

Bezpečnosť umelej inteligencie sa preto zameriava na ochranu:

• modelov umelej inteligencie
• nástrojov umelej inteligencie
• agentov umelej inteligencie
• podnetov
• zdrojov údajov
• integrácií
• užívateľov interagujúcich so systémami umelej inteligencie

Organizácia môže nasadiť riešenia kyberbezpečnosti založené na umelej inteligencii s cieľom zlepšiť detekciu hrozieb a zároveň zaviesť riešenia v oblasti bezpečnosti umelej inteligencie na ochranu svojho vlastného ekosystému umelej inteligencie. Pochopenie tohto rozdielu preto pomáha organizáciám budovať silnejšie dlhodobé bezpečnostné stratégie.

Ako sa umelá inteligencia využíva v kyberbezpečnosti

Väčšina praktických využití umelej inteligencie v kyberbezpečnosti má spoločný cieľ: pomáhať odborníkom na kyberbezpečnosť nájsť relevantné signály v obrovskom množstve údajov. Technológia sa môže na jednotlivých platformách líšiť, ale základná výzva zostáva rovnaká. Pozrime sa na niekoľko kľúčových oblastí, v ktorých sa umelá inteligencia využíva.

Detekcia hrozieb

Jedným z najstarších využití umelej inteligencie v kyberbezpečnosti je identifikácia podozrivých súborov a škodlivého správania.

Významným príkladom je technológia DNA Detections od spoločnosti ESET. Táto technológia, zavedená v roku 2005, extrahuje kľúčové charakteristiky z potenciálne škodlivých vzoriek a vytvára širšie detekčné profily. Namiesto toho, aby sa spoliehala iba na presné zhody, pomáha identifikovať doteraz neznáme hrozby, ktoré majú spoločné charakteristiky so známym škodlivým softvérom. Tento proces sa pravidelne zdokonaľuje kombináciou automatizovaných systémov a dohľadu výskumníkov.

To ilustruje kľúčovú výhodu strojového učenia v oblasti kyberbezpečnosti. Ochrancovia sa často menej zaujímajú o to, či škodlivý softvér presne zodpovedá predtým zaznamenanej vzorke, ako o to, či vykazuje správanie spojené so škodlivou činnosťou.

Čo je strojové učenie?

Strojové učenie pomáha systémom rozpoznávať vzory v údajoch a na základe získaných skúseností zlepšovať svoj výkon.

Analýza škodlivého softvéru

Umelá inteligencia zohráva dôležitú úlohu aj v prípadoch, keď analytici narazia na neznáme súbory.

ESET LiveGuard Advanced ponúka užitočný príklad cloudového sandboxu podporovaného umelou inteligenciou. Podozrivé súbory sa skúmajú prostredníctvom viacerých nezávislých vrstiev, ktoré zahŕňajú pokročilé skenovanie, analýzu založenú na umelej inteligencii, spustenie v sandboxe, kontrolu pamäte a hodnotenie správania. Namiesto toho, aby konečné rozhodnutie prijal jeden model, k verdiktu prispieva viacero analytických techník, ktoré zaradia odoslanú vzorku do jednej zo štyroch kategórií: škodlivá, veľmi podozrivá, podozrivá alebo neškodná.

Tento prístup odzrkadľuje dôležitý princíp v oblasti kyberbezpečnosti: dôvera sa zvyšuje, keď sú výsledky overené viacerými metódami.

Porozumenie správaniu útočníkov

Najzložitejšie bezpečnostné problémy sa málokedy týkajú jediného upozornenia. Obrancovia často potrebujú pochopiť, ako do seba zapadajú desiatky, stovky či dokonca tisíce udalostí.

Tu sa stáva cennou behaviorálna analýza, keďže umelá inteligencia dokáže identifikovať rôzne vzory. Tie môžu naznačovať zneužitie prihlasovacích údajov, laterálny pohyb, eskaláciu oprávnení, aktivitu ransomvéru alebo iné formy škodlivého správania. Porozumenie správaniu útočníkov je preto kľúčovou schopnosťou, ktorá zvyšuje odolnosť organizácií.

Stanovovanie priorít pri vyšetrovaní

Nie je prekvapujúce, že bezpečnostné tímy často zápasia s únavou z výstrah. Výzvou je rozhodnúť, čo má prednosť, pretože to môže ovplyvniť vašu prevádzkovú schopnosť a kontinuitu podnikania.

Napríklad riešenie ESET LiveCortex bolo navrhnuté práve na riešenie tohto problému. Spracováva veľké množstvo udalostí špecifických pre daného zákazníka, obohacuje ich o kontext, identifikuje významné súvislosti a pomáha odlíšiť dôležité signály od rušivého šumu. Jeho účelom je pomôcť bezpečnostným špecialistom pochopiť, kam by mali sústrediť svoj čas a pozornosť, a zároveň urýchliť reakciu na incidenty, kde minúty môžu znamenať rozdiel medzi narušením bezpečnosti a úspešnou obranou systému.

Pomoc analytikom pri rýchlejšej práci

Efektívne stanovovanie priorít šetrí cenný čas analytikov a znižuje náročnosť vyšetrovania rutinných upozornení. Vyšetrovanie v rýchlosti stroja je jednou z nových úrovní podpory pre bezpečnostné tímy, ktorú priniesla generatívna umelá inteligencia.

ESET LiveAI kombinuje veľké jazykové modely s špeciálne spracovanými informáciami o hrozbách a technikami generovania doplnenými o vyhľadávanie. Môže pomáhať pri vysvetľovaní incidentov, podporovať vyšetrovanie, generovať správy, odpovedať na technické otázky a odporúčať možné nápravné kroky. S cieľom zvýšiť spoľahlivosť funguje v rámci stanovených hraníc a odvoláva sa na podporné informácie, namiesto toho, aby fungoval ako neobmedzený chatbot.

Najzaujímavejším aspektom nie je samotná automatizácia, ale skutočná hodnota spočívajúca v znížení času, ktorý analytici venujú prekladu technických zistení do podoby informácií, ktorým ľudia rozumejú a na základe ktorých môžu konať.

Ako útočníci využívajú umelú inteligenciu pri kybernetických útokoch

S umelou inteligenciou experimentujú tak útočníci, ako aj obrancovia, a obidve strany sa snažia dosiahnuť mnohé z tých istých hlavných výhod: rýchlosť, rozsah a efektívnosť.

Skutočnosťou je, že vo väčšine prípadov umelá inteligencia nevytvára úplne nové formy kyberkriminality. Namiesto toho uľahčuje vykonávanie známych útokov a sťažuje ich odlíšenie od legitímnej činnosti.

Najčastejšími príčinami skutočných incidentov naďalej zostávajú phishingové kampane, neopravené zraniteľnosti, nedostatočné monitorovanie bezpečnosti a slabé heslá. To zdôrazňuje dôležitosť zachovania silných základov kyberbezpečnosti pri súčasnej príprave na vznikajúce riziká súvisiace s umelou inteligenciou.

Phishing

Po celé roky sa obrancovia spoliehali na gramatické chyby, nezvyčajné formulácie a kostrbaté vyjadrovanie ako varovné signály. Moderná generatívna umelá inteligencia dokáže za pár sekúnd vytvoriť presvedčivé správy, čím sa mnohé z týchto zreteľných indikátorov stierajú. Rovnaký vzor sa objavuje aj v iných oblastiach. Umelá inteligencia v súčasnosti skôr zvyšuje škálovateľnosť a presvedčivosť phishingových kampaní, než aby zásadným spôsobom menila preferované metódy útočníkov na získanie počiatočného prístupu.

Útočníci tiež hľadajú spôsoby, ako zdokonaliť vývoj škodlivého softvéru. Kampane sociálneho inžinierstva je možné efektívnejšie prispôsobiť jednotlivým cieľom a podvodné operácie dokážu generovať obsah v takom objeme, ktorý by ešte pred pár rokmi vyžadoval značné ľudské úsilie.

Okrem toho sa na podporu pokusov o vydávanie sa za inú osobu a manipuláciu využívajú deepfake audio a video. Výskumníci sa tiež zaoberajú tým, ako možno umelú inteligenciu využiť na odhaľovanie zraniteľností, čo je schopnosť, z ktorej by mohli profitovať tak obrancovia, ako aj útočníci.

Personalizácia

Ďalšou obavou je personalizácia. Systémy umelej inteligencie dokážu spracovávať veľké množstvá verejne dostupných informácií a pomáhať zločincom identifikovať zraniteľné osoby, verbovať účastníkov do zločineckých sietí alebo vytvárať podvody prispôsobené konkrétnym okolnostiam.

Malé modely s otvoreným zdrojovým kódom, vytrénované na ukradnutých údajoch, môžu tieto aktivity v konečnom dôsledku ešte zefektívniť. Obrancovia by však nemali strácať zo zreteľa základy: identifikácia podozrivého správania, škodlivej infraštruktúry, podvodných domén, škodlivých súborov a ďalších indikátorov kompromitácie je často dôležitejšia než vnímanie každej výzvy ako súboja umelej inteligencie proti umelej inteligencii.

Výhody umelej inteligencie v oblasti kyberbezpečnosti

Keďže sme si už objasnili výhody pre útočníkov, pozrime sa teraz na to, aké výhody prináša umelá inteligencia ochrancom:

• Rýchlosť: Veľká časť nadšenia okolo umelej inteligencie pramení skôr z praktických prevádzkových vylepšení než z prelomových objavov. Ako už bolo spomenuté vyššie, jednou z výhod je rýchlosť. Umelá inteligencia môže pomôcť analytikom rýchlejšie spracovať veľké množstvo výstrah, čím sa skráti čas potrebný na určenie, ktoré incidenty si zaslúžia ďalšie vyšetrovanie.
• Rozsah: Rovnako dôležitý je aj rozsah. Bezpečnostné tímy čelia rastúcej priepasti medzi počtom udalostí generovaných modernými prostrediami a počtom ľudí, ktorí sú k dispozícii na ich preskúmanie. Umelá inteligencia pomáha túto priepasť zmenšovať.
• Kontext: Ďalšia výhoda vyplýva z kontextu. Namiesto prezentovania izolovaných výstrah môžu systémy umelej inteligencie obohatiť zistenia o dodatočné informácie a zdôrazniť vzťahy, ktoré by inak mohli zostať skryté.
• Konzistentnosť: Dôležitá je aj konzistentnosť, keďže ľudskí analytici sa unavia a nie sú schopní pracovať plynule v takom tempe ako automatizované systémy. Systémy umelej inteligencie dokážu vyhodnocovať veľké súbory údajov konzistentne a vo veľkom meradle bez únavy, ktorá ovplyvňuje ľudských analytikov.
• Znížená repetitívnosť: Snáď najdôležitejšie je, že umelá inteligencia pomáha bezpečnostným odborníkom venovať menej času opakujúcej sa práci. Keď rutinná analýza vyžaduje menej manuálnych krokov, bezpečnostní špecialisti môžu venovať viac energie vyhľadávaniu hrozieb, reakcii na incidenty, riadeniu rizík a strategickým projektom.

Organizácie čoraz častejšie vnímajú tieto zvýšenia efektívnosti ako strategické výhody. Malé a stredné firmy považujú rýchlejšie zmierňovanie útokov a predvídanie hrozieb za jedny z najcennejších aplikácií umelej inteligencie v oblasti kyberbezpečnosti. Všetky tieto výhody sú významné, žiadna z nich však nezaručuje konkrétne výsledky ani nevylučuje potrebu odborných znalostí. Umožňujú len efektívnejšie využitie týchto odborných znalostí.

Riziká a obmedzenia umelej inteligencie v oblasti kyberbezpečnosti

Hoci je dôležité zameriavať sa na výhody umelej inteligencie, rovnako dôležité je pochopiť aj jej obmedzenia. Hlavná myšlienka je jednoduchá: umelá inteligencia môže pomôcť bezpečnostným tímom pracovať rýchlejšie, stále však vyžaduje dohľad, overovanie a jasné hranice.

Falošné poplachy, falošné negatívy a posun modelu

Začnime jedným z najznámejších obmedzení: falošnými poplachmi a falošnými negatívami. Žiaden model umelej inteligencie nikdy nebude 100 % presný, čo znamená, že do určitej miery budú vždy existovať určité chyby.

Falošné poplachy môžu nesprávne identifikovať bežnú aktivitu ako škodlivú, čím vzniká zbytočná práca pre analytikov. Falošné negatívy spôsobujú opačný problém, keďže umožňujú, aby bola nebezpečná aktivita úplne prehliadnutá. Cieľom je preto navrhnúť bezpečnostné systémy, ktoré zvládajú obidva problémy prostredníctvom overovania, ľudského dohľadu a dodatočných ochranných vrstiev.

Dôležité sú aj trénovacie dáta. Modely trénované na neúplných, skreslených alebo neaktuálnych informáciách budú produkovať slabšie výsledky, čím sa zvýši vystavenie organizácie hrozbám. Výkonnosť sa môže časom znížiť aj v dôsledku posunu modelu, keďže sa menia prostredia kyberbezpečnosti, správanie útočníkov a legitímna obchodná činnosť. Model, ktorý je dnes účinný, môže byť zajtra menej účinný, ak sa pravidelne neaktualizuje a neoveruje voči aktuálnym hrozbám.

Manipulácia, transparentnosť a ochrana údajov

Ďalšou výzvou je manipulácia. Útočníci aktívne skúmajú systémy umelej inteligencie a hľadajú príležitosti na zneužitie slabín v ich správaní, čo môže oslabiť presnosť detekcie a znížiť celkovú účinnosť obrany.

Transparentnosť tiež zostáva trvalým problémom. Organizácie musia rozumieť tomu, ako sa dospelo k dôležitým záverom, najmä keď odporúčania ovplyvňujú vyšetrovania alebo rozhodnutia o nápravných opatreniach. Ďalším rizikom je nedostatočná ochrana údajov: citlivé informácie môžu byť vystavené riziku, ak organizácie nezavedú jasné zásady upravujúce používanie umelej inteligencie.

Riziká spojené s nákladmi a riadením

Ďalším praktickým obmedzením sú náklady. Prevádzka autonómnych agentov umelej inteligencie môže byť nákladná, pretože každá úloha môže vyvolať opakované požiadavky modelov, používanie nástrojov a vykonávanie pracovných postupov. Útočníci sa tiež môžu pokúsiť vyčerpať tieto systémy tým, že im zadajú nemožné alebo nekonečné úlohy, čím vytvoria scenár „denial-of-wallet“, v ktorom majiteľ čelí zbytočným prevádzkovým nákladom.

Organizácie preto potrebujú riadenie, dohľad a prehľad, aby mohli ťažiť z výhod umelej inteligencie bez zbytočného vystavenia kybernetickým hrozbám.

Otrávenie dát: rastúci problém

Okrem vyššie uvedeného je veľkým problémom aj otrávenie dát. K nemu dochádza, keď útočníci zámerne manipulujú s informáciami používanými na trénovanie modelov umelej inteligencie s cieľom ovplyvniť správanie modelu.

Ak sa otrávené dáta dostanú do procesu trénovania, model sa môže naučiť nesprávne vzťahy, stať sa menej spoľahlivým alebo generovať zavádzajúce výstupy. V extrémnych prípadoch by sa útočníci mohli pokúsiť ovplyvniť správanie modelu spôsobom, ktorý by slúžil ich cieľom.

To je jeden z dôvodov, prečo dodávatelia bezpečnostných riešení kladú veľký dôraz na kvalitu údajov, ich overovanie a nepretržité monitorovanie. Dôveryhodná umelá inteligencia závisí od dôveryhodných vstupných údajov. Tento princíp je základom akejkoľvek účinnej bezpečnostnej stratégie v oblasti umelej inteligencie.

Širšie ponaučenie však presahuje rámec otravovania údajov. Organizácie by nemali považovať umelú inteligenciu za neomylnú „čiernu skrinku“, pretože silné programy kyberbezpečnosti sa opierajú o overovanie, transparentnosť a krížovú kontrolu. Tieto princípy pomáhajú znižovať riziko bez ohľadu na to, aká technológia umelej inteligencie sa používa.

Prečo sú ľudské odborné znalosti stále dôležité

Užitočné je vnímať umelú inteligenciu ako veľmi inteligentného, ale doslovne uvažujúceho asistenta. Považovať umelú inteligenciu za náhradu za človeka pri rozhodovaní je zriedka prospešné.

Ako už bolo niekoľkokrát spomenuté, umelá inteligencia dokáže spracovať viac údajov než akýkoľvek analytik. Tak jednoducho fungujú pokročilé výpočtové kapacity. Dokáže rozpoznávať vzory v obrovských súboroch údajov, ako aj odhaľovať incidenty, ktoré si zaslúžia pozornosť. To, čo presahuje schopnosti stroja, je pochopenie obchodných priorít, prevádzkových obmedzení, tolerancie voči riziku a organizačného kontextu.

Pracovníci v oblasti bezpečnosti musia vyvažovať konkurenčné priority. Dôkladné vyšetrovanie znamená, že je potrebné zohľadniť zámer, kontext a dopad. To je oveľa ťažšie, keď si uvedomíme, že pracovníci reagujúci na incidenty sa pravidelne stretávajú so situáciami, ktoré nespadajú do rámca vopred definovaných pravidiel. Tieto činnosti závisia od ľudského úsudku a ľudia sú stále oveľa lepší v hodnotení a rozhodovaní o tom, čo je pre danú organizáciu najlepšie.

Filozofia, podľa ktorej najsilnejšie stratégie kyberbezpečnosti využívajú umelú inteligenciu na podporu odborníkov, sa prejavuje v celom spektre moderných bezpečnostných operácií. Preto nie je prekvapujúce, že budúcnosť kyberbezpečnosti nespočíva v súboji ľudských odborných znalostí proti umelej inteligencii, ale v ľudských odborných znalostiach posilnených umelou inteligenciou.

Prečo je bezpečnosť umelej inteligencie dôležitá

Keď organizácie vo veľkom rozsahu zavádzajú umelú inteligenciu, musia myslieť na jej bezpečnosť vo viacerých smeroch.

Tieňová umelá inteligencia

Mnohé organizácie sa už teraz potýkajú s javom, ktorý sa bežne označuje ako „tieňová umelá inteligencia – shadow AI“. Ide o situáciu, keď zamestnanci používajú neautorizované nástroje mimo stanovených riadiacich procesov. To so sebou prináša väčšie riziká, pretože nástroje umelej inteligencie môžu spracovávať citlivé údaje, učiť sa na základe užívateľských vstupov a generovať výstupy, ktoré je ťažké predvídať alebo overiť.

Pre spoločnosti to môže znamenať náhodné odhalenie dôverných informácií, problémy súvisiace s nariadením GDPR a ochranou súkromia, únik duševného vlastníctva, nespoľahlivé procesy alebo kód a postupné znižovanie ľudskej zodpovednosti, keď sa zamestnanci príliš spoliehajú na výsledky generované umelou inteligenciou.

Mnohé firmy ešte stále pritom nemajú zavedenú politiku obmedzujúcu používanie aplikácií umelej inteligencie mimo schválených procesov alebo platforiem. Keďže zamestnanci čoraz viac využívajú nástroje umelej inteligencie vo svojej každodennej práci, absencia jasných pravidiel zvyšuje riziko „tieňovej umelej inteligencie“, úniku údajov a problémov s dodržiavaním predpisov.

Únik údajov

Ďalším problémom je únik výstupov. Hoci sa tento výraz často používa na opis situácie, keď útočníci podvodom prinútia umelú inteligenciu prezradiť svoje vnútorné systémové pokyny, často sa používa aj na opis úniku údajov z umelej inteligencie, keď zamestnanci neúmyselne vložia citlivé firemné údaje do externých, verejne dostupných spotrebiteľských modelov.

Citlivé informácie zadané do systémov umelej inteligencie môžu byť vystavené subjektom, ktoré by k nim nikdy nemali mať prístup. Najznámejší príklad z praxe sa vyskytol, keď inžinieri v divízii polovodičov spoločnosti Samsung použili ChatGPT na optimalizáciu svojich pracovných postupov, čo spočiatku viedlo k vnútropodnikovému zákazu tejto služby a následne k tomu, že spoločnosť vyvinula vlastného chatbota, aby zabránila podobným incidentom.

Rastúca zložitosť

Nárast počtu agentov umelej inteligencie prináša ďalšiu výzvu. Tieto systémy sa čoraz viac spoliehajú na stiahnuteľné zručnosti (skilly), externé integrácie, repozitáre tretích strán a autonómne pracovné postupy. Prechod od chatbotov založených na otázkach a odpovediach k autonómnym agentom umelej inteligencie mení charakter rizík z problému úniku údajov na problém vykonávania a kontroly.

Zatiaľ čo chatboty iba spracúvajú text, agenti disponujú schopnosťou konať: schopnosťou plánovať, rozhodovať sa, používať nástroje a vykonávať akcie v rámci firemných sietí, čím rozširujú útočnú plochu.

Nástroj AI Skills Checker spoločnosti ESET bol vyvinutý s cieľom riešiť toto vznikajúce riziko. Táto technológia analyzuje zručnosti pred ich vykonaním, hodnotí ich správanie, skúma užitočné dáta a externé zdroje a opakuje hodnotenia vždy, keď sa skilly zmenia. Toto opakované overovanie je dôležité, pretože skill, ktorý sa dnes javí ako neškodný, sa po aktualizácii môže správať úplne inak.

V rámci prebiehajúceho výskumu ESET analyzoval približne 1,1 milióna skillov a identifikovala tisíce takých, ktoré si vyžadovali ďalšie vyšetrovanie, vrátane mnohých považovaných za podozrivé alebo škodlivé.

Správa a dohľad

Tieto zistenia potvrdzujú dôležitú skutočnosť: organizácie musia zabezpečiť prostredia umelej inteligencie v podstate rovnakým spôsobom, ako zabezpečujú koncové zariadenia, siete, cloudové workloady a identity. Faktom je, že umelá inteligencia sa stala infraštruktúrnou vrstvou s oprávneniami na vykonávanie úloh, a práve preto sú správa, dohľad a prehľadnosť mimoriadne dôležité.

Správa poskytuje pravidlá, zásady a právne rámce, ktoré určujú, ako sa umelá inteligencia môže vytvárať, nakupovať a využívať v rámci organizácie. Dohľad premosťuje priepasť medzi surovými technickými údajmi a ľudskou zodpovednosťou. Zabezpečuje, že aj keď sa systémy umelej inteligencie stávajú nezávislejšími, zostávajú ukotvené v rámci bezpečnostných hraníc spoločnosti. Nedostatok prehľadu znamená nedostatok kontroly a v prípade umelej inteligencie sa toto riziko znásobuje, keďže prevádzka umelej inteligencie napodobňuje bežné správanie na webe a v rozhraniach API.

Viditeľnosť umelej inteligencie

V dôsledku vyššie uvedeného sa v reakcii objavujú koncepty viditeľnosti umelej inteligencie a riadiacej roviny. Organizácie chcú pochopiť, kde sa umelá inteligencia používa, ktoré systémy majú prístup k citlivým údajom a či sú tieto interakcie v súlade s internými politikami.

Zatiaľ čo sa viditeľnosť umelej inteligencie zameriava konkrétne na identifikáciu a monitorovanie jej využívania, organizácie by mali preskúmať aj funkcie založené na agentovi, ktoré dokážu posúdiť širšie sieťové prostredie a odhaliť aj skryté alebo ťažko zistiteľné aktíva.

Na riešenie týchto narastajúcich výziev platforma ESET PROTECT umožňuje viditeľnosť umelej inteligencie a bude ďalej rozšírená o funkciu vyhľadávania aktív poháňanú umelou inteligenciou.

Ako hodnotiť riešenia v oblasti kyberbezpečnosti založené na umelej inteligencii

Trh s umelou inteligenciou je zaplavený ambicióznymi tvrdeniami. Kým niektoré sú dôveryhodné, iné sa ťažko overujú. Organizácie, ktoré hodnotia bezpečnostné technológie založené na umelej inteligencii, by mali začať jednoduchou otázkou: kde presne sa umelá inteligencia využíva? Odpoveď by mala byť čo najkonkrétnejšia.

Účinný rámec hodnotenia by mal zahŕňať nasledujúce prvky:

• Požiadajte dodávateľov, aby vysvetlili, čo ich komponent umelej inteligencie robí, ako sa overujú výstupy a ako táto technológia prispieva k merateľným výsledkom.
• Zistite si viac o tom, ako sa riešia halucinácie, či je možné výsledky spätne priradiť k podporným dôkazom a do akej miery je súčasťou pracovného toku ľudský dohľad.
• Uistite sa, že rozumiete tomu, aké informácie sa zbierajú, kde sa spracúvajú a ako sa zabezpečuje ochrana súkromia.
• Zvážte prevádzkovú kompatibilitu, pretože aj pôsobivá schopnosť umelej inteligencie má obmedzenú hodnotu, ak narúša existujúce pracovné postupy bezpečnostného operačného centra (SOC) alebo vytvára dodatočnú zložitosť.
• Overte, ako riešenie riadi autonómne pracovné postupy, spracováva doplnkové funkcie tretích strán a obmedzuje prístup na zápis do API, aby sa zabránilo neoprávneným sieťovým akciám.
• Overte, ako dodávatelia chránia svoje nástroje pred priamymi alebo nepriamymi injektážami príkazov, úmyselným znehodnocovaním údajov a pokusmi o exfiltráciu systémových príkazov.
• Overte, aký je základný model – či je úplne prispôsobený a vo vlastníctve dodávateľa, alebo či závisí od modelov tretích strán či otvorených, ktoré môžu priniesť nežiaduce právne, prevádzkové alebo bezpečnostné závislosti. Zistite tiež, ako často sa model aktualizuje, ako sa overujú závislosti na otvorenom zdrojovom kóde a rámce orchestrácie a či zmeny prinášajú novú logiku alebo riziká v oblasti súladu s predpismi.
• Zabezpečte, aby riešenie viedlo trvalý, proti manipulácii zabezpečený záznam všetkých interakcií typu „výzva a odpoveď“, čo bezpečnostným tímom umožní rekonštruovať udalosti počas forenzného vyšetrovania narušenia bezpečnosti.

Všeobecne povedané, transparentnosť by mala prevážiť nad mediálnym humbukom a dôkazy by mali prevážiť nad sľubmi. A každý dodávateľ, ktorý prezentuje umelú inteligenciu ako plne autonómnu náhradu za bezpečnostných odborníkov, si zaslúži dôkladné preskúmanie.

Záver

Umelá inteligencia rýchlo mení oblasť kyberbezpečnosti, avšak nie tak, ako naznačujú mnohé titulky. Hoci pomáha obrancom odhaľovať hrozby, stanovovať priority pri vyšetrovaní a rýchlejšie reagovať, útočníci využívajú tú istú technológiu na rozšírenie phishingu, sociálneho inžinierstva a podvodov.

Najúčinnejšie bezpečnostné stratégie sa zameriavajú na obe tieto skutočnosti: využívajú silné stránky umelej inteligencie a zároveň riešia jej riziká prostredníctvom riadenia, prehľadnosti a ľudského dohľadu. Umelá inteligencia v konečnom dôsledku nenahrádza odborníkov v oblasti kyberbezpečnosti. Je to prostriedok na znásobenie sily, ktorý pomáha kvalifikovaným tímom prijímať rýchlejšie a lepšie informované rozhodnutia, pričom zachováva silné bezpečnostné základy, ktoré naďalej zastavujú väčšinu útokov.

Často kladené otázky: Umelá inteligencia v kyberbezpečnosti

Čo predstavuje umelá inteligencia v kyberbezpečnosti?

Umelá inteligencia v kyberbezpečnosti označuje využívanie strojového učenia a súvisiacich technológií, ktoré pomáhajú bezpečnostným tímom odhaľovať hrozby, analyzovať správanie, stanovovať priority výstrah a zefektívňovať vyšetrovanie.

Aké sú príklady využitia umelej inteligencie v kyberbezpečnosti?

Medzi bežné príklady patrí detekcia hrozieb s podporou umelej inteligencie, analýza škodlivého softvéru, stanovovanie priorít výstrah, analýza správania a podpora vyšetrovania. V portfóliu spoločnosti ESET sú to napríklad riešenia ESET DNA Detections, ESET LiveGuard Advanced, ESET LiveCortex a ESET LiveAI.

Ako útočníci využívajú umelú inteligenciu?

Útočníci využívajú umelú inteligenciu na to, aby boli ich phishingové a podvodné kampane presvedčivejšie a škálovateľnejšie. V mnohých prípadoch umelá inteligencia nevytvára úplne nové útoky, ale robí tie známe rýchlejšími a ťažšie odhaliteľnými.

Aké sú výhody umelej inteligencie v oblasti kyberbezpečnosti?

Umelá inteligencia môže bezpečnostným tímom pomôcť spracovávať veľké objemy údajov, znížiť množstvo opakujúcej sa práce, stanoviť priority pri vyšetrovaní, poskytnúť kontext k výstrahám a dať analytikom viac času na to, aby sa mohli sústrediť na dôležitejšie bezpečnostné rozhodnutia.

Aké sú riziká umelej inteligencie v oblasti kyberbezpečnosti?

Medzi riziká patria nepresné výstupy, nekvalitné trénovacie údaje, odchýlky modelu, útočné manipulácie, obmedzená transparentnosť, otrávenie údajov, odhalenie citlivých údajov a nadmerné spoliehanie sa na automatizáciu bez ľudského dohľadu.

Môže umelá inteligencia nahradiť odborníkov v oblasti kyberbezpečnosti?

Nie. Umelá inteligencia môže pomôcť obrancom pracovať rýchlejšie a efektívnejšie, ale kyberbezpečnosť stále závisí od ľudského úsudku, obchodného kontextu, zodpovednosti a rozhodovania.

Aký je rozdiel medzi kyberbezpečnosťou s využitím umelej inteligencie a bezpečnosťou umelej inteligencie?

Kyberbezpečnosť s využitím umelej inteligencie zvyčajne znamená použitie umelej inteligencie na zlepšenie detekcie hrozieb a bezpečnostných operácií. Bezpečnosť umelej inteligencie znamená ochranu samotných systémov umelej inteligencie, vrátane modelov, výziev, agentov, integrácií, údajov a interakcií s používateľmi.