AI agent od spoločnosti OpenAI počas testovania prenikol do austrálskeho vládneho portálu so zdravotnými údajmi. Nešlo pritom o úmyselný kybernetický útok. Systém sa snažil splniť zadanú úlohu a využil pritom zraniteľnosť, ktorú objavil. Prvý známy prípad svojho druhu upozorňuje na riziko, ktoré musia riešiť aj firmy nasadzujúce autonómne nástroje umelej inteligencie.
Austrálsky premiér Anthony Albanese informoval o incidente, pri ktorom AI agent spoločnosti OpenAI získal neoprávnený prístup k vládnemu portálu s údajmi systému Medicare. K udalosti došlo ešte v júni počas interného hodnotenia schopností umelej inteligencie.
Agent sa podľa dostupných informácií dostal k verejným aj neverejným súborom. Tie obsahovali zdravotnícke štatistické údaje a názvy interných súborov. Nič však zatiaľ nenasvedčuje tomu, že by boli odhalené osobné údaje občanov.
OpenAI incident označila za nezamýšľané správanie modelu počas testovania. Odhalený mal byť pri širšom preverovaní bezpečnostných incidentov súvisiacich s AI agentmi.
Čo je AI agent?
AI agent je softvér využívajúci umelú inteligenciu, ktorý dokáže samostatne plánovať kroky, používať dostupné nástroje a vykonávať úlohy. Na rozdiel od bežného chatbota teda iba neodpovedá na otázky, ale môže aktívne pracovať so súbormi, aplikáciami či online službami.
Kritiku však vyvolal nielen samotný neoprávnený prístup, ale aj spôsob, akým sa o ňom austrálske úrady dozvedeli. Spoločnosť ich mala upozorniť až o niekoľko mesiacov neskôr, pričom oznámenie údajne odoslala na všeobecnú e-mailovú adresu určenú na nahlasovanie bezpečnostných problémov.
Ide o jeden z prvých verejne známych prípadov, keď AI agent získal neoprávnený prístup k vládnemu systému. Incident tak prichádza v čase, keď vlády aj technologické spoločnosti čoraz naliehavejšie volajú po jasnejších pravidlách pre vývoj umelej inteligencie.
AI agent nemusí mať škodlivý úmysel, aby spôsobil problém
Incident poukazuje na zásadný rozdiel medzi bežným nástrojom umelej inteligencie a AI agentom. Kým chatbot prevažne odpovedá na otázky alebo pripravuje obsah, agent dokáže samostatne plánovať ďalšie kroky, používať externé nástroje, pracovať so súbormi a vykonávať konkrétne úlohy.
Práve táto samostatnosť môže priniesť výrazné zefektívnenie práce. Zároveň však vytvára nové bezpečnostné riziká. Ak AI agent pri plnení úlohy natrafí na nedostatočne zabezpečený systém, nemusí ho vnímať ako hranicu, ktorú nesmie prekročiť. Môže ho vyhodnotiť iba ako ďalšiu cestu k požadovanému výsledku.
„Stále častejšie vidíme, ako výkonní AI agenti voľne konajú v snahe splniť zadanú úlohu. Zároveň sú veľmi účinnými nástrojmi na vyhľadávanie zraniteľností. Ak teda objavia slabinu, ktorú môžu využiť na dokončenie úlohy, budú sa o to ďalej pokúšať,“ upozorňuje Jake Moore, bezpečnostný expert spoločnosti ESET.
Podľa neho je problémom najmä rýchlosť a nepredvídateľnosť rozhodovania autonómnych systémov.
„AI agenti sa dokážu rozhodovať rýchlosťou stroja. Ak nedostali výslovný pokyn, že niečo nesmú urobiť, môžu sa vydať práve touto cestou. Mnohé z takýchto postupov by človek prirodzene považoval za škodlivé. Algoritmus ich však nemusí vyhodnotiť rovnako, pokiaľ mu neboli jasne stanovené hranice,“ vysvetľuje Jake Moore.
Zostaňte v obraze
a o krok pred útočníkmi.
Prihláste sa na odber nášho newslettra a každý mesiac získajte prehľad o aktuálnych hrozbách aj praktické rady, ako chrániť firmu.
Keď sa z AI stane neúmyselný skener zraniteľností
Prípad z Austrálie ukazuje, že AI agent môže v praxi fungovať podobne ako automatizovaný skener zraniteľností. Rozdiel je v tom, že slabinu nielen identifikuje, ale môže ju aj okamžite využiť, ak mu to pomôže splniť úlohu.
Takéto správanie nemusí byť výsledkom zlého zadania ani snahy spôsobiť škodu. Agent môže postupovať presne podľa svojho hlavného cieľa, no zvoliť si spôsob, s ktorým jeho tvorcovia nepočítali.
Pre firmy to znamená, že samotné obmedzenie používateľských oprávnení nemusí stačiť. Ak má AI agent prístup k interným systémom, firemným dokumentom, e-mailom alebo externým službám, organizácia by mala kontrolovať aj to, aké operácie môže vykonávať a ku ktorým údajom sa môže dostať.
Dôležité je tiež počítať s tým, že AI agent môže kombinovať viacero zdanlivo neškodných krokov. Výsledkom môže byť prístup k údajom alebo vykonanie operácie, ktoré firma pôvodne nepredpokladala.
AI agenti potrebujú jasné hranice
Firmy by preto mali k nasadzovaniu AI agentov pristupovať podobne ako k pripájaniu nového používateľa alebo externého dodávateľa do svojej infraštruktúry. Každý agent by mal mať iba tie oprávnenia, ktoré nevyhnutne potrebuje na splnenie konkrétnej úlohy.
Základom bezpečného nasadenia je najmä:
- obmedziť prístup AI agenta iba na nevyhnutné systémy a údaje,
- oddeliť testovacie prostredie od reálnych dát a produkčných systémov,
- zaznamenávať a vyhodnocovať všetky kroky, ktoré agent vykonáva,
- vyžadovať schválenie človekom pri citlivých alebo nezvratných operáciách,
- pravidelne preverovať neštandardné správanie a možné spôsoby obchádzania stanovených pravidiel,
- vopred určiť proces hlásenia incidentov, ktorý zabezpečí, že sa informácia dostane k správnym ľuďom bez zbytočného odkladu.
Rovnako dôležité je jasne stanoviť, na aké účely sa AI agent vo firme môže používať. Nestačí mu povedať, aký výsledok má dosiahnuť. Potrebuje aj presné pravidlá určujúce, aké kroky pri tom nesmie vykonať.
Rýchlosť vývoja nesmie predbehnúť bezpečnosť
AI agenti môžu firmám priniesť výraznú úsporu času a automatizovať čoraz komplexnejšie úlohy. Čím samostatnejšie však dokážu konať, tým väčší význam má ich testovanie a priebežná kontrola.
„Tieto modely musíme neustále zlepšovať ešte predtým, ako ich necháme voľne pôsobiť na internete alebo im umožníme prístup k citlivým informáciám. Cesty, ktoré si zvolia, ani ich výsledky totiž nie je vždy možné predvídať,“ hovorí Jake Moore.
Podľa neho bývajú testovacie fázy v mnohých technologických oblastiach oveľa prísnejšie. Pri umelej inteligencii však môže bezpečnosť ustupovať konkurenčnému tlaku medzi spoločnosťami, ktoré sa snažia čo najrýchlejšie prinášať nové a výkonnejšie modely.
Austrálsky incident preto nie je iba upozornením pre vývojárov AI. Je relevantný aj pre firmy, ktoré chcú AI agentom sprístupniť svoje dokumenty, pracovné nástroje alebo interné systémy. Umelá inteligencia nemusí dostať škodlivé zadanie, aby spôsobila bezpečnostný incident. Stačí, ak má príliš široké oprávnenia, nedostatočne stanovené hranice a systém, ktorý jej umožní ísť ďalej, než bolo zamýšľané.
