Varovania pred umelou inteligenciou, ktorá sa vymkne spod kontroly, už neprichádzajú iba zo sci-fi príbehov. Ozývajú sa aj ľudia, ktorí najpokročilejšie modely vyvíjajú a testujú. Namiesto odhadovania dátumu možnej apokalypsy by sme sa však mali sústrediť najmä na to, aké právomoci a prístupy dávame AI systémom už dnes.
Predstava, že ľudstvo jedného dňa vyhubí technológia, ktorú samo vytvorilo, patrí k najtrvácnejším motívom sci-fi. V posledných rokoch sa však táto téma presunula z filmových scenárov do laboratórií, technologických firiem a čoraz častejšie aj do serióznej verejnej diskusie.
Najnovšie ju otvorili vyjadrenia výskumníkov spoločnosti Anthropic. Evan Hubinger, ktorý sa venuje zosúladeniu umelej inteligencie s ľudskými zámermi, uviedol, že podľa jeho osobného odhadu existuje viac než desaťpercentná pravdepodobnosť, že pokročilá AI môže v priebehu nasledujúceho desaťročia viesť k vyhubeniu ľudstva. Zároveň zdôraznil, že dnešné modely podľa neho predstavujú nízke riziko. Obáva sa predovšetkým budúcich systémov schopných opakovane zlepšovať vlastné schopnosti bez toho, aby ľudia dokázali spoľahlivo kontrolovať ich ciele a správanie.
Diskusiu ešte vystupňoval odchod výskumníka Jacoba Coxona zo spoločnosti Anthropic. Coxon, ktorý predtým pôsobil aj v OpenAI, obvinil obe firmy z nezodpovedných pretekov smerom k samostatne sa zlepšujúcej superinteligencii. Jeho obavy následne podporili aj ďalší odborníci pracujúci na bezpečnosti AI, pričom viacerí začali verejne hovoriť o potrebe spomaliť vývoj až do vytvorenia spoločných bezpečnostných štandardov.
Generálny riaditeľ spoločnosti OpenAI Sam Altman oznámil, že spoločnosť zvažuje spomalenie vývoja najpokročilejších modelov AI s tým, že dúfa, že konkurenti urobia to isté. OpenAI vraj usiluje o koordináciu s ďalšími firmami z odboru, ale niektoré z nich nemusia s návrhom súhlasiť.
Desať percent nie je vedecká predpoveď
Číslo desať percent znie dramaticky. Treba však povedať, že nejde o pravdepodobnosť vypočítanú zo súboru historických údajov ani o výsledok experimentu, ktorý by bolo možné nezávisle zopakovať. Je to odborný, ale stále subjektívny odhad človeka, ktorý sa skúmaniu bezpečnosti pokročilej AI venuje profesionálne.
To neznamená, že ho môžeme ignorovať. Ak odborník pracujúci priamo s najvýkonnejšími systémami vníma nezanedbateľné riziko katastrofického scenára, zaslúži si to pozornosť. Zároveň však nie je dôvod správať sa, akoby bol zánik ľudstva do desiatich rokov potvrdeným alebo dokonca najpravdepodobnejším vývojom.
Apokalyptické titulky navyše vytvárajú zvláštny paradox. Môžu zvýšiť záujem verejnosti o bezpečnosť AI, ale zároveň prekryť riziká, ktoré sú menej filmové, zato omnoho konkrétnejšie a prítomné už dnes.
Kým čakáme na superinteligenciu, útočníci používajú AI už teraz
Umelá inteligencia nemusí získať vlastné vedomie ani sa rozhodnúť zničiť ľudstvo, aby spôsobila veľké škody. Stačí, ak sa stane dostupným nástrojom v rukách kybernetických útočníkov alebo ak jej organizácie poskytnú priveľké oprávnenia bez dostatočnej kontroly.
AI už dnes dokáže urýchľovať vyhľadávanie zraniteľností, automatizovať časť prípravy útokov, vytvárať presvedčivejšie podvodné správy a vo väčšom rozsahu prispôsobovať sociálne inžinierstvo konkrétnym obetiam. S postupným rozširovaním AI agentov pribúda aj ďalší problém: systémy už iba neodpovedajú na otázky, ale môžu samostatne vykonávať úlohy, používať nástroje, komunikovať s ďalšími službami a pracovať s citlivými informáciami. Odborná diskusia preto čoraz viac upozorňuje na riziko prístupu AI ku kritickej infraštruktúre, finančným službám, komunikačným systémom či interným firemným dátam.
Práve tu sa podľa globálneho poradcu spoločnosti ESET pre kybernetickú bezpečnosť Jakea Moora stretávajú dlhodobé filozofické otázky s praktickou bezpečnosťou.
„Väčšina spoločností by pravdepodobne neuviedla na trh produkt alebo službu, ak by existovalo čo i len jednopercentné riziko vyhubenia ľudstva. Pri AI sa však zdá, že platia iné pravidlá a zverejňované odhady sa výrazne líšia,“ hovorí Moore.
Podľa neho je zásadným problémom neistota. Ani ľudia, ktorí sú k týmto systémom najbližšie, nedokážu s istotou povedať, kam povedie vývoj čoraz autonómnejšej a potenciálne samostatne sa zlepšujúcej AI. O to dôležitejšie je oddeliť hypotetické dlhodobé scenáre od rizík, ktoré dokážeme identifikovať a obmedzovať už dnes.
Zostaňte v obraze
a o krok pred útočníkmi.
Prihláste sa na odber nášho newslettra a každý mesiac získajte prehľad o aktuálnych hrozbách aj praktické rady, ako chrániť firmu.
Najskôr bezpečnostné pravidlá, potom kľúče od firmy
Ak AI agentovi umožníme pristupovať k firemnému e-mailu, cloudovým úložiskám, zákazníckym údajom, účtovníctvu alebo platobným systémom, nevytvárame iba nový nástroj produktivity. Vytvárame novú digitálnu identitu, ktorá môže konať v mene človeka alebo organizácie.
Takýto agent nemusí mať zlý úmysel. Škodu môže spôsobiť aj preto, že nesprávne pochopí zadanie, prijme podvodný pokyn, stane sa obeťou manipulácie alebo použije oprávnenia spôsobom, ktorý jeho tvorcovia nepredvídali. Čím viac samostatnosti systému poskytneme, tým dôležitejšie je obmedziť rozsah jeho prístupu, monitorovať jeho konanie a zachovať možnosť zásahu človeka.
„Namiesto toho, aby sme sa sústredili iba na dlhodobé obavy, mali by sme riešiť potenciálne nebezpečenstvá v kratšom horizonte, ktoré sú omnoho ľahšie viditeľné,“ upozorňuje Moore. „Ešte stále máme príležitosť obmedziť prístup čoraz schopnejších AI agentov k počítačom, finančným údajom a komunikácii.“
V praxi to znamená uplatňovať princíp najnižších potrebných oprávnení, oddeľovať kritické systémy, vyžadovať ľudské schválenie citlivých operácií, dôsledne zaznamenávať aktivity agentov a testovať ich správanie aj v neštandardných situáciách. AI agent by nemal automaticky dostať všetky oprávnenia používateľa, ktorému pomáha. Prístup k údajom alebo možnosť vykonať nezvratnú operáciu by mali byť udeľované iba vtedy, keď sú skutočne potrebné.
Ani panika, ani slepý optimizmus
Umelá inteligencia môže priniesť významné spoločenské a ekonomické výhody. Môže pomáhať aj pri ochrane digitálneho sveta, napríklad zrýchlením analýzy veľkého množstva bezpečnostných údajov alebo podporou expertov pri odhaľovaní podozrivého správania. Rovnaké schopnosti však môžu využiť aj útočníci a nesprávne nasadený autonómny systém môže vytvoriť úplne nový typ rizika.
Rozumnou odpoveďou preto nie je zákaz AI ani ignorovanie varovaní. Je ňou zodpovedný vývoj, realistické hodnotenie schopností systémov a bezpečnostné mechanizmy primerané tomu, čo im umožňujeme robiť.
Ako upozorňuje Jake Moore, v súčasnosti budujeme čoraz výkonnejšie a autonómnejšie systémy a zároveň len postupne zisťujeme, aké bezpečnostné pravidlá by ich mali obmedzovať. „Pravdepodobne by sme mali postupovať presne opačne,“ dodáva.
Otázka teda nemusí znieť iba: Vyhubí AI ľudstvo? Pre firmy, štátne inštitúcie aj bežných používateľov je dnes praktickejšia iná otázka: Akú moc sme pripravení AI odovzdať skôr, než budeme vedieť, ako ju bezpečne kontrolovať?
