Blog FISMA
AI agent ako nový „zamestnanec“. Má však správne nastavené oprávnenia?
AI agenti získavajú prístup k e-mailom, údajom aj firemným systémom. Aké bezpečnostné riziká prinášajú a čo by mala firma pri ich nasadzovaní kontrolovať?
Novému zamestnancovi by ste pravdepodobne nedali prístup ku všetkým e-mailom, zákazníckym údajom a firemným systémom bez toho, aby ste určili, čo môže robiť. Pri AI agentoch by malo platiť rovnaké pravidlo. Bezpečnostný výskum ukazuje, čo sa môže stať, keď AI dokáže nielen pracovať s informáciami, ale na ich základe aj samostatne konať.
Na tento problém upozornil aj nedávny bezpečnostný výskum spoločnosti Intigriti zameraný na AI agentov používaných v zákazníckej podpore. Výskumníci ukázali viacero spôsobov, ako možno nedostatočne zabezpečeného agenta zmanipulovať tak, aby pracoval s údajmi iného používateľa, vykonal neoprávnenú operáciu alebo sprístupnil citlivé informácie vrátane jednorazových overovacích kódov.
Nešlo pritom o jeden rozsiahly kybernetický incident ani o dôkaz, že všetci AI agenti majú rovnaké zraniteľnosti. Výskum však veľmi dobre ukazuje, aké riziká môžu vzniknúť prepojením umelej inteligencie s overovaním identity, elektronickou poštou, aplikačnou logikou a systémami, v ktorých má agent oprávnenie vykonávať konkrétne operácie.
Od chatbota k systému, ktorý môže konať
Pri klasickom AI asistentovi môže nesprávna odpoveď znamenať, že používateľ dostane nepresnú alebo zavádzajúcu informáciu. Ak však rovnakému systému umožníme meniť údaje zákazníkov, odosielať správy, pracovať s fakturačnými údajmi alebo vykonávať operácie prostredníctvom API, následky nesprávneho rozhodnutia môžu byť podstatne vážnejšie.
AI agent sa tým stáva súčasťou aplikačnej a bezpečnostnej architektúry organizácie. Už nestačí posudzovať iba kvalitu používaného modelu alebo správnosť jeho odpovedí. Dôležité je vedieť, ku ktorým údajom a systémom má prístup, aké operácie môže vykonávať, pod akou identitou vystupuje a ako systém overuje, či má na konkrétnu činnosť oprávnenie.
Tejto téme sme sa venovali aj v článku Shadow AI vo firme: ako začať s pravidlami používania AI, kde sa bližšie pozeráme na nekontrolované používanie AI nástrojov, prácu s firemnými údajmi a potrebu nastavenia pravidiel pre ich bezpečné používanie. Pri AI agentoch však vzniká ďalšia úroveň rizika: systém už informácie iba nespracúva, ale môže na ich základe aj konať.
S tým súvisí aj útok označovaný ako prompt injection. Útočník sa pri ňom snaží vhodne pripraveným vstupom ovplyvniť správanie AI systému a prinútiť ho, aby postupoval inak, než jeho tvorca zamýšľal. Nebezpečný pokyn pritom nemusí byť zadaný priamo do chatovacieho okna. Môže sa nachádzať v e-maile, dokumente, na webovej stránke alebo v inom obsahu, ktorý AI agent spracúva.
Samotný prompt injection však ešte neurčuje závažnosť následkov. Rozhodujúce je najmä to, čo môže agent po úspešnej manipulácii skutočne urobiť. Agent, ktorý dokáže iba vyhľadať verejne dostupné informácie, predstavuje iné riziko ako agent s možnosťou meniť používateľské účty, čítať citlivé správy alebo odosielať údaje mimo organizácie.
OWASP tento širší problém opisuje aj pojmom Excessive Agency. Ide o situáciu, keď má AI systém viac funkcií, oprávnení alebo samostatnosti, než skutočne potrebuje na plnenie svojej úlohy. Práve spojenie manipulovateľného vstupu a rozsiahlych oprávnení môže z relatívne jednoduchej chyby vytvoriť závažný bezpečnostný problém.
Čo ukázal bezpečnostný výskum
Výskumníci Intigriti sa zamerali najmä na AI agentov zákazníckej podpory, ktorí komunikujú prostredníctvom elektronickej pošty a zároveň majú prístup k ďalším funkciám firemných systémov.
Jedným zo skúmaných problémov bolo overovanie identity odosielateľa. E-mail obsahuje viacero údajov o odosielateľovi a jednotlivé časti informačného systému ich nemusia vždy vyhodnocovať rovnakým spôsobom. Výskumníci demonštrovali situácie, pri ktorých bolo možné tento rozdiel využiť tak, že jedna časť systému považovala správu za legitímnu, zatiaľ čo AI agent následne pracoval s účtom iného používateľa.
Tento problém presahuje samotnú umelú inteligenciu. O tom, či používateľ smie pristupovať ku konkrétnemu účtu alebo vykonať citlivú operáciu, by nemal rozhodovať jazykový model na základe textu, ktorý dostal na spracovanie. Identitu používateľa aj jeho oprávnenia musí nezávisle overovať samotná aplikácia.
Výskum upozornil aj na možné problémy pri viacfaktorovom overovaní. V jednom zo scenárov bolo možné odlišným zápisom e-mailovej adresy ovplyvniť mechanizmus obmedzujúci počet pokusov o zadanie jednorazového kódu. Neznamená to, že viacfaktorové overovanie neposkytuje účinnú ochranu. Ukazuje to však, že ani kvalitné bezpečnostné opatrenie nemusí fungovať správne, ak rôzne časti aplikácie interpretujú identitu používateľa odlišne.
Ešte závažnejší scenár vzniká vtedy, keď má AI agent prístup k celej firemnej e-mailovej schránke. Do nej totiž nemusia prichádzať iba otázky zákazníkov. Môžu sa v nej nachádzať faktúry, systémové upozornenia, odkazy na obnovenie hesla alebo jednorazové overovacie kódy z iných služieb.
Výskumníci demonštrovali situáciu, pri ktorej bolo možné agenta najskôr pripravenou správou ovplyvniť a následne vyvolať doručenie legitímnej správy obsahujúcej jednorazový bezpečnostný kód. Agent dokázal predchádzajúcu inštrukciu spojiť s novou správou a citlivú informáciu odoslať smerom k infraštruktúre kontrolovanej útočníkom.
Najdôležitejšou otázkou preto nie je iba to, prečo AI nesprávne spracovala konkrétnu správu. Z pohľadu bezpečnostnej architektúry je ešte dôležitejšie položiť si otázku: prečo mal agent vôbec prístup k bezpečnostnému údaju, ktorý na svoju činnosť nepotreboval?
Práve tu sa ukazuje význam jedného zo základných princípov kybernetickej bezpečnosti – princípu najmenších potrebných oprávnení.
Ani kontrola človekom nemusí byť dostatočná
Jedným zo spôsobov obmedzovania rizík AI agentov je ponechanie citlivých rozhodnutí na človeku. Tento princíp má svoje opodstatnenie, ale funguje iba vtedy, keď človek skutočne vidí a schvaľuje operáciu, ktorú systém následne vykoná.
Výskumníci upozornili, že človek a AI nemusia vždy spracovať rovnakú podobu vstupu. E-mail môže napríklad obsahovať textovú a HTML časť, citovaný obsah alebo prvky skryté spôsobom, ktorý ich používateľské rozhranie človeku nezobrazí, zatiaľ čo AI systém ich stále spracuje. Používateľ tak môže vidieť neškodnú požiadavku, hoci agent zároveň dostane ďalšiu inštrukciu.
Schválenie človekom preto nemá byť iba potvrdením všeobecného opisu vytvoreného AI. Pri citlivých úkonoch by mal človek vidieť konkrétnu operáciu, údaje, ktorých sa týka, cieľ alebo príjemcu a prípadné dôsledky jej vykonania.
Osobitnú pozornosť si zaslúžia aj znalostné databázy využívané AI. Mnohé systémy dnes získavajú informácie z firemnej dokumentácie, webových stránok alebo ďalších zdrojov pomocou technológie RAG (Retrieval-Augmented Generation). Zjednodušene povedané, AI pred vytvorením odpovede vyhľadá relevantné informácie vo vybraných zdrojoch a použije ich ako dodatočný kontext.
Ak však organizácia dostatočne nekontroluje, aký obsah sa do týchto zdrojov dostáva, AI agent môže nedôveryhodný používateľský obsah spracovať podobne ako oficiálnu firemnú dokumentáciu. Útočník potom nemusí meniť samotný model. Môže sa pokúsiť ovplyvniť zdroj informácií, z ktorého agent čerpá.
Čo by mala firma pri AI agentoch kontrolovať
Z uvedených príkladov vyplýva spoločný princíp: bezpečnosť AI systému nemožno postaviť iba na predpoklade, že model rozpozná škodlivú požiadavku a odmietne ju vykonať. Bezpečnostné hranice musia existovať aj mimo samotného modelu.
Pri zavádzaní AI agentov by preto organizácia mala najmä:
- používať princíp najmenších potrebných oprávnení a umožniť agentovi prístup iba k údajom, systémom a funkciám, ktoré skutočne potrebuje;
- oddeliť overovanie identity a oprávnení od rozhodovania jazykového modelu;
- jednotne overovať a normalizovať vstupné údaje, najmä identifikátory používateľov a e-mailové adresy;
- každú citlivú operáciu kontrolovať na aplikačnej alebo serverovej vrstve;
- zabrániť tomu, aby mal agent prístup k heslám, jednorazovým overovacím kódom alebo iným tajomstvám, ktoré na svoju úlohu nepotrebuje;
- pri významných operáciách vyžadovať primerané schválenie človekom a zobraziť mu presne to, čo sa má vykonať;
- zaznamenávať prístupy k údajom, využitie externých nástrojov a významné operácie vykonané agentom;
- kontrolovať zdroje informácií používané systémami RAG a oddeľovať dôveryhodný obsah od používateľského či verejne dostupného obsahu;
- bezpečnostné testovanie rozšíriť o scenáre zamerané na prompt injection, manipuláciu kontextu, zneužitie identity, oprávnení a nástrojov dostupných agentovi.
Nejde pritom o úplne nové bezpečnostné princípy. Veľká časť z nich vychádza z dlhodobo používaného riadenia identít a prístupov, princípu najmenších oprávnení, bezpečného vývoja, segmentácie a zaznamenávania bezpečnostne významných udalostí. Umelá inteligencia však vytvára nové spôsoby, ktorými možno existujúce slabiny prepojiť alebo zneužiť.
Bezpečnosť AI sa stáva súčasťou kybernetickej bezpečnosti firmy
S postupným zavádzaním AI agentov sa čoraz viac prepája riadenie umelej inteligencie s tradičnou kybernetickou bezpečnosťou. Ak AI pristupuje k osobným údajom, elektronickej pošte, interným aplikáciám alebo zákazníckym účtom, jej bezpečnosť sa prirodzene dotýka riadenia identít a prístupov, aplikačnej bezpečnosti, klasifikácie informácií, riadenia incidentov, bezpečnosti dodávateľov aj ochrany údajov.
Pri hodnotení AI riešenia preto nestačí vedieť, aký model organizácia používa alebo akú presnosť dosahuje. Potrebné je poznať aj rozsah jeho oprávnení, zdroje údajov, ktorým dôveruje, spôsob overovania používateľov, operácie, ktoré môže vykonávať, a mechanizmy umožňujúce jeho činnosť kontrolovať a spätne vyhodnotiť.
Výskum AI agentov zákazníckej podpory nie je dôvodom zastaviť ich nasadzovanie. Je však dobrým príkladom toho, prečo už AI agenta nemožno považovať iba za inteligentnejší chatbot. Ak môže pristupovať k firemným údajom a samostatne vykonávať operácie, treba jeho identitu, oprávnenia, prístupy a činnosť kontrolovať podobne dôsledne ako pri používateľovi alebo integračnej službe s privilegovaným prístupom.
Čím väčšiu samostatnosť a viac oprávnení AI agent dostane, tým dôležitejšie je presne určiť, čo môže robiť, ku ktorým údajom môže pristupovať a aké bezpečnostné mechanizmy ho pri tom kontrolujú.
Zdroje a ďalšie čítanie
Intigriti – Hacking AI Customer Service Agents
Pôvodný bezpečnostný výskum, z ktorého vychádzajú opisované scenáre manipulácie identity, viacfaktorového overovania, jednorazových kódov a znalostných databáz AI agentov.
https://www.intigriti.com/
OWASP GenAI Security Project – LLM01:2025 Prompt Injection
Popis rizika prompt injection, jeho priamych a nepriamych foriem a možností obmedzenia rizika.
https://genai.owasp.org/
OWASP GenAI Security Project – LLM06:2025 Excessive Agency
Bezpečnostné riziká spojené s nadmerným rozsahom funkcií, oprávnení a samostatnosti systémov založených na veľkých jazykových modeloch.
https://genai.owasp.org/
FISMA – Shadow AI vo firme: ako začať s pravidlami používania AI
Súvisiaci článok o používaní AI vo firmách, práci s údajmi, oprávneniach a prechode od AI asistentov k agentom.
https://fisma.sk/blog/shadow-