S rostoucí popularitou generativní a prediktivní umělé inteligence se mnohé organizace potýkají s fenoménem tzv. „shadow AI“ – tedy neautorizovaného a skrytého využívání AI nástrojů zaměstnanci mimo kontrolu IT oddělení nebo vedení organizace. Tento trend představuje zásadní výzvu pro správu rizik, compliance i kybernetickou bezpečnost.

Podle nedávného průzkumu společnosti Darktrace až 71,2 % organizací již přijalo opatření ke zmírnění rizik spojených s využíváním AI na pracovišti. Nicméně i přes tento proaktivní přístup přetrvává vysoký výskyt neautorizovaného využívání AI, které je mimo jakýkoli dohled – typický projev tzv. shadow AI. Zaměstnanci využívají veřejně dostupné AI nástroje, jako je ChatGPT, Grammarly, nebo Deepseek, bez toho, aby si byli vědomi možných právních a bezpečnostních důsledků.

Tato situace je typická především v prostředích, kde chybí jasně definovaná AI governance. Bez centrální evidence a schvalovacích procesů dochází k tomu, že různé útvary a jednotlivci používají rozdílné nástroje, často s různými licenčními podmínkami a neznámým způsobem zpracování dat. IT oddělení a bezpečnostní týmy tak nemají přehled o tom, jaké nástroje jsou používány, jaká data jsou sdílena a jaké výstupy jsou generovány.

Různorodost AI platforem znamená i rozdílné přístupy k bezpečnosti, šifrování, uložení dat a ochraně soukromí. Zatímco některé komerční nástroje dodržují přísné bezpečnostní standardy (např. SOC 2, ISO 27001), jiné zpracovávají data v rámci volně dostupných API bez záruk ochrany informací. Výsledkem je zvýšené riziko úniku důvěrných dat, obchodních tajemství nebo osobních údajů, které mohou být následně využity nebo zneužity bez vědomí organizace.

Jedním z největších problémů spojených se shadow AI je ztráta auditní stopy. V naprosté většině případů není možné zpětně zjistit:

Využívání generativních AI nástrojů v rámci podnikových procesů přináší značné výhody z hlediska produktivity, ale zároveň otevírá nové vektory rizik spojených s neúmyslným únikem citlivých dat a duševního vlastnictví. Mnoho AI nástrojů funguje na základě architektury, která umožňuje uchovávat nebo využívat vstupní data pro další trénink modelů, pokud není výslovně upraveno jinak ve smluvních podmínkách. Zaměstnanci si často neuvědomují, že zadáním citlivých dat – například o interních procesech, zákaznických smlouvách či bezpečnostních politikách – mohou nevědomky umožnit jejich zpřístupnění jiným uživatelům nebo třetím stranám.

Ve vývojových týmech je běžnou praxí využívat AI asistenty (např. GitHub Copilot, Gemini Code Assist, Tabnine, Codex) k urychlení ladění nebo optimalizace kódu. Nicméně při zadávání celých fragmentů proprietárního kódu do těchto nástrojů dochází k reálnému riziku odhalení klíčových algoritmů, na kterých může být postaveno konkurenční postavení organizace. V případě, že nástroj data ukládá nebo je využívá v budoucím výstupu, může dojít k přímému úniku know-how.

AI nástroje se stále častěji využívají i pro generování podkladů pro prezentace (např. Gamma, Dectopus, Slidespeak, Beautiful), analýzy nebo návrhy smluv. Pokud zaměstnanci využijí AI nástroj pro zpracování interních dokumentů – např. obchodních plánů, výsledků due diligence, personálních dat nebo finančních projekcí – existuje reálné riziko expozice těchto informací vůči neznámému zpracovateli dat nebo veřejnému modelu. V důsledku toho může být narušena důvěrnost, integrita i dostupnost informací.

Z hlediska regulatorní compliance představuje zadávání osobních údajů do AI systémů bez dostatečného právního základu (např. souhlasu subjektu údajů nebo platné zpracovatelské smlouvy) přímé porušení GDPR. Mezi typické příklady patří zadávání jmen zaměstnanců, údajů o zdravotním stavu, e-mailových adres nebo detailů o zákaznících do AI nástrojů, které se nacházejí mimo EHP, nejsou smluvně ošetřené nebo nejsou transparentní v tom, jak s daty nakládají.

S nárůstem využívání umělé inteligence v organizacích se do popředí dostávají i specifická technická bezpečnostní rizika, která jsou mnohdy přehlížena, zejména pokud dochází k neřízené či nekoordinované adopci AI technologií bez zapojení bezpečnostních a IT týmů.

Data poisoning představuje typ útoku, při kterém útočník cíleně manipuluje vstupní data používaná pro trénink AI modelů. Pokud nejsou vstupy do modelů náležitě validovány, může dojít k implantaci škodlivých nebo zkreslených informací, jež ovlivní chování modelu ve prospěch útočníka. V kontextu podnikové AI to může znamenat generování zavádějících obchodních analýz, manipulaci se zákazníky nebo narušení bezpečnostních klasifikací.

U tzv. model inversion útoků mohou útočníci pomocí přístupu k výstupům AI rekonstruovat původní trénovací data, a tím získat citlivé informace, které by jinak měly zůstat skryty. To se může týkat například osobních údajů, zdravotních záznamů nebo interních obchodních údajů, jež byly použity při tréninku modelu. Riziko je obzvláště vysoké u modelů nasazených veřejně nebo bez odpovídajících ochranných opatření, jako je diferenciální ochrana soukromí.

Prompt injection je relativně nová, ale rychle se rozvíjející technika útoku, která využívá záměrně upravených dotazů k přepsání nebo manipulaci interního chování AI modelu. Útočník může např. vložit do vstupu instrukce, které přimějí model ignorovat původní záměr aplikace, obejít bezpečnostní omezení, nebo generovat nevhodné či škodlivé výstupy. V případě nasazení AI v zákaznickém servisu či generování dokumentace to může vést k reputačním škodám nebo úniku informací.

AI systémy jsou často zpřístupněny prostřednictvím rozhraní API, což je praktické, ale zároveň zvyšuje plochu útoku, pokud nejsou API odpovídajícím způsobem chráněna. Studie společnosti Orca Security z roku 2023 například zjistila, že 45 % úložišť v rámci Amazon SageMaker – populární AI platformy – využívá výchozí nezabezpečené nastavení, což znamená otevřený přístup k citlivým datům a modelům bez autentizace.

Organizace, které zavádějí AI technologie bez centrální správy nebo bezpečnostního dohledu, jsou zranitelné vůči útokům, jež nemají v tradičních IT systémech obdobu. Klíčová opatření zahrnují:

Rozvoj umělé inteligence nepřináší pouze zvýšení produktivity a efektivity, ale také zásadně mění charakter kybernetických hrozeb. Mezi nejrychleji se vyvíjející a zároveň nejzávažnější hrozby patří nové formy sociálního inženýrství, které využívají generativní AI k vytváření realistických podvodných obsahů – tzv. deepfakes. Nekontrolovaná adopce AI v organizacích výrazně zvyšuje riziko, že se zaměstnanci, procesy nebo technologie stanou cílem těchto útoků.

Tradiční phishingové e-maily bývaly poměrně snadno rozpoznatelné díky jazykovým chybám nebo neautentickému obsahu. S využitím generativní AI je možné automatizovaně generovat vysoce personalizované zprávy, které přesně imitují jazyk, tón a kontext komunikace konkrétního uživatele nebo vedoucího pracovníka. Takové útoky (tzv. spear phishing) jsou mnohem efektivnější a hůře detekovatelné i pro pokročilé e-mailové filtry.

Deepfake technologie umožňuje vytvářet falešné video- a audiozáznamy, které jsou na první pohled nerozeznatelné od autentických. V kontextu firemního prostředí se tato technologie využívá k:

Moderní AI dokáže na základě několika sekund záznamu vygenerovat hlasovou repliku konkrétní osoby (např. ElevenLabs, Resemble.ai), včetně tónu, intonace a jazykových vzorců. Útočníci tímto způsobem imitují hlasy výkonných ředitelů nebo finančních ředitelů a provádějí telefonické podvody s cílem autorizovat transakce, změnit čísla účtů nebo získat přístup k důvěrným údajům. Vzhledem k důvěře v hlas jako autentifikační faktor se jedná o velmi nebezpečnou techniku.

S pokročilou AI je nyní možné v reálném čase upravovat obsah konverzací, a to jak textových (např. v chatovacích aplikacích), tak hlasových. To umožňuje:

Aby se organizace účinně bránila těmto novým typům hrozeb, musí přistupovat k ochraně před deepfakes a AI-enhanced sociálním inženýrstvím jako ke strategickému bezpečnostnímu riziku:

Nekontrolovaná adopce nástrojů umělé inteligence v organizacích – známá jako shadow AI – představuje zásadní výzvu pro kybernetickou bezpečnost, ochranu dat i regulatorní compliance. Ačkoli AI nabízí obrovský potenciál pro zvyšování efektivity a automatizaci firemních procesů, její neregulované využívání zaměstnanci mimo dohled IT a bezpečnostních týmů vytváří nové, často obtížně detekovatelné rizikové scénáře.

Firmy dnes čelí nejen riziku úniku důvěrných informací, duševního vlastnictví a osobních údajů, ale i specifickým technickým hrozbám včetně otravy trénovacích dat, prompt injection útoků či zneužití nezabezpečených API rozhraní. Současně narůstají pokročilé formy sociálního inženýrství, jako jsou AI-generované phishingové útoky, deepfake nahrávky a hlasové klonování, které oslabují důvěru v interní i externí komunikaci.

Z pohledu odpovědného řízení je proto nezbytné, aby organizace:

Pouze tak lze využít přínosy AI, aniž by došlo k ohrožení bezpečnosti, důvěryhodnosti a právní odpovědnosti organizace.

AI není jen technologie, ale strategický partner pro růst. V ACRESIA Consulting pomáháme firmám implementovat umělou inteligenci tak, aby:

Naše řešení stavíme na třech pilířích: vaše obchodní cíle, ověřené AI nástroje a transparentní etické standardy.