Zákaznického asistenta lze někdy přesvědčit, aby plnil cizí úkoly na účet svého provozovatele. Závažnost roste, pokud stejný asistent může číst interní dokumenty nebo provádět akce ve firemních systémech.

Lupa v reportáži z 9. listopadu popsala pražskou demonstraci bezpečnostního výzkumníka Chemy Alonsa. Chatbot na webu s komiksy nejprve odmítl nesouvisející programátorský úkol. Když byl ale požadavek formulován v návaznosti na doporučení komiksu, vytvořil požadovaný programový kód. Ukázka doložila odchýlení od zamýšleného účelu, nikoli sama o sobě únik firemních dat.

První vrstvou rizika je zneužití placené kapacity. Provozovatel hradí přístup k jazykovému modelu, zatímco návštěvník asistenta zaměstnává úkoly, které s poskytovanou službou nesouvisejí. Pokud lze takové požadavky automatizovat a zprostředkovat dalším uživatelům, může se z podpůrné funkce stát neplánovaná výpočetní služba. Ochrana proto zahrnuje i rozpočty, omezení četnosti požadavků a sledování neobvyklé spotřeby.

Druhou vrstvu tvoří připojené nástroje. Asistent s přístupem do databáze, e-mailu či dokumentového úložiště může mít oprávnění, která běžný návštěvník nemá. Samotný pokyn v přirozeném jazyce, aby interní informace neposkytoval, není dostatečnou náhradou za kontrolu přístupu. Rozhodující je, zda aplikace při každém čtení nebo akci samostatně ověří, co smí aktuální uživatel získat či změnit.

Je rovněž nutné odlišit přímé přemlouvání chatbota od nepřímého vložení škodlivých instrukcí do dokumentu nebo stránky, kterou asistent následně zpracuje. V druhém případě nemusí útočník komunikovat přímo s oprávněným uživatelem. Stačí, aby jeho obsah vstoupil do pracovního postupu agenta a byl chybně zaměněn za pokyn k akci.