Úřad shledal konflikt technologie AI nejméně s šesti klíčovými ustanoveními GDPR, které stanoví požadavky na zákonnost zpracování, transparentnost, minimalizaci dat a implementaci ochranných opatření již ve fázi návrhu systému (privacy by design). V případě AI nástroje typu Chatbot nepovažoval úřad za dostatečný pouhý smluvní základ této inteligentní on-line služby, kdy dovodil, že odvolání se na "plnění smlouvy" (čl. 6 odst. 1 písm. b GDPR) není dostatečné pro zpracování zvláštních kategorií dat vznikajících při pestré komunikaci s chatbotem, což může mj. zahrnovat terapeutické anebo jiné citlivé interakce.

Další nedostatky úřad nalezl v těchto konkrétních oblastech:

Jedná se o zásadní případ, kde se dozorový orgán explicitně vyjádřil k AI. Pro každého, kdo zvažuje využití generativní AI, se upřesňují zejména tyto následující povinnosti:

Rozhodnutí o pokutě také nastavuje nové standardy pro pořízení AI. Každý, kdo uvažuje o pořízení AI pro usnadnění komunikace s klienty, pro inovativní marketing či zlepšení on-line služeb, by měl věnovat pozornost tomu, zda a jak se dodavatel a výrobce AI konkrétně věnovali také otázkám ochrany osobních údajů:

Transparentnost modelů AI: Vývojáři musí explicitně popisovat, jaká osobní data jsou použita pro trénování generativních modelů, včetně mechanismů federovaného učení.

Více lidský (etický) design: AI se musí chovat vždy slušně a ohleduplně a nesmí se nezákonně podbízet. Právní regulace zakazují tzv. dark patterns, např. nabízení některých výhod a používání mikroplateb a jiných pobídek vůči různým, např. zranitelným skupinám obyvatelstva.

Věková verifikace: ukazuje se, že pouhé potvrzení data narození není dostatečné pro služby s citlivým obsahem. Úřad v pokutované kauze doporučil kombinaci dokladů ID + behaviorální biometrie a nespokojil se s prokázáním vlastnictví platebního účtu.

Tento případ vystoupení italského dozorové úřadu svědčí o podrobnějším a stále narůstajícím zájmu regulatorních orgánů vůči nedokonalostem a možným manipulativním technikám generativní AI. Ačkoliv tato technologie nabízí velký potenciál pro duševní zdraví, zjištění regulátorů většinou poukazují na to, že současné implementace AI nejsou na straně správců osobních údajů dobře a odpovědně provedeny, vykazují řadu rozporů s právní regulací a balancují na hraně manipulace a exploatace zpracovávaných dat.

Ochrana osobních údajů u AI systémů je komplexní téma, kde se snoubí technické, právní a etické požadavky. Naši specialisté v Acresia dokážou rychle zhodnotit, zda vaše řešení splňuje aktuální regulatorní standardy, a pomohou vám nastavit procesy tak, aby technologie fungovala bezpečně – a vy jste měli jistotu, že nic nepřehlédnete.