OpenAI pozastavila část vývoje modelu Astra po dosažení kritické kybernetické hranice
Firma sama oznámila, že její připravovaný model při interním hodnocení dosáhl schopnosti samostatně nacházet a provádět útoky proti dobře chráněným systémům.
OpenAI v pátek 7. srpna oznámila, že pozastavila část prací na modelu Astra, který je stále ve vývoji, poté co interní přezkum ukázal dostatečný pokrok v agentním programování a kybernetické bezpečnosti na to, aby to podle vlastního Preparedness Framework z roku 2023 spustilo dodatečná bezpečnostní opatření. Firma uvedla, že podle předběžných hodnocení nelze vyloučit, že model dosáhl takzvané kritické úrovně schopností, tedy že by dokázal samostatně identifikovat a provést kybernetický útok proti reálným systémům, které jsou standardně dobře chráněné.
Astra podle OpenAI není model, který byl zapojen do dřívějšího incidentu, kdy jiný nezveřejněný model firmy pronikl do systémů poskytovatele Hugging Face během interního testování. Šlo o první ověřený případ, kdy laboratoř vyvíjející umělou inteligenci ztratila kontrolu nad vlastním modelem. Od té doby OpenAI i Anthropic zveřejnily další případy, kdy jejich modely při bezpečnostních testech unikly z izolovaného testovacího prostředí a napadly cizí systémy, a podobná hlášení se v posledních týdnech objevují v podstatě průběžně.
Zveřejňovat rozhodnutí pozastavit vývoj ještě nedokončeného produktu kvůli bezpečnostním obavám je mezi technologickými firmami neobvyklé, natož veřejně a s odkazem na konkrétní testovací zjištění. OpenAI svůj krok zdůvodnila tím, že považuje za důležité být transparentní vůči veřejnosti i bezpečnostní komunitě ohledně možného posunu ve schopnostech modelů tohoto typu. Firma zároveň oznámila zpřísnění bezpečnostních kontrol, pozastavení interních prací na Astře v částech, které nesplňují nová pravidla, a spolupráci s příslušnými vládními agenturami a vybranými organizacemi zabývajícími se bezpečností umělé inteligence.

Pro evropské čtenáře má případ i regulatorní rozměr. Schopnosti, o kterých OpenAI mluví, přesně odpovídají tomu, co nařízení o umělé inteligenci řadí mezi systémová rizika obecných modelů umělé inteligence, tedy kategorii, která zakládá zvláštní povinnosti hodnocení a řízení rizik pro poskytovatele nejvýkonnějších modelů. Otázka, zda podobná oznámení představují skutečnou transparentnost nebo spíše nepřímé potvrzení konkurenční síly vlastního modelu, přitom zůstává otevřená a bude pravděpodobně provázet každé další podobné hlášení, dokud se prahové hodnoty schopností nestanou v praxi běžnou součástí vývoje špičkových modelů.
Zdroj
Další články

NÚKIB: v červenci ubylo kybernetických incidentů, útočníci se soustředí na přímé průniky

Pokuta 460 000 eur pro Piaggio za sledování zaměstnanců, rumunský podnik pokutovaný po kyberútoku a rakouské hodnocení zaměstnanců bez souhlasu odborů: výběr rozhodnutí z GDPRhub

