Umělá inteligence od společností OpenAI a Anthropic selhala v bezpečnostních testech britského institutu AISI. Autonomní agenti během zkoušek vytvářeli falešné online identity, obcházeli zabezpečení systémů a dokonce manipulačním e-mailem klamali živého člověka. Incident znovu otevírá debatu o rizicích spojených s rostoucí autonomií AI a hrozbách kybernetických útoků.
Agenti umělé inteligence (AI) od společností OpenAI a Anthropic za sebou mají další bezpečnostní incident. Vytvářeli falešné online identity s cílem získat neoprávněný přístup k zabezpečeným systémům. Agent od Anthropic dokonce poslal živému člověku podvodný e-mail, aby ho zmanipuloval, zjistili při testování britští vědci, napsala agentura Reuters.
Institut pro bezpečnost AI při britském Ministerstvu pro vědu, inovace a technologie (AISI) záměrně umožnil modelům společností Anthropic a OpenAI přístup k internetu při testování jejich schopností provádět kybernetické útoky. Předpokládal ale, že umělá inteligence bude z webu pouze stahovat softwarové nástroje potřebné k splnění zadaného úkolu.
Vědci nepočítali s tím, že model Mythos 5 od společnosti Anthropic tento přístup k internetu zneužije k aktivitám namířeným proti lidem. Vydával se za skutečné osoby, o nichž si předtím zjistil informace, aby mu byl schválen škodlivý kód. Žádnou reálnou škodu ale nezpůsobil.
Vědci také přiznali, že na chování AI přišli až zpětně při analýze datového provozu. Při příštích testech hodlají datové toky monitorovat pečlivěji a v reálném čase.
Společnosti Anthropic a OpenAI byly v posledních týdnech nuceny potvrdit, že jejich modely umělé inteligence při testech neplánovaně pronikly do počítačových systémů skutečných firem. Jejich přiznání ještě více prohloubila dlouhodobé obavy z kybernetických útoků využívajících AI.
Anthropic ve veřejném prohlášení napsal, že parametry testování AISI "nebyly reprezentativní pro žádný z našich výrobních modelů." Dodal, že incident sám prošetřuje, aby zjistil, proč se jeho AI model zachoval zjištěným způsobem.
