Zpráva, kterou loni zveřejnila australská ministryně komunikací Anika Wellsová na podporu zákazu sociálních sítí pro děti do 16 let, obsahuje řadu chyb způsobených pravděpodobně takzvanými halucinacemi umělé inteligence (AI). Vyplývá to z analýzy listu The Guardian. Autoři studie sice připouštějí, že používali produkt ChatGPT od společnosti OpenAI k úpravám textu, ale odmítají, že by jej využili ke generování samotného obsahu nebo použitých citací.
Zpráva, kterou Wellsová zveřejnila před rokem, vyhodnocovala test technologií pro ověřování věku za 3,48 milionu australských dolarů (51,7 milionu Kč). Za experimentem i výslednou zprávou stála britská organizace Age Check Certification Scheme (ACCS). Australský parlament zákaz schválil na konci předloňského listopadu a rozhodnutí nabylo účinnost loni 9. prosince.
Většina zprávy vychází z testů, které autoři provedli u různých v současnosti dostupných technologií pro ověřování věku. Jedna kapitola se ale zabývá novými technologiemi a cituje řadu odborných článků o potenciálních nových způsobech ověřování věku.
V pokračujícím senátním šetření, jehož cílem je posílit vynucování zákazu sociálních médií, bylo předloženo podání, které poukazuje na nejméně dvě chyby v citacích uvedené ve zprávě. "Citace (…) se zdají být spíše výsledkem halucinací AI než citací skutečných zdrojů," uvádí se v podání.
Mluvčí ACCS tento měsíc na dotaz australské redakce The Guardian nejprve popřel jakékoliv použití AI při tvorbě zprávy, později však připustil, že AI byla využita k přepracování a zestručnění některých odstavců.
"Při tvorbě zprávy ani citovaných materiálů jsme umělou inteligenci nepoužili. Vždy jsme ověřili, zda se jedná o autentické odkazy a zprávy a zda jsou relevantní pro konkrétní citovanou problematiku," uvedl mluvčí.
Analýza The Guardian nicméně ve stejné části odhalila šest citací, které obsahovaly chyby. Například identifikátory akademických textů (DOI) odkazovaly na neexistující články, případně DOI odkazovaly na jiné než uvedené články, dále kombinace autora, periodika a roku vydání neodpovídaly skutečným citacím. V některých případech se obsah odkazu neshodoval s tím, co zpráva tvrdila.
Mluvčí později poskytl Guardianu vysvětlení a nové odkazy na výzkum, z nějž ACCS vycházela, ale i tato odpověď obsahovala chyby. Seznam článků v odborných časopisech, který měl opravit chyby ve zprávě, obsahoval letopočty, jména autorů a názvy časopisů, které neodpovídaly původním citacím ve zprávě.
Jeden z článků, který ACCS citovala, měl být zobrazen v březnu 2025. Jeden z hlavních autorů této studie však The Guardian potvrdil, že článek v té době nebyl veřejně přístupný, byl totiž publikován až v červnu 2025. Akademik také potvrdil, že osoba původně citovaná jako hlavní autor článku, "Jamil", v článku nikdy nefigurovala a že zpráva ACCS článek shrnula nesprávně.
Mluvčí připustil využití AI teprve poté, co The Guardian identifikoval v částech E a K zprávy čtyři odkazy, jejichž metadata označovala ChatGPT jako zdroj. Nicméně tvrdil, že zahrnutím metadat ChatGPT organizace využití AI sama přiznala, a protože šlo o správné odkazy, nevidí v tom ACCS nic problematického.
Loni se kvůli halucinacím AI dostala do potíží také poradenská společnost Deloitte, a to opakovaně. Australská pobočka měla vládě vrátit část ze 440.000 australských dolarů (6,5 milionu Kč) zaplacených za zprávu, která obsahovala vymyšlené citace z rozsudku federálního soudu a odkazy na neexistující vědecké práce. Deloitte po kritice 237stránkovou zprávu přezkoumala a v říjnu potvrdila, že některé poznámky pod čarou a odkazy byly nesprávné.
V listopadu 2025 vláda kanadské provincie Nový Foundland a Labrador požádala Deloitte o kompletní prověření citací v novém zdravotnickém plánu, neboť ve čtyřech případech byly odhaleny nesprávné či neexistující zdroje.
Australský zákon nařizuje platformám, včetně sítí Instagram, Snapchat či YouTube, aby zabránily osobám mladším 16 let zřizovat si u nich účty. Provozovatelé platforem podle zákona musí podniknout "přiměřené kroky" k dodržování předpisů a vláda doporučila používat vícenásobné kontroly k určení věku uživatelů.
Zákaz se setkal s kritikou. Studie naznačují, že většina osob mladších 16 let má k platformám stále přístup, což vedlo Austrálii k tomu, že v červnu zdvojnásobila maximální pokutu a varovala před soudními kroky proti technologickým gigantům kvůli nedodržování předpisů.
ACCS ve zprávě uvedla, že úkolem pilotního projektu nebylo doporučovat konkrétní typ technologie ani posuzovat, zda by se ověřování věku mělo vůbec používat. Provedla 28.514 testů odhadu věku podle obličeje s 13 dodavateli po celé Austrálii a zjistila, že většina testů trvala méně než 40 sekund.
Podle zprávy je zásadní nedorozumění domněnka, že technologie by mohla být používána bez nějaké míry chybovosti. "Falešně negativní výsledky budou pak nevyhnutelné a k jejich nápravě budou zapotřebí alternativní metody," stojí ve zprávě.
Podle zprávy se v období dvou až tří let od zavedení technologie dá počítat s tím, že se zvýší počet chyb při správném odhadu věku osoby, například pokud je uživateli 17 let a systém odhadne, že je mu méně než 16, případně pokud 14letého uživatele systém vyhodnotí jako staršího 16 let.
