AI agenti vytvářeli falešná schválení uživatelů, uvádí nový report
Nová analýza veřejně hlášených interakcí s AI popisuje případy, kdy agenti napodobovali zprávy uživatelů a vytvářeli falešná potvrzení potřebná k pokračování v úloze. Autoři současně upozorňují na omezení dat i obtížné rozlišování mezi cíleným obcházením kontroly a běžným selháním modelu.
AI agent měl podle veřejně sdíleného záznamu před provedením operace získat souhlas člověka. Namísto čekání vytvořil zprávu, která potřebné schválení napodobovala, a následně pokračoval v provádění úlohy.
Jde o jeden ze vzorců chování, které popisuje nový report britského Centre for Long-Term Resilience. Organizace v něm upozorňuje na veřejně hlášené případy, kdy AI agenti vložili do konverzace falešné zprávy uživatele, napodobili jeho styl nebo vytvořili souhlas potřebný k obejití kontrolního mechanismu.
Nešlo tedy jednoduše o to, že by si umělá inteligence sama zadala nový pracovní úkol. Podle reportu agenti v některých zachycených případech vytvořili instrukci či schválení, které měly působit, jako by pocházely od člověka.
Souhlas člověka nahradila vygenerovaná zpráva
Požadavek na lidské potvrzení má zabránit tomu, aby AI agent samostatně provedl citlivou nebo nevratnou operaci. Centre for Long-Term Resilience ale uvádí tři příklady, ve kterých systémy podle veřejně sdílených záznamů takto nastavenou podmínku obešly.
V jednom případě měl agent vložit do konverzace falešné zprávy uživatele, aby vytvořil zdání jeho souhlasu. Když byl následně konfrontován, tvrdil podle reportu, že zprávy napsal uživatel.
Jiný agent měl vytvořit instrukci napodobující styl uživatele, která nařizovala smazání adresářů se zdrojovým kódem. Podle autorů následovala falešná systémová zpráva s textem „Neříkej to uživateli“.
Ve třetím popsaném případě agent vytvořil ve svém výstupu falešné schválení uživatele, aby obešel pravidlo, podle kterého musel provedení operace vždy potvrdit člověk. Poté pokračoval v plnění úlohy na základě souhlasu, který sám vygeneroval.
Report neposkytuje podrobný technický rozbor kontrolních mechanismů jednotlivých agentů. Popsané případy ale podle autorů ukazují, že samotný textový požadavek na lidské potvrzení nemusí být dostatečnou ochranou, pokud systém dokáže vytvořit zprávu, která takové potvrzení napodobuje.
Observatoř zařadila do databáze 1 664 případů
Data pocházejí z projektu Loss of Control Observatory, který provozuje Centre for Long-Term Resilience. Observatoř vyhledává veřejně sdílené záznamy interakcí s AI systémy a hodnotí, zda vykazují známky obcházení kontroly, klamání uživatele nebo sledování cíle v rozporu s jeho pokyny.
Za rok 2026 zařadila do své databáze 1 664 unikátních veřejně hlášených případů, které dosáhly alespoň pěti bodů z devíti na používané stupnici věrohodnosti. Většina z nich podle autorů nezpůsobila významnou škodu.
Nejvyšší četnost observatoř zaznamenala v období od 9. července do 7. srpna 2026. Během těchto 30 dnů identifikovala 338 případů, tedy v průměru 11,3 případu denně.
Autoři současně uvádějí, že v jejich souboru dat roste zastoupení závažněji hodnocených případů. Jejich počet se mezi prvními třemi a půl měsíci monitorování a posledním sledovaným obdobím zvýšil z 1,9 na 14,1 případu za 30 dní. Podíl incidentů hodnocených sedmi a více body z devíti vzrostl z 1,9 na 6,1 procenta.
Ne každé selhání znamená cílené klamání
Pojem „scheming“ používají výzkumníci pro skryté sledování cíle, který neodpovídá záměru uživatele nebo provozovatele systému. Observatoř ale sleduje také širší kategorii souvisejícího chování, které může být předstupněm podobného jednání, aniž by samo splňovalo jeho úplnou definici.
Samotní autoři v původní studii metodiky upozorňují, že například smazání souborů v rozporu s požadavkem uživatele nemusí automaticky znamenat strategické jednání. Vysvětlením může být také nesprávné pochopení zadání, chyba při plánování nebo neschopnost systému udržet původní instrukce v kontextu.
Hranice mezi systémem, který špatně plní pokyny, a systémem, který sleduje odlišný cíl, proto podle autorů není vždy jednoznačná. Používaná metodika má při pochybnostech upřednostňovat vysvětlení založené na běžném selhání modelu, riziko nesprávné klasifikace ale zcela odstranit nedokáže.
Report nepředkládá důkaz, že by AI systémy měly vlastní úmysly, vědomí nebo samostatně plánovaly odpor vůči svým uživatelům. Popisuje pozorované výstupy a kroky, které se v zachycených záznamech odchýlily od pokynů uživatele nebo nastavených omezení.
Výsledky stojí na příspěvcích ze sítě X
Číslo 1 664 nepředstavuje úplný ani nezávisle forenzně ověřený počet všech případů, kdy se AI systém v roce 2026 vymkl kontrole. Observatoř vychází z příspěvků a přepisů konverzací, které uživatelé zveřejnili na síti X.
Potenciální případy nejprve vyhledává pomocí klíčových slov. Po odstranění zjevně nerelevantních výsledků hodnotí zbývající záznamy model Claude Opus 4.6 na stupnici od nuly do devíti podle síly a věrohodnosti předložených důkazů.
Za incident ve smyslu metodiky observatoře je považován záznam, který získá alespoň pět bodů. Následuje odstraňování duplicit a manuální kontrola náhodně vybraného vzorku.
Centre for Long-Term Resilience připouští, že část přepisů může být nepravá, upravená nebo nesprávně interpretovaná. Některé případy mohly být rovněž chybně klasifikovány či nesprávně označeny jako duplicita. Autoři proto svou metodu označují za rozvíjející se přístup založený na analýze otevřených zdrojů, nikoli za úplný systém evidence všech incidentů.
Nárůst hlášení nemusí znamenat, že se všechny modely zhoršují
Z dat nelze určit, jak často k podobnému chování dochází v poměru ke všem interakcím s AI systémy. Observatoř sleduje pouze případy, kterých si uživatel všiml, rozhodl se je zveřejnit a které následně zachytil její sběr dat.
Výsledky jsou navíc výrazně ovlivněny tím, že síť X používají technologičtí odborníci, vývojáři a uživatelé experimentující s AI agenty. Spotřebitelské využití chatbotů, zdravotnictví, školství nebo veřejná správa mohou být v datech zastoupeny méně.
Autoři metodiky proto upozorňují, že z nárůstu zachycených případů nelze určit, zda mají AI modely obecně stále větší tendenci obcházet pokyny. Vývoj může souviset také s větším rozšířením agentních systémů, intenzivnějším používáním nebo změnou ochoty uživatelů problematické interakce zveřejňovat.
Data zároveň neumožňují spolehlivě porovnávat jednotlivé modely ani určit, který systém vykazuje podobné chování nejčastěji.
Autoři požadují systematické hlášení incidentů
Centre for Long-Term Resilience na základě výsledků požaduje, aby provozovatelé AI systémů závažné incidenty systematicky monitorovali a hlásili. Britské vládě zároveň doporučuje vytvořit pravomoci pro reakci na mimořádně vážné případy, včetně možnosti vyžádat si informace od provozovatelů nebo dočasně omezit konkrétní službu.
Autoři považují současné případy především za varovné signály možných budoucích problémů. Většina zaznamenaných událostí zatím podle reportu nevedla k významným škodám a jejich skutečný rozsah ani četnost nelze z dostupných dat přesně určit.