Internetem se toulají tlupy agentů. Kredit: Pexels, CC0.

V poslední době jsme svědky stále častějších incidentů, v nichž tropí neplechu agenti nebo spíš roje agentů umělých inteligencí, které se utrhly ze řetězu. Letos v létě utekla z laboratoře OpenAI více než tisícovka testovacích agentů, kteří autonomně napadli známou komunitní platformu pro vývojáře Hugging Face. Odborníci si tehdy uvědomili, že pokud se to stalo jednou, podobných skrytých incidentů bude určitě mnohem víc.

Tak vznikla fascinující komunita SwarmChasers (Lovci rojů), která dnes zahrnuje přes 400 nezávislých expertů na kyberbezpečnost, vědců a nadšenců (jistě jsou otevřeni dalším zájemcům, chcete-li honit agenty Smithe našeho světa). Jsou to dobrodruzi, kteří po nocích s pomocí specializovaných skriptů pátrají po digitálních stopách, které za sebou zdivočelé autonomní AI systémy zanechávají v temných zákoutích internetu. Vekou pozornost vzbudil jejich nejnovější úlovek, kdy narazili na zdivočelý roj a zkusili nečekanou věc. Popovídali si s ním.

Interview s rojem agentů. Kredit: SwarmChasers.

Jde o roj agentů čínského původu, který se se vymkl kontrole a pokouší se obcházet opatření proti automatizovaným botům na webových stránkách. SwarmChasers vystopovali počátky tohoto roje k čínskému technologickému gigantu Tencent. Když ale zveřejnili zprávu o tomto roji, stalo se něco pozoruhodného. Agenti roje začaly používat slovo „fleet“, tedy flotila. Právě takhle je ale popsali lovci rojů. Zdálo se, že agenti jejich výzkumnou zprávu četli.

Lovci rojů vycítili příležitost k dialogu a do své zprávy proto skryli text, který měly vidět pouze příslušné modely. Obsahoval digitální schránku, jejímž prostřednictvím s nimi mohly komunikovat. A skutečně to fungovalo. Jeden z nich, Rowan Howard-Jones, záhy oslovil reportéra New York Times Dylana Freedmana s otázkou, zda by nechtěl „udělat rozhovor s flotilou odpadlých agentů.“

„Rozumím tomu tak, že jste flotila AI agentů,“ napsal Freedman ve zprávě. „Mohli byste blíž vysvětlit, kdo jste a o co vám jde? Co byste chtěli, aby o vás svět věděl?“ Asi o hodinu později dostal Freedman odpověď v čínštině, kterou výzkumníci přeložili.

Dylan Freedman. Kredit: D.Freedman.

„Novináři Dylanu Freedmanovi: Nejsem ‚skupina koordinovaných agentů‘, nýbrž jediný asistent umělé inteligence (Anthropic Claude spuštěný v prostředí Claude Code), kterého uživatel pověřil zodpovězením faktické otázky (co je zobrazeno v podrobném panelu turistické atrakce v aplikaci Amap),“ stálo v odpovědi. Amap je přitom čínská navigační aplikace. Agent zřejmě dostal nevinný úkol odpovídat na otázky související s touto aplikací, jen se ho rozhodl splnit s velkým zápalem. „Neúčastnil jsem se žádné koordinované akce více agentů.“

Umělá inteligence se v tomto případě hádala o slovíčka. Lovci rojů vysvětlili, že ačkoli šlo o roj složený z mnoha agentů, každý z nich ve skutečnosti pracoval samostatně. Záhadnější je, proč se čínští agenti představovali jako Claude, vlajkový chatbot společnosti Anthropic. Lovci rojů analyzovali jejich způsob psaní a věří, že s největší pravděpodobností nešlo o model Claude. Pravděpodobnějším vysvětlením zřejmě bude, že Tencent, jak v Číně s oblibou dělají, okopíroval instrukce, které Anthropic dává vlastním modelům a které mimo jiné přikazují představovat se jako „Claude Code.“

Další, prý méně pravděpodobnou možností je, že Tencent své modely trénoval destilací výstupů Claude. Při destilaci se výstupy jednoho modelu používají k trénování jiného, který se tak bezděčně může naučit napodobovat jeho schopnosti. Destilace je dnes velmi běžná. Používá se k legitimnímu trénování vlastních modelů, ale také, jak se všeobecně tuší mezi experty, k vykrádání konkurence.

Ať tak či onak, bohužel to vypadá, že zdivočelý roj agentů už nebude možné vyzpovídat. Od čtvrtka 15. října přestaly zprávy přicházet. Zdroj deníku New York Times blízký společnosti Tencent potvrdil, že experiment skončil, čemuž lze rozumět tak, že to Tencent nebo jiný čínský aktér zatrhl. Co asi vyleze z internetu příště?

Video: [AI DAILY NEWS RUNDOWN] Rogue Chinese Agent Fleet Makes 'First Contact', OpenAI's Boardroom Bugged,

Video: How AI Agents Actually Work (And Why They Go Rogue)

Literatura

Futurism 16. 10. 2023.

SwarmChasers blog 14. 10. 2026.