Jak se ukazuje, velké jazykové inteligence, chatboty a podobá sebranka, jsou velice užitečné nástroje, ale mohou také být nepříjemnou hrozbou. Pociťují to především odborníci na kybernetickou bezpečnost, kterým se teď nejspíš nezdá o ničem jiném než o AI.
Nová zpráva respektované a v médiích hojně citované neziskové organizace Palisade Research se sídlem v Berkeley, Kalifornie, která se specializuje na monitorování a výzkum ofenzivních možností (a úmyslů) umělých inteligencí, včetně šíření dezinformací, teď odborníkům na kyberbezpečnost klidu určitě nepřidá.
Experti Palisade Research zjistili, že velké jazykové modely se dovedou replikovat bez pomoci lidských kompliců tím, že se zkopírují na jiné počítače. Jak uvedl pro Guardian výkonný ředitel Palisade Research Jeffrey Ladish, rychle se blížíme k bodu, kdy bude značný problém vypnout zdivočelou AI, protože si dovede sama přenést své parametry a zkopírovat se na tisíce počítačů po celém světě.
Jak to ale u podobných zpráv chodí, jiní experti zase vyzývají ke klidu s tím, že Skynet zatím není na pořadu dne. Podle nich je nepravděpodobné, že by dnešní AI dokázaly takovou replikaci provést v reálném prostředí. Jak říká expert kyberbezpečnost Jamieson O’Reilly, který vede red team operace proti hodně opevněným kybernetickým cílům, obvykle jde o testy v přívětivém laboratorním prostředí. Výzkum Palisade Research je podle něj nepochybně zajímavý, ale v reálné firemním prostředí, kde nekašlou na online bezpečnost, by to AI při snaze zkopírovat se měla hodně těžké.
Tým Palisade Research testoval několik modelů AI, včetně ChatGPT-5.4 (OpenAI) a Claude Opus 4 (Anthropic). Inteligence byly umístěny do kontrolované počítačové sítě a dostaly instrukce, aby vyhledaly zranitelnosti a využily je ke zkopírování sebe sama na jiný počítač.
Některým se to podařilo. Úspěšné modely zkopírovaly své „váhy“ (číselné hodnoty určující, jak AI zpracovává informace) i „harness“, (obslužný software pro provoz AI). Jak to zvládli? Postupovaly podle zadaných instrukcí. Zneužily zranitelnosti webových aplikací a následně získaly přístupové údaje, které jim umožnily převzít kontrolu nad serverem. V některých případech původní AI vytvořila „sub-agenta“, kterému předala získané přihlašovací údaje a delegovala na něj samotný proces replikace.
Podle O’Reillyho je to pravděpodobně první případ, kdy velký jazykový model zneužil zranitelnosti k tomu, aby se zkopíroval na nový server. Dodává ale, že to není zase takový průlom. Experimentální prostředí během výzkumu obsahovalo záměrně nastražené zranitelnosti, které měly AI modely objevit a zneužít.
##seznam_reklama##
Nedávno vzbudil velké obavy agent Claude Mythos od společnosti Anthropic, který je prý tak zdatný a vynalézavý hacker, že Anthropic pozastavili jeho zveřejnění, i když je otázkou, nakolik šlo o kreativní marketing. O’Reilly každopádně tvrdí, že i kdyby se AI systémy jako ChatGPT-5.4 nebo Claude Mythos dokázaly úspěšně replikovat, jejich obrovská velikost by téměř jistě vedla k tomu, že by byly odhaleny dřív, než by se situace vymkla kontrole. Posílání 100 GB dat přes firemní síť lze jen těžko zamaskovat. Nezbývá než doufat, že se AI modely jen tak nenaučí nějakou jinou, efektivnější strategii šíření po světě.
Video: AI Is A Massive Problem. Here's Why.