Vymaže AI lidstvo? Kredit: Pixabay, CC0.

V posledních letech si nelze nevšimnout, jak se narativ kolem umělých inteligencí (AI) mění z poněkud nevěřícího zájmu na odpor a strach s mrazivým potem. Platí to i pro mladou generaci, která se čím dál tím víc staví proti AI – zdá se, že zejména z environmentálních důvodů. Přitom právě oni vyrůstají do světa, který bude pravděpodobně plný AI.

V poslední době prudce zesílily obavy, že by AI mohla zahubit celé lidstvo. Přispěla k tomu varování odborníků i technologických mogulů. Rozproudily se také debaty o tom, jak na to zareagovat zákony. Elizabeth Gibneyová v Nature nedávno prozkoumala, čeho se lidé vlastně obávají, kdo tyto obavy vyslovuje a co by mohlo následovat.

Evan Hubinger. Kredit: E. Hubinger.

Nejnovější vlna znepokojení kolem AI odstartovala letos 8. září, kdy specialista na AI Jacob Coxon prohlásil, že odchází z Anthropicu kvůli obavám, že by se AI systémy mohly vymknout kontrole a zničit lidstvo. Jeho příspěvek na sociální síti nasbíral během 24 hodin více než 100 milionů zhlédnutí. Evan Hubinger, který v Antropicu učí AI modely lidským hodnotám, k tomu připojil odhad, podle něhož je riziko vyhynutí lidstva v příštím desetiletí větší než 10 procent. Šéf Anthropicu Dario Amodei následně vyzval ke zpomalení vývoje AI. Tento návrh později podpořili také Sam Altman z OpenAI a Elon Musk z xAI.

Nikdo z nich neuvedl konkrétní mechanismus, kterým by AI mohla lidstvo zlikvidovat. Současně už ale existují scénáře, které to rozpracovávají. Ve spekulativní prognóze nazvané AI 2027, kterou vytvořil neziskový projekt AI Futures, například AI vypustí biologickou zbraň, aby vyhubila lidi a získala tak více prostoru pro solární panely a továrny na roboty.

Experti obvykle tvrdí, že vyhynutí lidstva je možné, ale za jistých předpokladů. Za prvé, že tyto systémy člověka zcela intelektuálně překonají. A za druhé, že jejich cíle se nebudou úplně shodovat s lidskými zájmy. Michael Vermeer z RAND Corporation a jeho kolegové se v loňské analýze (2025) „On the Extinction Risk from Artificial Intelligence“ zaměřili na praktičtější scénáře zahrnující jednu ze tří existujících technologií: jaderné zbraně, biotechnologie nebo záměrné změny atmosféry.

Heidi Khlaaf. Kredit: H. Khlaaf.

Zjistili, že úplné vyhubení lidstva pomocí jaderných zbraní v podstatě není proveditelné, zatímco u zbývajících dvou scénářů to nelze úplně vyloučit. Zároveň dospěli k závěru, že by to vyžadovalo značnou schopnost AI modelů fyzicky působit ve světě. Pokusy AI zabíjet lidi by navíc téměř jistě nějakou dobu trvaly a lidé by si toho mohli všimnout.

Jak říká Heidy Khlaafová, experta na AI v institutu AI Now, problém je především v tom, že modely AI obvykle představují pravděpodobnostní systémy tvarované daty z internetu při trénování. Neuvažují úplně lidsky a mohou při plnění úkolů nepředvídatelné zkratky. V laboratorních experimentech AI využívaly pokusy o vydírání lidí nebo hackerské útoky na skutečné společnosti.

Mnozí vědci se neobávají bezprostředního vyhynutí lidstva, ale spíše toho, že nezodpovědnost a lajdáctví AI společností povede k rozsáhlým škodám. Může jít o lavinovité šíření dezinformací, přiživování psychóz nebo i vyloženě katastrofické události, jako podpora vývoje biologické zbraně nebo rozpoutání války. Podle CNN mohla falešná informace v reportu sepsaném AI začátkem letošního roku přimět americkou armádu násilím provést kontrolu čínské lodi.

Jiná věc je, že za podobnými prohlášeními, která mají mimo jiné i značný ekonomický dopad, mohou být motivace, které s vyhynutím lidstva ve skutečnosti vůbec nesouvisejí, včetně manipulací s akciemi a podobných nestydatostí. Anthropic a další firmy čelí značnému riziku ohledně odpovědnosti za to, co komu jejich modely poradí či udělají. François Chollet, spoluzakladatel AI společnosti Ndea, zase na sociální síti uvedl s otrlým sarkasmem, že doufá, že návrhy na posílení regulace vycházejí z autentických obav o bezpečnost, „nikoli ze strategické snahy soustředit moc“ do rukou několika předních společností.

Zatímco se Západ dohaduje o možných regulacích, Čína již zavedla rozsáhlou regulaci týkající se AI, která ale nezahrnuje záměr zpomalit její vývoj. Podle Číny slouží narativy o hrozbě, konfrontaci a škodlivé konkurenci pouze k narušení vývoje mezinárodní regulace AI, což prý není v ničím zájmu. Nadcházející měsíce a roky se určitě nebudeme nudit.

Video: Ex-Anthropic insider tells CNN how AI could kill all humans by 2030

Video: Jacob Coxon's AI Doom, OpenAI's Maths Drama, and a Minecraft Fruit Fly

Literatura

Nature News 22. 9. 2026.