Dojde k válce s umělou inteligencí? Kredit: SM a Grok AI

Cynik by nejspíš řekl, že jsme se od „vždyť to jsou jenom programy“ dostali docela daleko. Generativní inteligence předvedly ohromující schopnosti a v zákulisí kolují neuvěřitelné zvěsti o tom, co inteligence dokázaly a čeho dosáhnou v nejbližší době. Je to fascinující fenomén, co se nám doslova rodí pod rukama, ale také vzbuzuje strach. Příliš jsme si zvykli na to, že po vytlačení neandertálců jsme jediným pořádně chytrým druhem této planety.

Simon Goldstein. Kredit: S. Goldstein.

Simon Goldstein z University of Hong Kong nedávno analyzoval situaci, v níž by se umělé inteligence a lidstvo střetly v divokém násilném konfliktu, který by představoval katastrofální riziko. Měl přitom na mysli obecnou inteligenci AGI (Advanced General Intelligence), která bude mít v řadě ohledů (přinejmenším) lidské schopnosti, včetně dlouhodobého plánování. Taková inteligence podle všeho není tak daleko, jak by si mnozí přáli.

AGI by měly navrhovat celé systémy, využívat rozmanité zdroje a směřovat k složitým cílům. Takové inteligence by se hodily v řadě odvětví a vývoj k nim směřuje. Podle Goldsteina obvykle předpokládáme, že taková inteligence bude spolupracovat, a že bude přátelská vůči lidstvu a planetě Zemi. Žádnou záruku na to ale nemáme.

Autor studie se soustředí na konflikty cílů s lidstvem, na strategické uvažování těchto inteligencí a na jejich moc, srovnatelnou s lidskou. Jeden z problémů s inteligencemi je v tom, že se mohou množit a pronikat do cloudů i do hmatatelné elektroniky, mimo dohled. Také mohou tajně spolupracovat, aniž by si toho lidé všimli.

Goldstein upozorňuje na to, že AGI zřejmě budou mít cíle, které budou v konfliktu s našimi cíli. Vývojáři vytvářejí inteligence tak, aby překonaly člověka a moc si nelámou hlavu s tím, že se příliš neshodují s lidskými zájmy nebo se prostě chovají divně. Čím více dáme inteligencím výkonu, autonomie a zdrojů, tím více toho pro nás mohou udělat. Současně ale nemají jasně vytyčené cíle, učí se z toho, co je po ruce a fungují jako blackbox, jemuž nevidíme do karet.

Logo. Kredit: University of Hong Kong.

Jaký by byla AGI soupeř? Mohla by tlačit lidi do občanských válek. Mohla by válčit nějakým novým, cizím způsobem. Není vyloučeno, že nebude respektovat geografii, státní hranice, města nebo třeba zajatce. Také prý hrozí, že tak jak AGI snadno vstoupí do válečného konfliktu, nemusí pak vyhledávat mír.

Po zvážení celé řady faktorů dospěl Goldstein k závěru, že inteligence AGI a lidé pravděpodobně střetnou ve válce, jakmile nějaká AGI ovládne podstatnou část světových ekonomických zdrojů. Jedním dechem také navrhuje opatření, která by mohla takové riziko snížit. Můžeme vylepšovat měření schopností AGI, utlumovat překotný vývoj AGI nebo navrhovat inteligence tak, aby byly podobnější lidským. Také můžeme nechat AI, aby se podílely na demokratických politických institucích.

Video: The AI Safety Dynamic - Simon Goldstein

Literatura

Phys.org 29. 9. 2025.

AI & Society 17. 7. 2025.