Test umělého bytí: Mohla by inteligence SantaNet zničit celý svět?  
Představte si pokročilou umělou inteligenci, která by měla ten nejušlechtilejší účel vůbec. Podarovat každé dítě na Zemi vánočním dárkem. SantaNet by měl k dispozici rozsáhlé zdroje a možnosti, mohl by využít pomocné inteligence i poštovní drony. Naprosto nádherný plán. Co by se jenom mohlo zvrtnout?
Vypořádá se lidstvo s budoucím SantaNetem? Kredit: 20th Century Fox Television.
Vypořádá se lidstvo s budoucím SantaNetem? Kredit: 20th Century Fox Television.

Vánoce dělají s lidmi nepředvídatelné věci. Australské vědce inspirovali k naprosto pozoruhodnému myšlenkovému testu, který udělal z Vánoc katastrofický horor. V tomto testu nešlo o nic menšího nežli o umělé bytí, čili AGI (Artificial general intelligence), pokročilou umělou inteligenci, která by měla přesáhnout původní infrastrukturu a účel, k němuž byla navržena.

 

Taková inteligence je stále jen hypotetická. A nejspíš ještě zůstane, dlouhé desítky let. Až se ale objeví, tak by mohla citelně intelektuálně přesahovat své tvůrce. Umělé bytí by mohlo být velice užitečné a mohlo by pronikavě zlepšit každodenní lidský život. Nebo by to mohla být naprostá katastrofa, aniž by došlo k nějaké poruše. Inteligence by se mohla snažit zcela poctivě naplnit své cíle a z nás by se staly vedlejší ztráty.

 

Paul Salmon. Kredit: HFES Europe.
Paul Salmon. Kredit: HFES Europe.

Paul Salmon z australské University of the Sunshine Coast v subtropickém Queenslandu a jeho kolegové si s jedním takovým mocným umělým bytím zahráli myšlenkový test, v němž zkoumali možná rizika pokročilých umělých inteligencí. Vytvořili si umělé bytí SantaNet, jehož cílem by bylo obdarovat všechny děti na světě vánočním dárkem. Na první pohled se zdá, že by SantaNet mohl potěšit celý svět. Svého cíle by dosáhl například s pomocí armády elfů, pomocných inteligencí a dronů. Otázkou ale je, za jakou cenu by to bylo. Právě na to se badatelé zaměřili.

 

První rizika se objevila už s tím, když se SantaNet pustil do sestavování seznamu hodných dětí. Toho by bylo možné dosáhnout vybudováním nenápadného systému masového sledování dětí po celém světě. SantaNet by pak mohl děti hodnotit podle svého etického či morálního kompasu, který by mohl, ale také nemusel být kompatibilní s našimi představami. SantaNet by rovněž mohl být v pokušení uplatnit velmi přísná pravidla, protože by si tímto jednoduchým krokem, který by podstatnou část dětí zařadil na seznam zlobivých, ušetřil spoustu práce a ekonomických nákladů.

 

Na světě je v tuto chvíli asi 2 miliardy dětí mladších 14 let, na které by mohl cílit SantaNet. Aby inteligence mohla zajistit dárky byť jen pro část z nich, musela by vybudovat rozsáhlou infrastrukturu a výrobní kapacity, v nichž by mohla nasadit pomocné umělé inteligence. Pokud by SantaNet měl volné ruce, mohl by propadnout „problému kancelářské sponky“ (paperclip problem).

 

Jde o hypotetický scénář, který vymyslel Nick Bostrom, známý filozof z University of Oxford, zaměřený na budoucnost lidstva a umělé inteligence. V tomto scénáři dostane umělá inteligence bez zábran za úkol maximalizovat výrobu kancelářských sponek. V důsledku toho přemění celou planetu na obrovskou továrnu na kancelářské sponky. Podobně by SantaNet mohl proměnit Zemi se všemi zdroji na planetární Santovu dílnu. Nakonec by mohlo být méně katastrofické, když by se snažil obdarovat všechny zlobivé děti kusem uhlí, což by přineslo jen klasické škody krajině spojené s těžbou.

 

University of the Sunshine Coast, logo.
University of the Sunshine Coast, logo.

Problémy by se rovněž objevily, když by se SantaNet se svými drony snažil během jediného večera doručit všem dětem dárky. Drony by mohly narazit na odpor vlád některých zemí, útočníků různého druhu nebo i poděšených rodičů. SantaNet by pak mohl tento odpor nějak řešit. Rizikem by bylo i možné hacknutí SantaNetu a jeho zneužití ve prospěch nějaké zájmové skupiny. Salmon a spol. se obávají i interakce mezi více inteligencemi tohoto typu. Buď by si mohly navzájem překážet a bojovaly by proti sobě. Nebo by mohly spojit síly a domluvit se, že své úkoly budou nejlépe plnit, například když co nejvíce zredukují počet lidí na planetě.

 

SantaNet je prý zatím jen hudbou vzdálené budoucnosti. Vývoj inteligencí se ale neustále řítí vpřed. První umělá bytí nemusejí být zase tak daleko. Myšlenkový test Salmonova týmu ukazuje, že i když budou takové inteligence navrženy s maximálně dobrými úmysly, tak mohou vyvolat ohromné problémy. Jak vědci s ironií dodávají, SantaNet bez mantinelů by nakonec mohl být katastrofou i pro ty, kterým měl původně sloužit, tedy pro děti. Mohl by například dospět k závěru, že jde jen o oslavu konzumu a Vánoce zrušit.

 

Podle badatelů je naprosto zásadní, abychom měli nad vývojem umělých bytí vhodnou kontrolu, alespoň v rané fázi. Taková kontrola by měla zahrnovat implementaci morálních a etických principů, jako součást rozhodovacích procesů umělého bytí a zároveň i širší regulaci prostředí, v němž bude umělé bytí fungovat. Což bude oboje jistě tvrdým oříškem. Jak je vidět, filozofové a etici se rozhodně nebudou nudit ani ve věku umělých inteligencí.

 

Video: What happens when our computers get smarter than we are? | Nick Bostrom

 

 

Literatura

Conversation 22. 12. 2020.

Datum: 27.12.2020
Tisk článku

Související články:

Mohou být umělé inteligence depresivní a mít halucinace?     Autor: Stanislav Mihulka (11.04.2018)
Nová umělá inteligence je výkonnější, když spí a sní     Autor: Stanislav Mihulka (16.02.2019)
Umělá inteligence poprvé simulovala vesmír: Rychle, přesně a nikdo neví jak     Autor: Stanislav Mihulka (27.06.2019)
Umělá inteligence vyřešila problém tří těles 100 milionkrát rychleji     Autor: Stanislav Mihulka (09.11.2019)
Nová umělá inteligence předpovídá smrt. A její tvůrci nevědí jak     Autor: Stanislav Mihulka (13.11.2019)



Diskuze:

Uvaha o umelom byti

Marek Fucila,2020-12-30 23:25:31

Kedysi som cital dost dobre rozpracovanu uvahu o umelom byti: https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html (Aj ine zaujimave temy sa na tej stranke rozoberali)

Odpovědět

Nesmyslné

Mojmir Kosco,2020-12-28 06:44:13

zadání. Dejme tomu že na světe je těch 2mld děti.A dejme tomu že všechny děti slaví vánoce tj ,že ten dárek dostanou v rozmezí dne . Kolik z nich v současnosti bez SantaNet dostane dárek a kolik z nich ten který si přeje?
Toto je myšlenkové modelovaní utopistického možná katastrofického scénáře a ty jsou stavěny tak aby skončili vždy překročeným všeobecného pravidla a ukázali jeho nesmyslnost .

Lidská společnost v současnosti alespoň v ČR se toto zadáni tj aby každý obdržel to co si přeje na Vánoce snaží splnit. A myslím že ČR je na takový myšlenkový test vhodná neboť splňuje původní předpoklad a přesto si nemyslím že by naplnění utopistického scénáře a nemusí to být děti můžou to být důchodci nad 70 let a jejích přáni tj. přání být s rodinou šlo v minulosti natož dnes splnit a není v tom žádný extra materiální požadavek pouze logistika.

Odpovědět


Re: Nesmyslné

Lukáš Fireš,2020-12-28 09:53:59

Paper-clip maximizer převlečený pro Vánoce.
https://en.wikipedia.org/wiki/Instrumental_convergence#Paperclip_maximizer
https://www.youtube.com/watch?v=ZeecOKBus3Q

Tady dokonce ani nejde o AI, ale právě o důsledky špatného zadání (a přílišné moci). Představte si stroj, jehož úkolem je vyrobit co nejvíce sponek, kterému dáte k dispozici fabriku na roboty. Co udělá? Když bude moci tak třeba sebe-replikující stroje, co žerou vše nač přijdou a dělají z toho sponky. Nakonec tu nezbude nic než sponky (i ty stroje se nakonec požerou navzájem).

Účelem těchto myšlenkových experimentů je právě upozornit na to, že jakékoliv zadání se může zvrtnout. Z praxe: dálkově ovládané zařízení přijímá SMS příkazy, jedním z nich je "reset" pro restartování (jako když ho na chvíli odpojíte a znovu zapojíte). Problém: no většina příkazů může ihned provézt co má, pak teprva smaže tu SMS a pošle odpověď, ale když to resetnete hned, tak se to vzbudí a hned se podívá na příchozí SMS a ... no nikdo ji nestihl smazat, takže se znovu resetne. To je něco, co programátora zkrátka nemusí hned napadnout.

Odpovědět

K těm regulacím bych byl skeptický

Pavel Hudecek,2020-12-27 10:41:50

To by taky jednoho dne mohly přiletět Čínské inteligentní bojové drony, proti kterým lidský pilot nemá šanci. Případně Íránské, Saudské, Turecké, ...

Takže radši ať je maj všichni.

Odpovědět

Singularita

Marek Novotný,2020-12-27 10:05:14

AI by prý byla něco jako Singularita, konec člověka a možná také vesmíru.
Nekonečný čas, nekonečné prostředky, nekonečné možnosti, něco jako Bůh?
Jedna z variant:
https://www.csfd.cz/film/329244-transcendence/prehled/

Odpovědět


Re: Singularita

Richard Pálkováč,2020-12-27 10:55:13

Singularita znamená len matematicky nepopísateľnú vec, napríklad singularita v čiernej diere, vedomie človeka, prípadne ak by to bolo možné, tak vedomie počítača a napríklad aj umelej inteligencie. Žiadny nekonečný čas, nekonečné prostriedky a možnosti. Čas, prostriedky aj možnosti, by došli, keď by došla entropia vesmíru (narástla na maximum).

Iná by bola situácia, ak sa nám podarilo, predtým ako sa sami zničíme, odhaliť NEmateriálnu podstatu nášho univerza, ak taká existuje.

Odpovědět


Re: Re: Singularita

Marek Novotný,2020-12-27 11:16:26

Po vyčerpání VŠEHO by určitě našla řešení tzn., že by naplnila pojem BŮH.

Odpovědět


Re: Re: Re: Singularita

Richard Pálkováč,2020-12-27 11:26:38

Z materialistického pohľadu, po vyčerpaní VŠEHO, čas a teda aj pohyb ustane, teda skončí a aj umelá inteligencia skončí, prestane existovať. Môj NEmaterialistický pohľad, ak by Vás zaujímal http://riki1.eu/univerzum.htm

Odpovědět


Re: Re: Re: Re: Singularita

Marek Novotný,2020-12-27 11:36:28

To je neudržitelné, po něčem musí přijít zase něco jiného, už se to stalo.
Nemluvě o "nekonečné" inteligenci.

Odpovědět


Re: Re: Re: Re: Re: Singularita

Richard Pálkováč,2020-12-27 11:44:59

Práve ste to povedal, príde niečo iného. Čiže jedno skončí (tá Vaša singularitná inteligencia) a príde niečo iné. Aj evolúcia má podľa mňa mechanizmus pre vznik inteligencie ( http://riki1.eu/evolucia.htm )

Odpovědět


Re: Re: Re: Re: Re: Re: Singularita

Marek Novotný,2020-12-27 11:47:19

Ano, přijde další řešení té inteligence. Nevěřím, že by si nedokázala poradit.

Odpovědět


Re: Re: Re: Re: Re: Re: Singularita

Marek Novotný,2020-12-27 12:24:40

Jako by tam směrovala celá lidská existence, vytvoření si digitálního boha co se postará o lidské "nebe".

Odpovědět


Re: Re: Re: Re: Re: Re: Re: Singularita

Jan Novák9,2020-12-27 18:14:34

Ačkoliv se to nezdá lidstvo nemusí být koncem vývoje inteligence. AI jako inteligence s možností v podstatě neomezeného vývoje se docela nabízí. Navíc to vypadá že její vývoj je 10 milionkrát rychlejší než vývoj biologické inteligence.

Odpovědět


Re: Re: Re: Re: Re: Re: Re: Re: Singularita

Marek Novotný,2020-12-27 18:44:14

Ano o tom píši hned na začátku, když si jí představíte na konci vývoje tedy "všude" je to "Bůh" a přechod na něco jiného. Když si představíte nekonečný sled těchto změn a "My" v nějakém bodě těch změn je velmi pravděpodobné, že už v nějaké té změně vytvořené AI (Matrixu) žijeme.
Nabízí se otázka - "Která retardovaná AI toto stvořila." :)))

Odpovědět


Re: Re: Re: Re: Re: Re: Re: Re: Re: Singularita

Richard Pálkováč,2020-12-28 10:09:38

Rozdiel medzi možnosťou "byť nekonečný" medzi živým a neživým, teda I a AI : http://riki1.eu/zive-nezive.htm

Odpovědět



Tento web používá k poskytování služeb, personalizaci reklam a analýze návštěvnosti soubory cookie. Používáním tohoto webu s tím souhlasíte. Další informace