Alpha Zero: soumrak slabých umělých inteligencí  
Před 20 lety se lidé začali děsit, že počítače začínají být chytřejší než člověk. Garry Kasparov tehdy podlehl Deep Blue. Letos nás ten stroj už děsit nemusí. Nevyhraje ani jedinou ze sta partií proti Alpha Zero.

Šachové programy obvykle pracují na bázi pravidel, člověkem vložené vyhodnocovací funkce a procházení tahů do hloubky.


Vyhodnocovací funkce vypočítá skóre na základě materiálu (např. vlastní věž +500, soupeřův střelec -300), pozice (chráněný král, zdvojení pěšci, pokrytá pole a podobně) a tzv. doménové adaptace (v případě šachů databáze zahájení, koncovek a vybraných partií). Takto dokáží soutěžní sestavy vyhodnotit řádově miliony pozic za sekundu, což jde jako vstup do prozkoumávání všech legálních tahů. Ke každému z těchto tahů se zkoumají všechny možné soupeřovy reakce a počet možností exponenciálně roste: hrubé síle bezchybné vyhodnocovací funkce tak na výkonných strojích trvá přemýšlení šesti tahů dopředu řádově sekundy (a více příliš dlouho), což nestačí na velmistrovskou úroveň.

 

Drtivá většina pozic je však velmi hloupých a zavčasu se zavrhnou, což umožňuje hlubší prozkoumávání těch perspektivních. Má to ale háček: co může zprvu vypadat jako kiks (blunder), se může za pár tahů ukázat jako geniální obětování figury vedoucí k výhodě. Na člověka to ale bohatě stačí a lidé (komentátoři i hráči) dnes na stroje velmi spoléhají a vedou úvahy typu "Počítač tento tah nevyhodnotil dobře, byla to tedy chyba." Abychom se necítili méněcenně, nazýváme šachové stroje "umělou inteligencí", přestože to obvykle není nic víc, než bylo zmíněno výše.

Kdybychom této tzv. inteligenci upravili pravidla (například pro hraní střílečky), musel by člověk dodat jinou vyhodnocovací funkci a doménovou adaptaci, jinak by tato inteligence zůstala v jiných oblastech nepoučitelně blbá (politicky korektně ji označujeme "slabá umělá inteligence").

 

Princip prořezávání rozhodovacího stromu je u šachu účinný: každé pozici je průměrně 35 tahů možných, a průměrně jen 3 tahy rozumné, výkonné stroje tak dokáží vidět nejméně deset tahů dopředu.


Prořezávání stromu ale není vhodné např. pro hru Go (strom je tam příliš široký) a naopak velmi vhodné pro neuronové sítě (pracuje se vzory, transpozicemi) a není proto divu, že je pro pokročilé hráče celkem schůdné porazit i silné stroje, zatímco síť AlphaGo před časem porazila nejlepšího hráče Go, Lee Sedola.


Alpha Zero je ale jiná než AlphaGo: Zero znamená, že člověk nedodává žádnou doménovou adaptaci, pouze pravidla hry. Vyhodnocovací funkci si síť vytvoří na základě her sama se sebou a zpětnovazebného učení (reinforcement learning) pomocí nelineární vyhodnocovací funkce aplikující obecný MCTS algoritmus v hlubokých neuronových sítích (DNN).[1]


Univerzalita učení byla otestována ve třech různých hrách: šachy, shogi a go. Ve všech byla Alpha Zero s to porazit nejsilnější stroje, přestože odkázala vyhodnocovat řádově desetitisíce tahů za sekundu (tisícinový výkon oproti umělým protivníkům). Alpha Zero také hraje Atari hry, kde na vstup dostává pouze obraz. Nejenže se velmi brzy naučí hrát nadlidsky, ale dokáže si vytvořit i to, co chápeme jako strategii (např. u hry Breakout "přišla" na to, že cihličky se efektivněji likvidují, když si míčkem prorazí tunel na kraji do prostoru nad ním, viz video [2]).


U šachů bylo vítězství Alpha Zero nejpřesvědčivější: se známým algoritmem Stockfish využívajícím prořezávání stromu měla skóre (25-25-0) na pozici bílého a (3-47-0) na pozici černého, a to pouze po čtyřhodinovém předchozím trénování. Autoři zveřejnili 10 z těchto partií [1], které se oproti lidským vyznačují délkou (60, 80, 100 a více tahů), překvapivě poziční hrou Alpha Zero[3][4] a častými příležitostmi k remíze opakováním[5][6].


Jsme na prahu silné umělé inteligence?

 


 

Zdroje
[1] https://arxiv.org/pdf/1712.01815.pdf

[2] Video:  Google DeepMind's Deep Q-learning playing Atari Breakout

 

[3] Video: AlphaZero teaches Stockfish a lesson in the French Defense


[4] Video: AlphaZero demonstrates synergy to Stockfish


[5] Video: AlphaZero's bishop pair proves too difficult for Stockfish

 

6] Video:  Google's self-learning AI AlphaZero masters chess in 4 hours

Autor: Jan Turoň
Datum: 23.12.2017
Tisk článku

Související články:

Tak už je to tady: Čína staví terminátora     Autor: Jan Turoň (19.01.2017)
Umělá inteligence DeepCoder sama programuje vykrádáním jiných programů     Autor: Stanislav Mihulka (26.02.2017)
Skvělá bojová inteligence ALPHA pomáhá psychiatrům léčit bipolární poruchu     Autor: Stanislav Mihulka (17.06.2017)
US Army testuje Strykery s umělou inteligencí     Autor: Stanislav Mihulka (09.10.2017)
Umělá inteligence Shelley píše hororové texty. A je v tom dobrá     Autor: Stanislav Mihulka (27.10.2017)



Diskuze:

Znemožnění diskuze.

Kovák Novák,2018-01-02 11:19:23

Všimli jste si i ostatní, že Vám umožní diskutovat jen 1x maximálně 2x a potom se najednou nemůžete přihlásit. Klidně to zkusíte pod jinou adresou a ono se to opakuje. Ale nicky Krnič apod. jsou nezničitelné. Celá ta komedie na diskuzi je trapná a já to zde jen ventiluji, abyste to věděli, že nejste sami -)).
Uvedu to u maxima článků, dokud nebudu vymazán. Zn. OSEL pro osly ......

Odpovědět

Marek Dendes,2017-12-24 10:56:18

evidentne nemas ani potuchy ako funguje reinforcement learning ... to nieje algoritmicky vypoctovy vykon pre urcity typ operacie... trosku si o tom nastuduj... co sa tyka efektivity a spotreby voci ludskemu mozgu,, to je len otazka casu, v tomto napredujeme stale rychlejsie.. za 15 rokov budes mat v telefone procesor vypoctovou kapacitou daleko prekonavajuci ludsky mozog

Odpovědět


Re:

Jan Turoň,2017-12-24 15:18:19

Ale no tak, trochu úcty a slušnosti, aspoň na Vánoce. Místo "trošku si o tom nastuduj" by bylo produktivnější zkusit napsat popularizační článek na téma zpětnovazebného učení v hlubokých neuronových sítích. Jako zjevně zasvěcený odborník byste možná také mohl vysvětlit ten mystický pojem "algoritmický výpočetní výkon" (se kterým ve své reakci tak familiérně operujete).

Odpovědět


Re: Re:

Stanislav Petr,2017-12-24 15:30:38

Pane Turoni, děkuji Vám za Váše příspěvky a umravňující poznámku. Napište Vy něco o " algoritmickém výpočetním výkonu". Jsem průměrný šachista. Herní styl AlphaZero je asi, ne jenom pro mě, ohromující. Možná AZ vymyslí nějakou zajímavější hru než šachy.

Odpovědět


Re: Re: Re:

Milan Krnic,2017-12-24 22:09:37

Jenže výraz "algoritmický výpočetní výkon" nedává smysl. Mě osobně více ohromuje Magnus Carlsen.

Odpovědět


Re: Re: Re:

Jan Turoň,2017-12-24 23:52:50

Pojem algoritmický výpočetní výkon mi nedává smysl (mám pocit, že se tu vyskytla ekvivokace slova výkon: ten měřený ve wattech a ten měřený ve FLOPech), rád bych proto, aby zde Marek s Milanem vysvětlili, co ve svých příspěvcích tím pojmem myslí, abychom předešli nedorozumění.
Myslím, že hra AZ už je zcela mimo lidské možnosti, viz analýza IM zde https://www.youtube.com/watch?v=GWH4GHf8k6M. Možná kdyby byl žil Paul Morphy...

Odpovědět


Re: Re: Re: Re:

Milan Krnic,2017-12-25 01:23:17

Já psal "výpočetní algoritmický výkon", jinými slovy, (strojový) výkon v řešení algoritmů.
Algoritmus viz https://cs.wikipedia.org/wiki/Algoritmus
Počítače programujeme! (Jak je to s Ježíškem prozrazovat nebudu!)

Odpovědět


Re: Re:

Jaroslav Langr,2017-12-24 23:52:28

Výborný článek. Myslím si, že když chci napsat kritickou poznámku k nějakému článku, měl bych také současně vysvětlit (lépe než autor článku), co je tam špatně a popsat "správné" vysvětlení. Jinak kritika nedává smysl.
Jinak dále pokračuje i vývoj hardwaru. Viz IBM https://www.ibm.com/blogs/research/2017/07/brain-inspired-cvpr-2017/

Odpovědět


Re: Re:

Marek Dendes,2017-12-25 01:05:00

ardon, to je omyl, moha teskcia nebola na vas clanok, ten je naprosto v poriadku a zaujimavy

to bola reskcia na prispevok milana krnica dole nizsie len zial zrejme som sa uklikol a nedalo to pod neho

Odpovědět

Kalkulačky

Milan Krnic,2017-12-23 22:23:12

Jenže to není inteligence, to je pouze výpočetní algoritmický výkon pro určité typy úloh, který v poměru k inteligenci člověka spálí neporovnatelně více energie, a je tedy proti nám vysoce neefektivní. Až tomu budu moct dávat nevídané a hlavně rozmanité úkoly k vyřešení, a nespálí to u toho půl energie Slunce, můžeme se bavit třeba o like-inteligenci. :)
Tématická přednáška: Jiří Wiedermann - Mohou stroje myslet? (KS ČAS 11.12.2017)
https://www.youtube.com/watch?v=GgpB06OS3Ec

Odpovědět


Re: Kalkulačky

Jan Turoň,2017-12-24 11:01:24

Myslím, že spotřeba energie je pouze kvantitativní záležitost: začínali jsme s ENIACem se spotřebou v řádech MW a jsme na mobilech s milionkrát větším výkonem a milionkrát menší spotřebou (zhruba řádově) a narozdíl od frekvence procesorů se fyzikálním limitům spotřeby neblížíme.
Asi to v článku zapadlo, ale Alpha Zero neobsahuje doménovou adaptaci a je schopna plnit rozmanité úkoly: stačí zadat pravidla a cíle. Přínos Alpha Zero je spojení DNN + MCTS a nápad s nelineární aktualizační funkcí. Je dost možné, že to může být princip lidského myšlení - vzhledem k tomu, že pramálo víme o mechanismech vlastního podvědomí a zkoumáme pouze jeho fenomény a jsme daleko k jejich podstatě. Je také dost možné, že nám to tato síť vysvětlí, když jí jako vstup dáme dostatečně přesný EEG lidského mozku (podobně jako nám v uvedených šachových partiích vysvětlila, že Berlínská obrana je velmi účinná a že pozice má ještě větší význam, než jsme si mysleli).
Ale jak Wiedermann podotýká - je třeba se oprostit od antropomofického chápání inteligence.

Odpovědět


Re: Re: Kalkulačky

Milan Krnic,2017-12-24 12:07:59

Alpha Zero není, jak autoři tvrdí, "tabula rasa". Na filosofickou debatu to zatím nedá. Systém zpětné vazby. atp. do stroje vložili lidé.
"možné, že nám to tato síť vysvětlí" to samozřejmě je. Uvidíme. Výhodu má Marek výše, ten ví.
Od antropomofického chápání inteligence se oprostíme jedině zavedením nového názvosloví, neboť
"Rozum je schopnost lidské mysli zobecňovat jednotlivé zkušenosti ..."
https://cs.wikipedia.org/wiki/Rozum

Odpovědět


Re: Kalkulačky

Pavol Hudák,2017-12-24 15:43:47

ludsky mozog sa vyvijal stovky milionov rokov. dajte googlu este tych 5-10 rokov, kym tu umelu inteligenciu zavrhnete.. myslim ze budete sakra prekvapeny ;)

Odpovědět


Re: Re: Kalkulačky

Milan Krnic,2017-12-24 22:04:05

Já zavrhuji jen to současné označení.
Vás optimismus je jen jeden z mnoha pohledů.
A ty existují prakticky na cokoli. Proto uvádějme z jakého pohledu na věc nahlížíme a respektujme význam slov. Tím se vyhneme monohým nedorozuměním.
Pokud bych nahlížel na problematiku (nejen) vaším pohledem, vyvstávaly by mi filosofické otázky spíš, než ty současné názvoslovní.
Jenže jak to bude za těch 5 - 10 let ... Všeho do času. Uvidíme.

Odpovědět


Re: Kalkulačky

Jan Novák9,2017-12-24 22:36:45

Na spotřebě nezáleží pokud je realizovatelná. Jde o škálovatelnost. pokud bude AI mít 1000x větší výkon za cenu miliardkrát větší spotřeby = spotřeba dnešních počítačů dohromady, nebude jí lidstvo schopné konkurovat protože v oblasti inteligence miliardkrát jedna je pořád jenom o málo více než jedna. Bude to spíše pobídka pro AI zničit lidstvo k uvolnění energie pro vlastní zlepšení.

Odpovědět


Diskuze je otevřená pouze 7dní od zvěřejnění příspěvku nebo na povolení redakce








Zásady ochrany osobních údajů webu osel.cz