Umělé inteligence se stále více prosazují ve zdravotnictví, podnikání, výzkumu i každodenním životě. Současně se z řady důvodů stává větším a větším problémem, že dnešní inteligence jsou do jisté míry nepředvídatelné. Nejdřív je ale nutné zjistit, proč jsou vlastně AI nevypočitatelné.
Andrew Ly a Pulin Gong z australské University of Sydney ve svém novém výzkumu zjistili, že některé projevy nepředvídatelnosti AI nejsou důsledkem konstrukčních nedostatků, nekonzistence počítačového hardwaru nebo nějakých ryze náhodných okolností. Mohou prý vyplývat přímo z matematických principů, podle nichž se neuronové sítě učí. Badatelé odhalili matematický mechanismus, který vysvětluje, proč systémy umělé inteligence mohou dospět k odlišným výsledkům, i když jsou trénovány za téměř identických podmínek.
Jak říká Gong, zatím jsme obvykle připisovali rozdíly v chování umělé inteligence vnějším zdrojům náhodnosti, jako je třeba pořadí, v jakém jsou při trénování předkládána data, nebo nepatrným numerickým odchylkám souvisejícím s hardwarem. Nové výsledky ale ukazují na hlubší příčinu.
Ly s Gongem zjistili, že „trénovací mapa“ umělé inteligence má fraktální strukturu. Představte si, že každý možný počáteční stav trénování představuje jedno místo na mapě. Jednotlivá místa jsou barevně označena podle výsledku, k němuž trénování nakonec dospěje. Oblasti vedoucí ke stejnému výsledku tvoří to, co matematici nazývají oblastmi přitažlivosti (basins of attraction).
Dvojice ze Sydney odhalila, že tyto oblasti mají velice složitou fraktální strukturu (riddled basins). V takovém uspořádání se v libovolně malém okolí každého bodu nacházejí také body vedoucí k jinému výsledku. Ať už mapu zvětšujeme jakkoli, jednotlivé oblasti zůstávají vzájemně propletené a body s jinými výsledky nelze pohodlně oddělit.
Důsledky jsou pozoruhodné. Zvyšování přesnosti počátečního nastavení neuronové sítě nepomáhá. U jedné rozsáhlejší sítě pro rozpoznávání obrazů nepřineslo ani desetimiliardnásobné zvýšení přesnosti počátečních parametrů žádné měřitelné zlepšení reprodukovatelnosti výsledků. Změna počátečního nastavení této sítě o nejmenší možnou hodnotu, kterou počítač dokáže zaznamenat, tedy o jediný bit, přitom vedla téměř v polovině případů (přibližně 48 %) k jiné vnitřní konfiguraci natrénovaného modelu.
Aby svou hypotézu ověřili, vědci natrénovali přibližně 500 000 neuronových sítí. Analyzovali přitom systémy určené k různým úlohám, včetně rozpoznávání obrazů a zpracování textu. Důkazy odpovídající fraktální struktuře typu riddled basins nalezli u široké škály architektur neuronových sítí, datových souborů i trénovacích metod.
Výzkum rovněž odhalil překvapivý kompromis mezi výkonností a reprodukovatelností. Nastavení, která neuronovým sítím umožňují učit se nejvíc efektivně, zároveň ztěžují předvídání a opakování dosažených výsledků. Naopak snížení rychlosti učení (learning rate), tedy velikosti kroku, o který síť při každé úpravě svých parametrů postoupí, sice vedlo k reprodukovatelnějším výsledkům, ale zároveň zhoršovalo efektivitu jejího učení.
##seznam_reklama##
Gong zdůrazňuje, že s rostoucím významem umělé inteligence ve společnosti je pro vývoj důvěryhodných systémů nezbytné zajistit přesnost jejich předpovědí, ale také jistotu, že takové výsledky ustojí ověření opakovanou analýzou. S kolegou nabízejí možnost pochopit limity předvídatelnosti umělé inteligence a hledat cesty k jejich překonání.
Video: Dr. Pulin Gong (November 4, 2025)
Physics Dialogue @ Sydney 2020. A/Prof Pulin Gong, Dr Ben Fulcher and Dr Svetlana Postnova
Literatura