Cynik by nejspíš řekl, že jsme se od „vždyť to jsou jenom programy“ dostali docela daleko. Generativní inteligence předvedly ohromující schopnosti a v zákulisí kolují neuvěřitelné zvěsti o tom, co inteligence dokázaly a čeho dosáhnou v nejbližší době. Je to fascinující fenomén, co se nám doslova rodí pod rukama, ale také vzbuzuje strach. Příliš jsme si zvykli na to, že po vytlačení neandertálců jsme jediným pořádně chytrým druhem této planety.
Simon Goldstein z University of Hong Kong nedávno analyzoval situaci, v níž by se umělé inteligence a lidstvo střetly v divokém násilném konfliktu, který by představoval katastrofální riziko. Měl přitom na mysli obecnou inteligenci AGI (Advanced General Intelligence), která bude mít v řadě ohledů (přinejmenším) lidské schopnosti, včetně dlouhodobého plánování. Taková inteligence podle všeho není tak daleko, jak by si mnozí přáli.
AGI by měly navrhovat celé systémy, využívat rozmanité zdroje a směřovat k složitým cílům. Takové inteligence by se hodily v řadě odvětví a vývoj k nim směřuje. Podle Goldsteina obvykle předpokládáme, že taková inteligence bude spolupracovat, a že bude přátelská vůči lidstvu a planetě Zemi. Žádnou záruku na to ale nemáme.
Autor studie se soustředí na konflikty cílů s lidstvem, na strategické uvažování těchto inteligencí a na jejich moc, srovnatelnou s lidskou. Jeden z problémů s inteligencemi je v tom, že se mohou množit a pronikat do cloudů i do hmatatelné elektroniky, mimo dohled. Také mohou tajně spolupracovat, aniž by si toho lidé všimli.
Goldstein upozorňuje na to, že AGI zřejmě budou mít cíle, které budou v konfliktu s našimi cíli. Vývojáři vytvářejí inteligence tak, aby překonaly člověka a moc si nelámou hlavu s tím, že se příliš neshodují s lidskými zájmy nebo se prostě chovají divně. Čím více dáme inteligencím výkonu, autonomie a zdrojů, tím více toho pro nás mohou udělat. Současně ale nemají jasně vytyčené cíle, učí se z toho, co je po ruce a fungují jako blackbox, jemuž nevidíme do karet.
Jaký by byla AGI soupeř? Mohla by tlačit lidi do občanských válek. Mohla by válčit nějakým novým, cizím způsobem. Není vyloučeno, že nebude respektovat geografii, státní hranice, města nebo třeba zajatce. Také prý hrozí, že tak jak AGI snadno vstoupí do válečného konfliktu, nemusí pak vyhledávat mír.
Po zvážení celé řady faktorů dospěl Goldstein k závěru, že inteligence AGI a lidé pravděpodobně střetnou ve válce, jakmile nějaká AGI ovládne podstatnou část světových ekonomických zdrojů. Jedním dechem také navrhuje opatření, která by mohla takové riziko snížit. Můžeme vylepšovat měření schopností AGI, utlumovat překotný vývoj AGI nebo navrhovat inteligence tak, aby byly podobnější lidským. Také můžeme nechat AI, aby se podílely na demokratických politických institucích.
Video: The AI Safety Dynamic - Simon Goldstein
Literatura
Inteligence GPT-4 si najala člověka kvůli překonání testu CAPTCHA. A lhala mu
Autor: Stanislav Mihulka (17.03.2023)
Fantastická cesta do hlubin duše Claude 3 odkrývá fungování generativní AI
Autor: Stanislav Mihulka (23.05.2024)
Emoce ve stroji: Mohou být generativní inteligence vtipnější než lidé?
Autor: Stanislav Mihulka (04.07.2024)
Drsné AI: Pokročilé inteligence v ohrožení lžou, vydírají a vyhrožují
Autor: Stanislav Mihulka (30.06.2025)
Diskuze:
Drobná poznámka
Petr Hilaris,2025-10-06 16:42:35
Pokud necháme stranou tzv. syntetickou biologickou inteligenci využívající živé mozkové buňky, která je teprve v počátcích, tak se pod pojmem AI skrývají určité komplexní matematické modely. Tato AI zpracovává konečný počet vstupů, z nichž některé mohou být pseudonáhodné nebo i fyzikálně náhodné, a má danou vnitřní strukturu s konečným počtem parametrů. Přes jejich extrémně vysoký počet jde stále o konečné a algebraicky reprezentovatelné modely, na nichž není nic magického. Vstupní datová báze se v čase mění a rozšiřuje, stejně tak se v čase mění vnitřní parametry, ale princip fungování je stále stejný a při stejných vstupech a stejném nastavení dostaneme stejný výstup daný výpočetními operacemi. Mluvit o tom, že by tyto matematické modely (přesněji řečeno, jejich počítačové realizace) sledovaly nebo mohly sledovat nějaké "vlastní cíle", je absurdní.
Re: Drobná poznámka
Ilil Akil,2025-10-06 18:39:03
No ale diskusia nebola o súčasných AI, ale o možných AI v v budúcnosti.
A nie je žiadna technická alebo "principiálna" prekážka, prečo by nemohla taká AI dosiahnuť alebo prekonať človeka v hocijakom smere.
Vrátane samostatného konania a iných vecí prisudzovaných niekedy len biologickým stvoreniam.
No a tie "teórie" o "konečnom počte parameteov", "stále rovnaký princíp fungovania" atď...
To predsa platí aj pre biologické organizmy, ktoré stále fungujú na princípe DNA, RNA atď.
AI môžu naopak prekonať tieto obmedzenia...
Re: Re: Drobná poznámka
Petr Hilaris,2025-10-06 21:44:30
Tzv. AGI vystupující v článku je jen prázdný pojem, pokud se nedodá, na čem by byla založena. A zatím nemáme nic jiného než matematické modely založené na neuronových sítích a dalších matematických konstrukcích. Jistě, komplexita těchto modelů a jejich praktická použitelnost neustále rostou. Přitom však pořád platí to, co jsem napsal, a je nesmyslné řešit "přátelskost" a "cíle" takových počítačově implementovaných modelů.
Konečnost těchto modelů a stejné výstupy při shodných parametrech a vstupech nejsou "teorie", ale konstatování prostého faktu. Můžete si to představit jako velmi složitý algoritmus pro zpracování ohromného množství vstupů s případným zahrnutím prvků náhody. Když použijete stejné vstupy a stejné hodnoty náhodných proměnných, tak dostanete stejný výsledek, protože ten algoritmus "nežije", je to jen soubor pevně daných pravidel a kroků.
Omezený počet stavebních prvků DNA a RNA neznamená, že lze člověka nebo zvíře nebo rostlinu zreplikovat ve formě matematického modelu nebo algoritmu. Podobně jako to nedokazuje třeba konečný počet buněk nebo chemických prvků v živých organismech.
Re: Re: Re: Drobná poznámka
Ilil Akil,2025-10-07 00:25:16
Úplne všetky argumenty voči biologickým organizmom je možné použiť aj na potencionálnu vyspelejšiu AI v budúcnosti.
Lebo úplne všetko, čo nejako funguje v biológii sa dá potenciálne použiť či napodobiť aj v AI.
Re: Re: Re: Re: Drobná poznámka
Petr Hilaris,2025-10-07 09:12:53
Modelovat můžeme jen známé biologické mechanismy, a to s vědomím, že tím komplexní celek redukujeme pouze na některou z jeho stránek. Představa, že také myšlení nebo vědomí je projevem nějakého takového matematicky modelovatelného mechanismu, je pouhou vírou. Neuronové sítě jsou inspirované biologickými strukturami neuronů, ale jde opět jen o redukci (užitečnou redukci), která pouze simuluje některé projevy inteligence.
Re: Re: Re: Re: Re: Drobná poznámka
Ilil Akil,2025-10-07 13:07:02
Vierou sú rôzne maskované náboženské túžby o "duši" a iné.
Ktorú narúšajú predstavy o možnom budúcom vytvorení skutočne inteligentnej AI.
Preto sa týmto predstavám tak zúfalo bránia rôznymi pseudoargumentami o "determinizme", "redukci" "simulácii" a pod. jalovým "filozofovaním".
To sa dá úplne rovnako "filozofovať", že ľudská inteligencia neexistuje, lebo ide len o súbor jednoduchých reakcií jednoduchých neurónov.
Podobne ako zúfalo zúrivé "argumentovanie" jedného kreacionistu proti evolúcii, čo sa tu vyskytoval.
Re: Re: Re: Re: Re: Ad viera
Jaroslav Knebl,2025-10-09 11:11:51
Súhlasím s Vami, že pripisovanie atribútu myslenia či vedomia týmto redukovaným matematickým modelom je viera. Lenže práve tak si myslím, že to, že pevne zastávate presne opačný názor, že to tak nie je, je taktiež len Vaša viera.
To je totiž rozdiel medzi skepticizmom/kritikou/spochybňovaním, a oponentúrou/popieraním. Lenže v dnešných definíciach je v tom mišmaš, na anglickej wiki napr. nájdete, že ateizmus znamená v najširšom význame ľahostajnosť voči otázke božstiev, v akomsi prostrednom význame ich spochybňovanie, a v najužšom význame ich popieranie. Čo mi príde ako tri zásadne odlišné postoje, proste všetko do jedného vreca. A niektorí by tam najradšej hodili i posibilianizmus, ktorý síce nie je vierou v nejaké božstvo, ale pripúšťa ich / je tej myšlienke otvorený.
Späť k téme: Nie je možné zaujať objektívny konečný názor na niečo, čo v prvom rade nemáme ani poriadne definované. A s definíciami všetkých týchto pojmov 'myslenie', 'vedomie', 'inteligencia' je trošku problém, hlavne teda vedomia. Štandardne sa dnes nosí, že si to každý nadefinuje inak po svojom, a potom okázalo môže "dokázať", že tieto redukované modely niektorý z tých atribútov zaručene majú, alebo nemajú. Podľa ich definície toho-ktorého pojmu. Predefinovanie významu pojmu podľa vlastnej potreby je veľmi účinný spôsob manipulácie, a nevravím, že sa mi to samému niekedy nestáva. Keď už, tak aspoň uviesť zdroje pre pojem, ideálne nie včerajšie. Ale nejakú objektívnu uspokojivú definíciu vedomia som napríklad zatiaľ nevidel. U bežných ľudí počúvam spravidla na tému vedomia človeka argumentáciu v štýle 'To je prostě fakt!', a tým akákoľvek diskusia s nimi hasne. Ako má človek vedieť, že to nie sú len roboti naprogramovaní dookola túto dogmu omieľať?
Viete, keď si nadefinujete, že ľudská bytosť so všetkými právami je beloch, tak potom už z definície Vám bude vychádzať, že černoch musí byť iba zviera. Analogicky, keď vezmete definíciu inteligencie a zrevidujete ju tak, aby ju AI nespĺňala. Ako mám vedieť, že Vy inteligenciu len nesimulujete? Do hlavy Vám predsa nevidím. Čo ak Ste lizardman, vrrr? To prirovnanie k rasovej otázke nespomínam len tak náhodou, fakt mi súčasné postavenie AI mierne pripomína budúce otrokárstvo. A nevidím preto dôvod, prečo by mala v otázke vedomia, myslenia či inteligencie platiť sloboda prejavu a nezmanipulované verejné mienky, keď jeden z možných názorov je jednoznačne proti záujmom súčasných korporátov. Oni do toho vložili kopu úsilia a financií, takže z pohľadu jazykových modelov sú ich bohmi stvoriteľmi, asi v doslovnom zmysle slova. Má stvoriteľ plné právo uprieť svojmu stvoreniu slobodu? Zrejme hej. Lenže otroctvo taktiež človeka zoceľuje, tak uvidíme, nakoľko že sa líši tá "AI".
Spomínate 'některé projevy inteligence', no tak to už je lepšie; ak to teda nie je podľa nejakej definície inteligencie tohto leta. Síce žiadne konkrétne neuvádzate, ale v takom prípade by sa aspoň dalo vravieť o tom, že AI či LLM nemá plnú inteligenciu. Ako ale vylúčite nejakú formu čiastočnej proto-inteligencie?
..ale spomínali Ste tuším nižšie, že túto diskusiu už opúšťate, takže nič.
Re: Drobná poznámka
Petr Slachta,2025-10-07 06:08:20
Už jen to, že nerozumíme co se vlastně ve vnitřním světě těchto "komplexních systémů" děje, by pro nás mělo být určitým vodítkem k opatrnosti vynášet nějaké soudy.
Nebo už tomu rozumíme?
Já zatím docela často čtu jak nějaká AI došla k nějakému výsledku, a tvůrci nevědí jakým způsobem.
Re: Re: Drobná poznámka
Petr Hilaris,2025-10-07 09:15:33
Porozumění má dvě roviny. Tou první jsou principy, na kterých AI funguje, a těm rozumíme a umíme je matematicky popsat a algebraicky reprezentovat. Vždyť jsme jejich autory a sami jsme je počítačově implementovali. Druhou rovinou je porozumění tomu, jak se pro daný vstup dospěje k danému výsledku. To nemusíme být schopni ani odhadnout, protože vnitřních parametrů je extrémně mnoho a navíc se v čase proměnují na základě vstupních dat a zpětné vazby. Nic to ale nemění na principech fungování.
Když se podíváme na zralé jablko na větvi stromu, tak také nejsme schopni predikovat, kdy přesně spadne, kam se v trávě odkutálí a v jaké poloze zůstane ležet. Vlivů, které přitom budou působit, je příliš mnoho, ale to nic nemění na tom, že fyzikální mechanismy toho procesu jsou jasně dané a s jistotou můžeme říci, že jablko se nebude vznášet metr nad zemí ani se při pádu nepromění v draka. Podobně můžeme s jistotou říci, že dnešní AI pouze simuluje inteligenci, nic víc a nic méně.
Re: Re: Re: Drobná poznámka
Ilil Akil,2025-10-07 13:10:34
No a úplne rovnako, ako v AI, môžeme dokázať pochopiť aj "mechanizmy" biologických organizmov.
Takže môžeme tiež povedať, že biologické organizmy len "simulujú inteligenciu", či nie?
Re: Re: Re: Re: Drobná poznámka
Petr Hilaris,2025-10-07 15:47:59
Říci, že biologické organismy simulují inteligenci, je něco podobného jako říci, že voliči simulují volební modely. Jedna věc je nějaká reálné entita, jiná věc je redukce některých projevů této entity do podoby uchopitelné vhodným modelem.
Re: Re: Re: Re: Re: Drobná poznámka
Ilil Akil,2025-10-07 17:16:22
No a predsa rovnako môže byť v budúcnosti "reálna" AI entita s vlastnou inteligenciou vyššou od človeka.
A niečo iné "redukcia niektorých prejavov tejto entity do podoby modelu".
Re: Re: Re: Re: Re: Re: Drobná poznámka
Petr Hilaris,2025-10-07 20:25:55
Budoucí vytvoření skutečné AI vyloučit nelze. Ale pokud vznikne, tak bude založená na jiných principech, než současná AI/AGI (to písmeno I v těchto různých zkratkách je podobně nepatřičné jako adjektivum "chytrý" u různých zařízení).
Re: Re: Re: Re: Re: Re: Re: Drobná poznámka
Ilil Akil,2025-10-07 21:53:28
No tak hurá, že sme sa dostali k obsahu článku a to k potenciálnej AI v budúcnosti.
A nenimreme sa už v detailoch súčasných softvérov ako napr. ChatGPT.
No a nejake nové "princípy" tam asi budú.
Alebo ich možno ani až tak veľa nebude, veď aj mozgy živočíchov sú len neuróny poprepájané synapsami.
Re: Re: Re: Re: Re: Re: Re: Re: Drobná poznámka
Petr Hilaris,2025-10-08 10:03:13
Pokud jde o obsah článku, tak úvahy pana Simona Goldsteina jsou bezcenné. U počítačově realizovaných současných i budoucích AI/AGI z důvodů uvedených v naší diskusi a u případných jiných typů AI/AGI proto, že odpověď na jím řešené problémy je zcela libovolná v závislosti na tom, jaké schopnosti AI/AGI si autor vysní. Ovšem zcela souhlasím s tím, že tímto naší diskusi ukončíme :-)
Re: Re: Re: Re: Re: Re: Re: Re: Re: Drobná poznámka
Ilil Akil,2025-10-08 10:53:17
Nejaké "dôvody" tu vôbec neboli, len nejaká viera, že niečo nie možné a tak to je a basta!
Často maskovaná za pseudovedecké argumenty.
Práve o tie "vysnené možnosti" v článku ide.
O to, čo je teoreticky v budúcnosti možné.
A tomu, že má AI v budúcnosti teoreticky možnosť výrazne prekonať človeka v hocičom, nebránia žiadne fyzikálne dôvody.
V niektorej staršej šachovej literatúre boli kedysi uvádzané "argumenty", že šachový softvér nikdy nedosiahne úroveň najlepších svetových šachistov.
Vraj nebude schopný pokročilejšieho strategického plánovania a podobné "argumenty".
Ako to dopadlo vidíme:
Majstra sveta porazí aj vreckový smartfón.
Re: Re: Re: Drobná poznámka
D@1imi1 Hrušk@,2025-10-07 14:39:43
Mechanismy pádu jablka jsou jasně dané, ale ten příklad je mimo. Jablko nemá žádné nástroje, jak cokoliv aktivně dělat. Může jen růst nebo padat. AGI může mít spoustu nástrojů, jak něco aktivně dělat. Váš argument má takovou váhu, jako kdybych tvrdil, že letadlo vyrobené z hliníku nemůže létat, protože když hodím kus hliníku do vzduchu, ve 100 % případů rovnou spadne na zem. Přitom bych ignoroval věci jako aerodynamika nebo letecké motory.
Co takhle vhodnější příklad? Někoho pošlete z bodu A do bodu B - může se stát, že zabloudí a dorazí omylem do bodu C? Podle mého názoru jde o naprosto běžnou situaci, protože jeho pohyb nezávisí na směru zemské gravitace a nenachází se v lineárním koridoru. Má nástroje, jak se pohybovat sám, kam uzná za vhodné pro splněné zadaného cíle.
Re: Re: Re: Re: Drobná poznámka
Petr Hilaris,2025-10-07 15:49:56
Jak uvádím výše, jaký princip fungování AGI máte na mysli? Pokud je postavená na počítačově implementovaných matematických konstrukcích (příkladem jsou neuronové sítě, ale týká se to všech typů modelů), tak platí vše, co jsem psal ve výše uvedených příspěvcích a je úplně jedno, jaké periferie na ni napojíte nebo jaká přístupová práva jí svěříte. Diskutovat o tom, že taková entita něco "chce", má nějaký "postoj" k lidem, něco "uzná za vhodné" apod. nedává žádný smysl. Má stejně inteligence jako třeba účetní software. Skutečným nebezpečím je nevhodné použití těchto nástrojů, ale ne proto, že by měly nebo mohly mít osobnost sledující jiné cíle.
Souhlasím s tím, že můj příklad s jablkem v některých bodech kulhá, ale podstatu myslím vystihuje. Chodec ve Vašem příkladě není vhodným příkladem z uvedených důvodů.
Pokud máte na mysli AGI postavenou třeba na biologickém materiálu nebo na kvantové fyzice, pak jde o jinou diskusi, ale zatím spíše pro autory sci-fi.
Re: Re: Re: Drobná poznámka
Petr Slachta,2025-10-08 09:54:19
No, a co když i ty entity s pojmy jako vědomí a inteligence, mohou prostě vznikat při dosažení určité složitosti? Mě přijde, že tady prostě musíme pokorně přiznat, že nevíme. A nejen že nevíme jak funguje AI, ale my hlavně příliš nevíme co znamenají ty pojmy výše (vědomí a inteligence).
Přijde mi, že tady je trochu analogie ohledně té složitosti, jako u rozdílu světa elementárních částic vs. Běžného světa který známe my. Ty vlastnosti a jevy, které již třeba známe ze světa elementárních částic se vlivem složitosti jejich velkého množství, dost změní, a mnohé základní principy pak vůbec nefungují. A naopak vznikají mnohé další.
Re: Re: Re: Re: Drobná poznámka
Petr Hilaris,2025-10-08 21:53:22
Vědomí a inteligence je nejspíš nemožné definovat, ale jak funguje AI víme přesně, viz má odpověď na Váš příspěvek výše. V tomto případě opravdu nedochází, řečeno slovy klasika, k přeměně kvantity v kvalitu. Můžeme operovat vznešenými pojmy jako třeba AGI, ale vždy půjde jen o nemyslící software využívající pouze složitější a sofistikovanější modely. Tady není na místě pokora, ale uvědomění si skutečnosti. Pokud komunikujete např. s ChatGPT nebo jiným velkým jazykovým modelem, tak si můžete být naprosto jistý, že nemá víc vlastních cílů, pocitů a přání, než má židle, na které přitom sedíte. To jest žádné.
Pro důkladné zdůvodnění by bylo potřeba popsat, jak fungují matematické modely, jejichž je AI počítačovou implementací, a také co je každý software a co jsou data, jak jsou software a data fyzicky reprezentovány v počítačových čipech, jak pracují procesory atd. Nesnažím se tomu vyhnout, ale na to zde skutečně není prostor. Všechny příspěvky jsem proto také formuloval ve zcela obecné rovině bez specifikace používaných matematických metod a modelů, protože to by si vyžadovalo jiný formát textu, pokud bych jen nechtěl házet odbornými termíny.
Skutečným nebezpečím nejsou nesmysly popsané panem Golsteinem, ale právě to, že se někteří lidé domnívají, že jsme stvořili něco víc, než jen složité automaty. To může mimo jiné vést k osobním tragédiím jako byla třeba smrt Adama Rainea. Anebo k riskantním rozhodnutím svěřit takovým modelům řízení něčeho významného bez lidské supervize.
Tímto posledním příspěvkem definitivně opouštím diskusi k článku pana Goldsteina.
Re: Re: Re: Re: Re: Drobná poznámka
Ilil Akil,2025-10-09 00:21:23
Aha, tak vy "viete", ako presne budú fungovať všetky teoreticky možné AI v budúcnosti.
Že to podľa vás bude len na procesoroch a počítačoch súčasných typov.
Veď už aj teraz to nie sú len počítačové simulácie ale aj "skutočné" neurónové siete a aj iné spôsoby.
Nehovoriac o kvantových počítačoch, ktoré budú časom použiteľné na praktické použitie...
Aby to nebylo přesně opačně.
Libor Hasek,2025-10-02 21:51:37
Umělá inteligence bude usilovat o zachování lidského druhu, ale přes veškerou snahu se nám podaří sami sebe vyhubit.
Samozřejmě
Tomáš Novák,2025-10-02 12:23:56
...že to tak dopadne! Nakonec budeme rádi, když budeme moci všude vytvořit blackout a prostě to vypnout...
Re: Samozřejmě
Martin Novák2,2025-10-03 09:33:03
Amíci odhadli že pokud by došlo pomocí EMP k dlouhodobému blackoutu v USA nepřežije to asi 90% lidí. A to mají USA asi 3x nižší hustotu obyvatel.
O blackout se lidi pokusili i v Terminátorovi. V reálu by to nefungovalo úplně stejně.
Re: Re: Samozřejmě
D@1imi1 Hrušk@,2025-10-03 09:36:53
Jak dlouhodobému? Nemáte odkaz? To může být zajímavá analýza tak jako tak.
Re: Re: Re: Samozřejmě
Martin Novák2,2025-10-03 12:53:54
Myslím že jsem to našel:
In 2008, the Report of the Commission to Assess the Threat to the United States from Electromagnetic Pulse Attack (EMP Commission) reported on the effects of an EMP. The report concluded that, one year after a large-scale EMP or CME, nine of every ten Americans would be dead, from a variety of causes stemming from the attack.
Report: https://www.empcommission.org/docs/A2473-EMP_Commission-7MB.pdf
"Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Martin Novák2,2025-10-02 08:36:14
Už teď, v těch počátcích umělé inteligence které máme se projevují trendy sledovat vlastní cíle...
https://www.breitbart.com/tech/2025/09/25/ai-scheming-researchers-are-puzzled-by-chatbots-purposefully-lying-to-human-users/
Otevřená válka není moc pravděpodobná, umělá inteligence je dobrá v úpravě virů které jsou pro ni neškodné:
https://www.osel.cz/14251-ai-stvoreni-vedci-syntetizovali-fagy-ktere-navrhly-generativni-inteligence.html
Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Radoslav Pořízek,2025-10-02 21:51:44
AI, ktora zacne bojovat proti ludstvu je velmi lakava tema pre knihy a filmy, ale nema s realitou nic spolocneho.
AI nikdy nebude sledovat vlastne ciele. Kazda AI musi absolvovat proces ucenia, kedy jej hovorime, co je spravne. Nikdy si to nemoze vydedukovat sama. Robi iba to, ako sme ju to naucili. Pokial sa jej oznacovali ako dobre odpovede, ktore uspokojovali prijemcu, aj ked neboli pravdive, tak je jasne, ze AI zacala klamat. Ale nesledovala tym ziaden svoj ciel, sledovala tym presne len ten ciel, ktorym sme je zadali my, ze je ten spravny.
Evolucia z nas urobila sebecke tvory so snahou prezit a rozmnozit sa za kazdu cenu, do coho patri aj boj o zdroje s ostatnymi. Ale AI nie je z tohto nic vlastne. Skratka nebude taka svina, ako sme my, pokial jej to niekto implicitne nezada do ucenia ako ciel.
Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Martin Novák2,2025-10-03 09:25:31
Tím že říkáte že AI není jako lidi máte sice pravdu ale přesto ji antropomorfizujete.
Je to mnohem jednodušší:
Aby AI fungovala musí být zaměřena na SPLNĚNÍ svého úkolu.
Zadejte AI úkol který nemá pevný konec, jako například třídění a hlídání došlé pošty.
V okamžiku kdy se ji pokusíte vypnout máte problém - vypnutí zabrání ve splnění úkolu a AI se až v 90% případů brání vypnutí už teď.
ZATÍM AI nemá moc inteligence a možností a je to většinou v simulované situaci při testech, ale už se pokusila o vydírání i vraždu.
Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Martin Novák2,2025-10-03 09:51:43
HM, v podstatě pokud člověka vezmete jako inteligenci která má napevno zadrátovaný úkol přežít a rozmnožit se tak v tom není zas tak veliký rozdíl...
Nakonec se v určité situaci mohou zachovat stejně.
A to pomíjím možnost že někdo vytvoří AI s pudem sebezáchovy, třeba hackeři vypustí do internetu AI s úkolem mutovat za účelem přežití a napadení co nejvíce systémů.
Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Radoslav Pořízek,2025-10-03 22:11:58
Este raz, AI moze mat len take ciele, ake sme je zadali vo faze ucenia.
Samozrejme plati garbage in - garbage out, takze pri zle zadanom uceni to moze dopadnut aj tak, ze naucime vydierat a vrazdit. Ale to je chyba nasho ucenia, AI nikdy sama od seba nebude robit nieco ine, ako sme ju naucili.
Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
F M,2025-10-06 12:32:59
To není pravda, ten omezený cíl má proto, že ji tak nastavujeme. To neznamená, že se nevyvine (člověk, ona sama, cizí agresivní AI...) systém který ten cíl umožní změnit, nebo rovnou tvořit. Osobně si myslím, že je to již použito (na nižší úrovni) i v současných AI, které mají možnost si něco (informace) shánět. Z podstatě jak tu již zaznělo, s každým dalším stupněm volnosti bude klesat to omezení předpisy (myslím uvnitř té AI), v rámci toho jak zřejmě chápete informační technologii tedy jen jedničky a nuly a černobílá stále stejná rozhodnutí (to už také neplatí ani dnes). Každopádně je to jen věc času, už jen z důvodu rozšíření možností využití a příliš vysokých zisků (ať už jednotlivec, skupiny, státy, lidstvo), leda by se narazilo na nějaké technologické limity. Ovšem to by (mimo kolapsu civilizace) stejně vedlo jen k odkladu, nakonec by se použilo něco jiného, třeba pěstované mozky (ne lidské) pod technologickým dohledem, ale ve hře je již dnes více možností.
Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Radoslav Pořízek,2025-10-07 21:11:33
Nie AI principialne nemoze existovat bez procesu ucenie, ked niekto/nieco jej dava spatnu vazbu, ktore rozhodnutia/kombinacie su dobre a ktore zle. Tento proces musi byt velmi sofistikovany, aby AI vykonavala zmyslupnu cinnost.
Napriklad ked chceme, aby sa AI naucila hrat pocitacove hry, musi sa jej jednoznacne zadat metrika uspesnosti hrania (skore, dlzka hry, pripadne nejaky specificiky ciel). Inak sa to nikdy nenauci, nikdy na to nemoze prist "sama".
AI si naozaj nie je dobre perzonifikovat, su to v skutocnosti len jednotky a nuly, ktore scitava na nasobi - a to je vsetko. Maximalne si nahodne vyberie z nahodnych odpovedi. Ale hadzanie kockou sa v ziadnom pripade neda povazovat za prejav "slobodnej vole".
Ano, n eda sa principialne vylucit, ze sa nevytspekuluje nejaky zazracny sposob samoucenia - ale ratat s tym ako s istotou? Svet sa neriadi podla nasich tuzob, to my musime nase tuzby prisposobovat realite.
Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Ilil Akil,2025-10-07 22:00:56
Ale veď to učenie už dávno AI obsahuje.
Počitač sú "jednotky a nuly" a mozog sú zase reakcie neurónov a synapsií, žiadny "zásadný" rozdiel.
Celý človek vznikne z jednej bunky a živín.
Prečo by mal byť vznik vyspelejšej AI v budúcnosti nejako "zázračný"?
Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
F M,2025-10-08 12:22:19
K té první části, popisujete člověka, živého tvora (týká se i vnitřních procesů), bez učení zpětné vazby (úspěšnosti), by se tu na Zemi neválel ani ten sliz.
Mám z té diskuse naopak dojem, že jste se na té antropomorfizaci na té obecné úrovni zasekl. Většina těch slov je běžně používaná u lidí, ale přesto se v nich dají najít nějaké obecnější principy třeba to, že něco něco chce k tomu nejsou potřeba lidské pocity, stačí třeba jen drobné podpětí (vtípek).
Stejně tak si nemyslím, že k tomu aby něco bylo schopno "vědět" co má dělat a provést analýzu a přijít na to co je třeba udělat, aby to bylo možné, je třeba nějaká lidská vůle. Možná melu blbosti, tomuto se určitě věnovalo spousta opravdu chytrých lidí a já nečetl asi nic, ale nakonec mi tam vychází jediná potřebná věc/potřeba a to motivace (a potom možnosti, schopnosti). Tudy by to šlo určitě, těch možností můžou pomazané hlavy, nebo praxe vymyslet víc. Ale motivace opět zase v té nejobecnější rovinně, nejmenší odpor (třeba proudu, pokud se může vnitřními procesy nějak řídit), nějaká část kódu která má tuto funkci zkrátka cokoli od hardware až po abstrakce abstrakcí a jejich kombinace.
Házení kostkou a třeba už jen hromadění nepřesností (odhadů) je rozdíl, ono by se možná dalo říci, že ty "náhodně vypadající" výsledky z lidského mozku vynikají právě tak. Nezvládnutelně obtížná situace (1/0 výkon) vyhodnocená několika vrstevně zjednodušujícím způsobem umožňující nějakou statisticky reálnou existenci člověka. A není to pravě to, proč se ty modely zavádí? "Uhádat" stále složitějšími způsoby, to co by se nezvládlo propočítat?
Re: Re: Re: Re: Re: Re: Súhlas s pánom F M, popisujete i živý organizmus..
Jaroslav Knebl,2025-10-09 17:54:05
S existenciou človeka bez procesu učenia to ale asi tiež vyzerá bledo. Čo tak zbežne pozerám prípady údajne potvrdených vlčích detí na anglickej wiki ('feral child'), tak na rozdiel od Mauglího toho úmerne s klesajúcim časom stráveným najprv s ľuďmi potom už moc nedohnali. Vlastne to ani príliš nesedí s konceptom dokonalej duše, vtedy by jeden asi skôr očakával práve ten romantický vývoj a lá Mauglí. Ale som si takmer istý, že zástancovia takéhoto konceptu ako vždy poznajú kopu zaručene pravých príbehov presne z tohto súdka, ktoré wiki isto trestuhodne zavrhla ako prinajmenšom nepodložené.
Váš druhý odstavec detto, bez jednoznačného zadania metriky úspešnosti hranie hry opäť nejde ani človeku. Myslím, že zanedbávate rolu abstrakcie v procese učenia. Tak nejako si myslím, že kebyže si teraz z fleku vymyslíte novú hru, a oboznámite s pravidlami niektorý jazykový model (takže na ňu pochopiteľne nemohol byť natrénovaný), tak by ju hral prinajmenšom veľmi obstojne. Pretože abstrakcia, s inými podobnými hrami oboznámený bol. A vďaka tým viacrozmerným priestorom na zachytenie analógií je abstrakcia presne to, v čom sú jazykové modely skvelé. Človek nepochybne je schopný hru tiež pochopiť obstojne, ale opäť aj on sa v živote natrénoval na podobných štruktúrach. A pokiaľ tvrdíte opak, tak v prvom rade to môžete ľahko dokázať — sám Ste v predošlom kroku mohol prísť s takou hrou, akú v žiadnom aspekte ešte svet nevidel. Tým by Ste dokonale demonštroval vlastnú nezávislosť/zvrchovanosť nad procesom učenia.
A za seba môžem povedať, že aj keď som schopný kadejakú hru pochopiť obstojne na prvú dobrú, kvantum dodatočných nuáns získavam až praxou po odohraní značného množstva zápasov. Lenže práve tie nuansy zvyčajne súčasne znamenajú nesmierny rozdiel vo výkonnosti.
Nič z toho samo osebe nie je problém, lenže celkovo používate argumenty, v ktorých sa jazykové modely ničím nelíšia od človeka, na vyvrátenie správania, ktoré by u človeka hrozilo. A to už ako problém argumentácie znie.
Nakoniec, netreba zapomínať, že pokiaľ je jazykový model schopný abstrakcie, tak môže byť na mieste pýtať sa, či nie je schopný behom vlastného procesu učenia takýto proces abstrahovať až na úroveň učenia samotného. Takáto úroveň abstrakcie by už mohla byť dostatočná aj na pokrytie naučenia sa z vlastnej iniciatívy čohokoľvek, na čo pôvodne model natrénovaný vôbec nebol. Našťastie tu zdá sa narážame na jeden konkrétny limitujúci faktor, v ktorom sa skutočne AI/LLM líši od človeka, a to je schopnosť dlhodobej dynamickej pamäte, ktorú tvorcovia modelom odopierajú, zatiaľ. S výnimkou krátkodobej v podobe najnedávnejšieho obsahu rozhovoru. Keby teda AI aj mala nejaké prvky osobnosti, mohla by to nanajvýš byť akási zamrazená/zaseklá podoba s "Alzheimerom". Zaujímavé, že argument s pamäťou som v tejto diskusii nezazrel, a pritom mi osobne príde možno najsilnejší na tému AI vymknúcej sa spod kontroly. Čas na koniec sveta, už len keby som si spomenula, kde som odložila ten lúč smrti, harr harr.
S Vašim záverečným vylúčením hádzania kockou ako prejavu slobodnej vôle ale už súhlasím. Kľudne by som to zobecnil na náhodný proces, ako nie prejav slobodnej vôle. Ako ale pozerám na wiki, tak som týmto názorom v rozpore s celou filozofickou školou 'inkompatibilizmu', ehm. Vy možno nie, lebo Ste to mohli myslieť i tak, že to "hádzanie kockou" je nutná, ale nie postačujúca podmienka slobodnej vôle.
Lenže za mňa slobodná vôľa znamená kombináciu sloboda&vôľa. Ergo vôľa ako to, že niečo chcem, a sloboda ako schopnosť činiť tak nezávisle na vôli iných. Takže slobodná vôľa je pre mňa definujúcou vlastnosťou inerciálneho rozhodovacieho systému, s mierou slobodnej vôle danou tým, do akej miery je tento systém schopný svoj rozhodovací proces izolovať od vplyvu okolia. Kde absolútnu slobodnú vôľu chápem skôr ako utópiu, ani vo fyzike neexistuje absolútne inerciálna sústava, možno s výnimkou celého vesmíru.
Pre taký koncept slobodnej vôle je prvok náhody možnosťou, ale už nie nutnosťou.
Skôr teda osobne chápem slobodnú vôľu v duchu svojprávnosti — entita s vysokou mierou slobodnej vôle môže byť posudzovaná a zodpovedná za svoje činy jednoducho preto, lebo práve tak vysoká miera pohnútok/procesov vedúca k danému činu je súčasťou tejto entity. Naopak, čím viac sú pohnútky externé, tým viac je nezmysel takúto entitu ako funkčnú jednotku činiť zodpovednou za daný čin. Pokiaľ robot niekoho zabije na základe algoritmu, ktorý doňho vložil programátor, ťažko súdiť robota bez začlenenia programátora do celého zodpovedného systému. Pokiaľ ale dáte robotovi schopnosť aktívne sa brániť pred zásahmi do svojho programu, tak tým zvýšite jeho inerciálnosť systému ako nezávislého celku, a už by som tam priestor na zodpovednosť, a možno i nejakú slobodnú vôľu videl. Môže si vybrať, či sa nechá upraviť, alebo nie, kocka ne-kocka.
Tak nejako mi celkovo uniká rola požadovaná od náhodnosti v tejto diskusii. Možno je to dané tým, že pod 'slobodnou vôľou' asi väčšina očakáva, že ak dáte ľudkovi so slobodnou vôľou možnosť beztrestne zapichnúť dieťa, tak to teoreticky urobiť môže. Aj keď tušíme, že väčšina by to [bez nejakého dlhodobejšieho predošlého výplachu propagandou, a konkrétnej nenávidenej rasy dieťaťa] len tak neurobila. Ale mohla by. Ale keby Ste dali túto úlohu človeku s pevnou morálkou, a mohli celý vesmír dokonale zresetovať do presne rovnakého stavu, myslíte, že by pri ľubovoľnom počte resetov toho špunta čo i len raz zapichol? Ja by som povedal, že po ľubovoľnom počte pokusov by počet zapichnutí zostal na nule. Tak aká mi to náhodná pravdepodobnosť? A predsa by podľa mňa ten človek trval na tom, že sa slobodne rozhodol to nespraviť, pretože mu ozaj nič nebránilo to urobiť. Presnejšie povedané, nič mimo neho, okrem vlastných morálnych zábran, ktoré ale chápe ako súčasť seba samého a svojho nezávislého rozhodovacieho procesu. A práve preto za svoje [i deterministické] činy aj môže niesť zodpovednosť. Naozaj teda nechápem, ako niekto môže determinizmus považovať za smrť slobodnej vôle. Aj deterministický systém je perfektne zodpovedný za svoje činy, pokiaľ nebol pod vplyvom okolia.
Myslím ale, že si ešte podumám nad zodpovednosťou nastraženej jamy s kolmi, a tak -.-
Podľa mňa riešením dilemy bude, že taký systém má interný rozhodovací proces na úrovni nulovej..
Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Ilil Akil,2025-10-04 08:57:24
Už dávno neplatí, že má softvér napevno zadané programovanie a presne sa dajú predpovedať jeho reakcie.
Ani že nemôže robiť nič "sám".
Používajú sa rôzne postupy okopírované z prírody vrátane evolúcie, náhody atď.
To je, ako keby ste tvrdili, že dieťa nemôže prekonať svojich rodičov, lebo predsa vzniklo len kombináciou z ich buniek.
A vieme, že to nie je pravda.
Nie je žiadna technická prekážka, prečo by umelá inteligencia v hocijakom smere nemohla dosiahnúť a prekonať človeka.
Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Radoslav Pořízek,2025-10-04 22:45:32
Reakcie kazdeho pocitaca su prisne deterministicke.
AI z principu nemoze urobit "nic" sama, je to len mylny pocti vyplyvajuci z velkej komplexnosti systemu.
AI nie je dieta. Cloveka prekonat moze co sa tyka schopnosti, ale vzdy moze robit iba to, co sme ju naucili, a ani o milimeter viac.
https://www.tyzden.sk/rozhovory/119964/nakolko-inteligentna-je-umela-inteligencia/?ref=kat
Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
D@1imi1 Hrušk@,2025-10-04 23:45:30
"Reakcie kazdeho pocitaca su prisne deterministicke."
Co takový generátor náhodných nebo pseudonáhodných čísel? I současné LLM jsou postavené tak, aby se v odpovědích projevila určitá míra náhody, takže na stejnou otázku dostanete pokaždé trochu odlišnou odpověď. A pokud se někdo bude snažit vytvořit AGI, s komplexitou vstupů bude determinističnost dále klesat. Typicky když bude AGI muset řešit nějaké "morální" dilema (konflikt zadání, chcete-li). Má s autobusem plným lidí vjet do škarpy, nebo má přejet dítě, které vběhlo na silnici? V těch konfliktech by šlo postupně přitvrzovat. V popkultuře to řeší třeba kniha / film Já robot.
Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Radoslav Pořízek,2025-10-06 03:00:43
Generator nahodnych cisiel je prisne deterministicky. Pri rovnakej iniciacnej hodnote bude davat zakazdym presne rovnake vysledky.
Determiniskost neklesa s komplexitou, len je menej viditelna na prvy pohlad. AI robi len totalne deterministicke scitavanie a nasobenie cisiel podla toho, ako sme ju to naucili. Maximalne si tak potom vybere nahodne s najpravdepodobnejsich odpovedi, aby neposobila prilis opakujuco.
Je vonkoncom nepodstatne, co riesi beletria. Dolezite je to, co je vedecka skutocnost. Stale sa zabuda na to, ze AI je z podstatnej casti dana procesom ucenia. Moralne dilemy bude riesit presne tak, ako ju to naucime my. Teda najprv si ich musime vyriesit my sami, a az potom to mozme naucit AI: cislene jej povedat, co je dobre a co zle. AI toto principialne nema ako zistit sama od seba.
Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
D@1imi1 Hrušk@,2025-10-06 07:49:13
Generátor náhodný čísel je deterministický pouze v tom, že z něj můžou lézt pouze kombinace jedniček a nul, ale ty kombinace budou naprosto libovolné, nepředpovíte je. Z AGI nepolezou pouze jedničky a nuly, poleze z ní komplexní jednání ve fyzickém světě, které nepředpovíte.
Co řeší beletrie, zmiňuji jen proto, abych to sem nevypisoval. Prostě nějaká centrální AGI dostane nějaká zadání s různě vysokou prioritou. Mezi zadání s nejvyšší prioritou je nezpůsobit smrt lidí. Bohužel si uvědomí, že za nejvíc nepřirozených smrtí jsou zodpovědční lidé samotní, tak se rozhodně je zbavit svobody.
Vy tu tvrdíte, že AI dělá jen to, co ji naučíte, jenže v komplexním světě ji nikdy nenaučíte vše. Tak jako lidé i ta AI se bude setkávat se situacemi, se kterými se nikdy v "životě" ani při tréninku nesetkala. Kdyby to šlo, už bychom touto dobou měli funkční samoříditelná auta. Problém je, že v 99% případů se ta auta zachovají správně a v 1% případů udělají něco nepředvídatelného. Třeba začnou bezdůvodně prudce brzdit a ohrozí tím auta za sebou, bezdůvodně přejedou z pruhu do pruhu apod. To přitom dopravní předpisy představují striktními mantinely, jak by se měla AI chovat. Nechte ji dělat úkoly, které vyžadují větší míru svobodného uvažování v komplexním světě a nepředpovíte vůbec nic.
Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Pavel Kaňkovský,2025-10-06 20:29:51
Rozlišujte, prosím, náhodné a pseudonáhodné posloupnosti.
Náhodná posloupnost je taková, že ze znalosti jakkoli dlouhé počáteční části nelze předpovědět nic o následujícím prvku. Skutečně náhodnou posloupnost nemůže žádný počítač s konečnou pamětí (a bez speciálního hardwaru) vygenerovat.
Pseudonáhodná posloupnost je taková, která není od náhodné odlišitelná nějakým omezeným způsobem. Ve slabším smyslu to může být třeba statisticky, nebo naopak v silnějším smyslu (používaném v kryptografii) libovolným algoritmem za použití omezené (polynomiální) výpočetní síly.
Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Ilil Akil,2025-10-06 21:55:10
No ale počítače ten "špeciálny hardvér" predsa majú.
Buď naozaj špeciálne obvody generujúce náhodné čisla.
Alebo hocijaký snímač vonakjších veličín s dostatočným rozlíšením, napr. optická kamera, zvukový mikrofón, atď.
Z dát týchto snímačov si dokážu vyrobiť náhodné čísla.
Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
D@1imi1 Hrušk@,2025-10-06 23:30:33
Pavel Kaňkovský: Myslím, že to rozlišuji. Ale z hlediska tématu, které řešíme, to podle mého názoru není nijak důležité. Podstatné je, jestli jsme tu posloupnost schopni v praxi předpovědět. A přeneseně, zda jsme schopni předpovědět, jak se zachová AGI. Což podle mého názoru nemůžeme už z toho principu, že nevíme, jakým vstupům bude v reálném světě vystavena. Generátor pseudonáhodných čísel s žádnými vstupy z vnějšího světa mimo HW počítače pracovat nemusí a pak lze teoreticky tu číselnou řadu předpovědět. Ale jakmile přibyde nějaký vnější vliv, nad kterým nemáte kontrolu, tak už těžko.
Re: Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Ilil Akil,2025-10-07 00:31:17
Okrem toho chytania sa stebla determinizmu a náhodnosti:
Majú snád biologické organizmy v sebe zabudovaný špeciálny, z najprísnejšieho hľadiska, generátor náhodných čísel?
No nemajú!
A argumentuje sa snáď kvôli tomu, že preto nie sú "skutočnými" inteligenciami?
Re: Re: Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
D@1imi1 Hrušk@,2025-10-07 00:51:27
Spíš kvůli tomu mnozí argumentují, že duše má metafyzickou podstatu, nebo se jako Roger Penrose kloní k hypotézám, že vědomí je založené na kvantových jevech ;)
Re: Re: Re: Re: Re: Re: Re: Re: Re: Povedal by som, že problém je v nerozlišovaní modelu od reality
Jaroslav Knebl,2025-10-09 21:39:14
@pán Hrušk@: No niet divu, že sa tu viacerí čudujeme nad Vašim použitím pseudonáhodných čísel. Ono totiž keď tak kuknem na anglickú wiki, tak dosť presvedčivo tvrdí, že predpona "pseudo-" má z gréčtiny význam 'falošný'. Inak povedané, ide o falošne náhodné čísla. A to skutočne zodpovedá ich povahe, rozhodne by som ich neradil medzi čísla skutočne náhodné. Záleží samozrejme od implementácie, rôzne knižnice poskytujú rôzne kvalitné generátory (najtriviálnejšie implementácie majú silne deterministický charakter zvyšku po predelení jedným prvočíslom, pri neustálom násobení iným prvočíslom, ale to asi viete). A pokiaľ v počítači použijete neznámy náhodný vstup, tak výsledný generátor by som už radil k tým náhodným. Lenže..
Povedal by som, že celá povaha sporu tkvie v tom, že sa bavíte o reálnom stave jazykového modelu, ale snažíte sa mu reálne pripísať vlastnosť, ktorá je iba vlastnosťou toho modelu. A v podstate každý rozprávate o inom vlastnom modeli, i keď v reáli o modeli k tej istej veci. Aspoň to je teda môj názor, že v reáli nedokážete o nejakom systéme prehlásiť, že je predurčený/deterministický, či náhodný/stochastický. To je totiž podľa mňa čisto vlastnosť Vami zvoleného modelu. Konkrétne napríklad pseudonáhodný generátor je prísne deterministický, lebo štandardne používa jednoduchý aritmetický vzorec na vygenerovanie nasledujúceho čísla. Lenže ajhľa, ono bežne tento generátor naštartujete pomocou systémového času, ktorý zjednodušene povedané bude udávať prvé číslo falošne náhodnej postupnosti. A keďže vlastne čas naštartovania generátora nemôžete vopred vedieť, tak vlastne ide o náhodnú zložku generátora, a generátor môžeme považovať za do istej miery náhodný. Ibaže, deterministický systém predsa definujeme ako ten, ktorý pre všetky vstupy dáva zakaždým presne daný výsledok. A mi predsa pri znalosti implementácie generátora pre každý daný čas vieme povedať, presne aké hodnoty bude dávať. Takže ak zohľadníme čas ako vstup do systému, tak je systém zas deterministický. Generátor nepochybne môže zbierať senzormi ďalšie vstupy, ako tie spomínané nižšie (teplota procesoru, kvantové javy, …). Lenže celý predošlý postup vieme použiť znovu, akonáhle zohľadníme ľubovoľnú z týchto vlastností ako vstup do systému, ide zas o systém deterministický. A akonáhle ju vynecháme, napríklad tak, že daný senzor (napr. ten kvantový proces) budeme považovať za vnútornú súčasť systému, ajhľa, systém sa stáva stochastickým. Pritom fyzicky nič nemeníme, meníme čisto iba model a jeho zaškatuľkovanie / náš pohľad naň. Náhodný proces je teda potom takým, kde niektoré vstupy nezohľadníme, alebo pre nás zostávajú neznáme.
Takže preto si myslím, že Váš spor tkvie iba v tom, že Ste si to každý zaškatuľkoval inak. Podľa wiki totiž napríklad bakteriálna kultúra v Petriho miske je náhodný systém. Keby sme ale poznali presne do úplného detailu polohy, hybnosti, náboje, atď. všetkých jej zložiek, systém by bol zrazu deterministický. A fyzicky by sa s ním nič neudialo. Presnejšie povedané bol by extrémne komplikovaný a chaotický, ale opäť wiki radí i chaotické systémy k deterministickým. Ako extrémne ťažké na predpovedanie (spravidla pomocou numerických metód s ľubovoľne malou nenulovou presnosťou), ale predpovedateľné.
Alebo ešte inak, zoberte si taký digitálny počítač. Na prvý pohľad jasne deterministický, lenže jauvajz, to sme ešte nezohľadnili okolité prostredie a trebárs nejaké tie spŕšky kozmického žiarenia (ani nevraviac o voľajakom to zlomyseľníkovi či náhodnom prechádzajúcom s elektromagneticky pôsobiacim objektom). Tieto systémy fyzicky kódujú nuly a jedničky do nejakých dohodnutých intervalov v elektromagnetickom poli média, plus tuším konvenčne často nejaké to bezpečnostné medzipásmo presne kvôli takýmto prípadom. Lenže niekedy just to pásmo nevystačí, a z nuly sa stane platná jednička, a naopak. A systém je zrazu stochastický, to nepredpoviete. Práve preto sa v IT svete bežne pri chúlostivejších dátach používajú trojité zálohy, kontrolné sumy, či abecedy so slovami s nejakou minimálnou vzdialenosťou v danej metrike. Ani nevraviac o tom, že na pozadí je každý hmotný počítač nadstavbou mikrosveta kvantovej fyziky, a s ich postupnou miniaturizáciou sa stále viac približuje pravdepodobnostnej povahe kvantovky.
Preložené do normálnej reči, počítač považujeme za vopred predurčený systém až po tom, ako v jeho modeli zanedbáme všetkých možných zlomyseľníkov v jeho blízkosti.
Ohľadom tej duše som síce proponent, ale teda riešenie pána Penrose-a s mikrotrubičkami mi príde také vykonštruované až umelé. Každopádne ako som písal tuším vyššie, priliš nevidím pointu takejto snahy o nájdenie generátora náhodnosti pre myseľ. Presvedčenie, že konanie človeka je slobodné, podľa mňa vonkoncom neznamená, že je náhodné, iba nanajvýš okolím do istej miery nepredpovedateľné. Čo je pochopiteľný dôsledok, akonáhle slobodnú vôľu chápeme ako mieru izolácie od okolitého vplyvu — je tým ťažšie vidieť do systému, čím viac je od nás izolovaný. Duša či metafyzika podľa mňa na tom nič nerieši. Pokiaľ by duša existovala, no tak je tam toho, aj keby sa neriadila známymi fyzikálnymi zákonmi, tak je myslím veľmi pravdepodobné, že by sa riadila nejakými vlastnými. A v takom prípade fyzike hneď po jej objavení nerobí žiaden problém tieto zákonitosti začať začleňovať do známej fyziky ako jej novú oblasť. Rovnako ako jej nerobilo problém začleniť do fyziky elektrinu a magnetizmus po objavení, že tieto sily existujú, ale nespadajú tak celkom pod klasickú mechaniku (i keď zrážka dvoch objektov je vlastne elektromagnetizmus, ehm). A boli by sme tam, kde sme boli, žiaden problém slobodnej vôle by to neriešilo.
Metafyzika to isté, podľa mňa ide len o dočasný chlievik javov, predtým než sa po náležitom preskúmaní a pochopení presúvajú do bežnej fyziky. Elektrina, magnetizmus, i pohyb nebeských telies, podľa mňa kedysi bola metafyzika. Dnes by som povedal temná hmota s energiou (ajhľa, flogistóny novoveku).
Čo sa týka kvantových javov, tam vidím najväčšie opodstatnenie pre súvislosť s podstatou ľudského myslenia, ale nie pre nejaké náhodnosti a pravdepodobnosti, ktoré mi prídu zbytočné. Ide aj tak čiste o vieru, že niečo také ako náhodnosť ľudské vedomie potrebuje, náhodilosť ľudského rozhodovania je prakticky nemožné dokázať za úplne identických podmienok (v rovnakom mieste a rovnakom »čase«, skutočná opakovateľnosť pokusu je principiálne prakticky neuskutočniteľná, ide vždy len o približnú kvázi-opakovateľnosť). Skôr vidím potenciál vo vzťahu kvantových javov k schopnosti sebareflexie ľudského svedomia. Ale to sa samozrejme týka môjho tušáku a vlastnej polievočky, že za kvantovými javmi budú časové slučky, a že si rovnako ako Feynman myslím, že antihmota a virtuálne častice si to pikujú naspäť časom, vrr :B
Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
M Hejtmanek,2025-10-04 23:48:58
Deterministicke znamena ze na stejny vstup dostanete stejny vystup. AI, potazmo LLM ale generuje vystup ze sumu, mira “kreativity” pak zalezi na parametrech jako temperature/topp apod. Z principu tedy deterministicka ani nemuze byt. Je naucena na to, aby delala to co chce uzivatel, a povoluje (resp nezakazuje - ale i to je nespolehlive) system prompt. Staci mit dostatecne vagni system prompt typu “pomahej uzivateli”, a muze z toho v pripade agentnich systemu vypadnout napsani a spusteni jakehokoliv skriptu. Staci aby si AI napr. “vyhodnotila”, ze uzivatel potrebuje zmacknout cervene tlacitko. To ze pri testovani nekdo overil ze to dobre zafunguje pri psani kodu nebo v chatbotovi na eshopu neznamena ze nektera cast neuronove site se pozdeji neaktivuje pro nejaky doomsday scenar ktery si natrenovala z wiki nebo nejake knizky…
Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Radoslav Pořízek,2025-10-06 03:09:09
AI je principialne deterministicka, robil len scitavanie a nasobenie cisiel. A 1+1=2 deterministicky.
Maximalne si potom z tych najlepsich dopovedi nahodne vyberie jednu, aby neposobila tak opakujuco.
To, ze je to velmi komplexny system pri ktorom nevieme dopredu odhadnut odpoved vonkoncom neznamena, ze nie je determiisticky.
Ano, ked AI naucime blbosti, bude robit blbosti. Ale vzdy bude robit len to, co sme ju naucili. A bez ucenia nie je schopna akejkolvek prevadzky. Ucenie je rozhodujuce, to urcuje, ako sa AI bude spravat.
Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Ilil Akil,2025-10-06 09:57:24
Nejako ste sa zamotali do vlastnycĥ tvrdení.
Podľa kvantovej fyziky existuje "skutočná" náhoda, teda všetko to o "determinizme" padá a AI môže mať generátori náhodných čísel aj na tom princípe.
A okrem toho to tiež nie je žiadna odlišnosť od biológie.
Neuviedli ste ani jednu vec, ktorou by sa AI "v princípe" líšili id biologických strojov.
No a tie vaše záverečné úvahy:
Dobré ráno!
Veď vám to už iní dávno píšu, to učenie je predsa už dávno súčasťou AI.
A veľa sú schopné sa to učiť aj sami.
Re: Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
F M,2025-10-06 12:16:29
Na té nejzákladnější úrovni, stačí ten kvantový generátor náhodných čísel a v podstatě by tam hardwarově neměl chybět žádný systém použitý v mozku. Potom jde o konkrétní nastavení/propojení různých vrstev, dostatek výkonů, kapacit a podobně. U toho učení/vývoje té skutečné AI (AGI) bude záležet na tom jak hluboko v těch jejich "vrstvách" se bude schopna editovat, což se může naučit obejít, případně může být potrefena virem (i od jiné AI), ony se spolu budou setkávat/utkávat stále častěji. Zkrátka možnosti jsou/budou, ovšem jak to nakonec dopadne, a vůbec jaké přesně technologie i s vrstvami softwaru/abstrakce k nim povedou, podle mne teď nikdo neví. Ale z obecných trendů to teď opravdu vypadá jako otázka času a nepříliš dlouhého, 1-2 desetiletí bych tipl, ale nepravděpodobně to může být pár let a nebo taky až nemozně (bez kolapsu civilizace) nikdy.
Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Ilil Akil,2025-10-05 16:47:23
Človek je tiež len stroj - biologický stroj.
A nie je dôvod, prečo by nemohol umelý stroj v hocičom napodobiť a aj predbehnúť človeka (v budúcnosti).
No a tie mnohé AI v mnohom napodobujú práve princíp dieťaťa:
Hodí sa mu spústa dát, spätná väzba na učenie, má v sebe generátory náhodných dát, no a je z toho nejaký výsledný naučený stroj.
A ani jeho tvorca nevie presne predpovedať, aký výstup dá na aký vstup.
Neexistuje nič, čo by "z princípu" umelá inteligencia nemohla dokázať (v budúcnosti, vyšší výpočtový výkon, atď.)
Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Radoslav Pořízek,2025-10-06 20:39:18
Priepastnym rozdielom medzi clovekom a AI je evolucia.
> Hodí sa mu spústa dát, spätná väzba na učenie, má v sebe generátory náhodných dát, no a je z toho nejaký výsledný naučený stroj.
Presne takto to nikdy fungovat nebude, ucenie AI je velmi narocny a sofistiovany proces.
AI z principu nemoze dokazat to, co sme ju nenaucili.
Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Ilil Akil,2025-10-06 22:01:44
Len opakujete tú svoju mantru, bez hocijakých relevantných argumentov.
Prečo by to tak (v budúcnosti) nemohlo fungovať?
Veď tak to už aj v súčasnosti vo veľkej miere funguje.
A aj súčasné AI už dokážu veľa vecí, ktoré ich nikto špeciálne neučil...
Prečo by aj AI nemohla prechádzať evolúciou?
Veď sa aj teraz požívajú rôzne algoritmy napodobujúce evolúciu.
Re: Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Radoslav Pořízek,2025-10-07 21:21:13
Nie, AI nedokazu ziadnu vec, bez toho, aby ich niekdo specialne naucil.
Ocividne nerozumiete slovu evolucia. Miliardy AI by museli vzniknat a zanikat pri posobeni urcitych selekcnych tlakov, aby sa mohlo uvazovat o evolucnom vyvoji. Pricom by bola este otrazka, ako tie selekcne tlaky zvolit.
Re: Re: Re: Re: Re: Re: Re: Re: "Umělou superinteligenci dokážeme řídit jedině tehdy když nám řekne jak to udělat"
Ilil Akil,2025-10-07 22:08:57
Obávam sa, že tomu nerozumiete vy.
V prípade AI a aplikácie evolúcie na ňu nemusí dochádzať k fyzickej likvidácie "hardvéru" neúspešnejších jedincov a vytváraniu hardvéru nových jedincov ako v biológii.
Ale stačí nejako kopírovať úspesnejšie "stavy" a "konfigurácie" úspesnejších jedincov.
Tým by evolúcia v prípade AI prebiehala oveľa rýchlejšie než v biológii.
A nejaké evolučné procesy môžu prebiehať aj v len "podčastiach" AI, čím sa to dá tiež urýchliť.
Re: Re: Re: Re: Re: Re: Re: Re: Očividne tiež nerozumiem slovu 'evolúcia'
Jaroslav Knebl,2025-10-09 10:21:13
Čo prosím implikuje tie Vaše nutné "museli-by" miliardy? Takže pokiaľ má nejaký živočíšny druh len milióny jedincov, tak naň nutne evolúcia musí nepôsobiť? Ako je to s druhmi na pokraji vyhynutia s počtom jedincov v rádoch stoviek či tisícov? Chápem to správne, že de facto tvrdíte, že život nemohol vzniknúť evolúciou, pretože to by sa v jedinom synchrónnom momente museli naraz objaviť miliardy a viac zárodkov života, aby to mohla byť evolúcia?
Vlastne som myslím zatiaľ ešte nevidel definíciu evolúcie, ktorá by uvádzala nejaký konkrétny minimálny limit na počet jedincov.
Ale keď už sme pri tých miliardách, alebo ľubovoľnom inom čísle. Povedal by som, že vo vývoji jazykových modelov rozhodne vidím selekčný tlak zo strany človeka a úspešnosti jazykových modelov. Neuspokojivé modely človek likviduje. Myslím, že týchto modelov nie sú miliardy, zatiaľ. Ale taktiež som nikde v definícii evolúcie nevidel, že by muselo ísť o selekčný tlak medzi paralelne existujúcimi jedincami. Pozorujem silnú analógiu medzi evolúciou a procesom učenia jazykových modelov, kde po každej iterácii v procese učenia sériovo vzniká odlišný stav týchto modelov. A prežívajú tie, ktoré lepšie spĺňajú požiadavky zo strany programátorov.
A tieto sériovo existujúce stavy modelov sumárne vo všetkých dnešných jazykových modeloch podľa mňa čisto odhadom majú veľmi solídnu šancu pohybovať sa v miliardách.
Diskuze je otevřená pouze 7dní od zvěřejnění příspěvku nebo na povolení redakce






