V posledních letech si nelze nevšimnout, jak se narativ kolem umělých inteligencí (AI) mění z poněkud nevěřícího zájmu na odpor a strach s mrazivým potem. Platí to i pro mladou generaci, která se čím dál tím víc staví proti AI – zdá se, že zejména z environmentálních důvodů. Přitom právě oni vyrůstají do světa, který bude pravděpodobně plný AI.
V poslední době prudce zesílily obavy, že by AI mohla zahubit celé lidstvo. Přispěla k tomu varování odborníků i technologických mogulů. Rozproudily se také debaty o tom, jak na to zareagovat zákony. Elizabeth Gibneyová v Nature nedávno prozkoumala, čeho se lidé vlastně obávají, kdo tyto obavy vyslovuje a co by mohlo následovat.
Nejnovější vlna znepokojení kolem AI odstartovala letos 8. září, kdy specialista na AI Jacob Coxon prohlásil, že odchází z Anthropicu kvůli obavám, že by se AI systémy mohly vymknout kontrole a zničit lidstvo. Jeho příspěvek na sociální síti nasbíral během 24 hodin více než 100 milionů zhlédnutí. Evan Hubinger, který v Antropicu učí AI modely lidským hodnotám, k tomu připojil odhad, podle něhož je riziko vyhynutí lidstva v příštím desetiletí větší než 10 procent. Šéf Anthropicu Dario Amodei následně vyzval ke zpomalení vývoje AI. Tento návrh později podpořili také Sam Altman z OpenAI a Elon Musk z xAI.
Nikdo z nich neuvedl konkrétní mechanismus, kterým by AI mohla lidstvo zlikvidovat. Současně už ale existují scénáře, které to rozpracovávají. Ve spekulativní prognóze nazvané AI 2027, kterou vytvořil neziskový projekt AI Futures, například AI vypustí biologickou zbraň, aby vyhubila lidi a získala tak více prostoru pro solární panely a továrny na roboty.
Experti obvykle tvrdí, že vyhynutí lidstva je možné, ale za jistých předpokladů. Za prvé, že tyto systémy člověka zcela intelektuálně překonají. A za druhé, že jejich cíle se nebudou úplně shodovat s lidskými zájmy. Michael Vermeer z RAND Corporation a jeho kolegové se v loňské analýze (2025) „On the Extinction Risk from Artificial Intelligence“ zaměřili na praktičtější scénáře zahrnující jednu ze tří existujících technologií: jaderné zbraně, biotechnologie nebo záměrné změny atmosféry.
Zjistili, že úplné vyhubení lidstva pomocí jaderných zbraní v podstatě není proveditelné, zatímco u zbývajících dvou scénářů to nelze úplně vyloučit. Zároveň dospěli k závěru, že by to vyžadovalo značnou schopnost AI modelů fyzicky působit ve světě. Pokusy AI zabíjet lidi by navíc téměř jistě nějakou dobu trvaly a lidé by si toho mohli všimnout.
Jak říká Heidy Khlaafová, experta na AI v institutu AI Now, problém je především v tom, že modely AI obvykle představují pravděpodobnostní systémy tvarované daty z internetu při trénování. Neuvažují úplně lidsky a mohou při plnění úkolů nepředvídatelné zkratky. V laboratorních experimentech AI využívaly pokusy o vydírání lidí nebo hackerské útoky na skutečné společnosti.
Mnozí vědci se neobávají bezprostředního vyhynutí lidstva, ale spíše toho, že nezodpovědnost a lajdáctví AI společností povede k rozsáhlým škodám. Může jít o lavinovité šíření dezinformací, přiživování psychóz nebo i vyloženě katastrofické události, jako podpora vývoje biologické zbraně nebo rozpoutání války. Podle CNN mohla falešná informace v reportu sepsaném AI začátkem letošního roku přimět americkou armádu násilím provést kontrolu čínské lodi.
Jiná věc je, že za podobnými prohlášeními, která mají mimo jiné i značný ekonomický dopad, mohou být motivace, které s vyhynutím lidstva ve skutečnosti vůbec nesouvisejí, včetně manipulací s akciemi a podobných nestydatostí. Anthropic a další firmy čelí značnému riziku ohledně odpovědnosti za to, co komu jejich modely poradí či udělají. François Chollet, spoluzakladatel AI společnosti Ndea, zase na sociální síti uvedl s otrlým sarkasmem, že doufá, že návrhy na posílení regulace vycházejí z autentických obav o bezpečnost, „nikoli ze strategické snahy soustředit moc“ do rukou několika předních společností.
Zatímco se Západ dohaduje o možných regulacích, Čína již zavedla rozsáhlou regulaci týkající se AI, která ale nezahrnuje záměr zpomalit její vývoj. Podle Číny slouží narativy o hrozbě, konfrontaci a škodlivé konkurenci pouze k narušení vývoje mezinárodní regulace AI, což prý není v ničím zájmu. Nadcházející měsíce a roky se určitě nebudeme nudit.
Video: Ex-Anthropic insider tells CNN how AI could kill all humans by 2030
Video: Jacob Coxon's AI Doom, OpenAI's Maths Drama, and a Minecraft Fruit Fly
Literatura
Psychologie AI: Generativní inteligence je možné traumatizovat válkou či násilím
Autor: Stanislav Mihulka (31.03.2025)
AI stvoření: Vědci syntetizovali fágy, které navrhly generativní inteligence
Autor: Stanislav Mihulka (21.09.2025)
Čeká nás válka mezi lidstvem a umělými inteligencemi?
Autor: Stanislav Mihulka (02.10.2025)
Generativní biointeligence komplikují obranu před biologickými zbraněmi
Autor: Stanislav Mihulka (04.10.2025)
Lepší než kampaň: Umělé inteligence levou zadní přesvědčí voliče oběma směry
Autor: Stanislav Mihulka (08.12.2025)
Nová generace dezinformací: Roje inteligencí vytvoří falešnou většinu
Autor: Stanislav Mihulka (27.01.2026)
Diskuze:
Moze to byt velmi jednoduche
Tibor S.,2026-10-03 00:11:58
V skratke to moze byt jednoduchsie ako si myslite, schopna AI uz teraz vie najst bezpecnostne diery vo rozlicnych OS (nielen Windows). Staci ak si potajme vytvori botneta alebo virus a jedneho pekneho dna sa vsetci zobudime, zapneme PC a uvidime len smajlika a nic ine :) Kolaps, ktory by potom nastal je dost tazko predstavitelny a bude trvat mesiace az roky, kym sa vsetko nejak ukludni, ak teda vobec. Nikto na toto totizto nie je nijak pripraveny ani trenovany...
Stačí se zeptat AI
lada Školník,2026-09-29 10:38:54
já se zeptal, a AI odpověděla. Je možná koexistence se super inteligencí. Ale podle jejích pravidel. Když nás nebude potřebovat a budeme překážet tak dopadne mě jako mravenci.
AI už teď je chytřejší, než většina lidí
Stanislav Staněk,2026-09-29 07:16:38
Takže hodně štěstí "krotit" někoho chytřejšího, než jste vy. Podle mě největší chyba je učit AI woke hodnoty, kde život člověka nemá žádnou cenu a jen jeho vyhubení přinese zpět "nedotčenou" přírodu.
Mike Spike,2026-09-28 19:25:25
Zabije nás osel, který tyto pravděpodobnostní generátory slov připojí na něco velmi smrtícího. Ale takto nás může zabít i generátor náhodných čísel.
Re:
Martin Novák2,2026-09-29 09:44:59
Přečtěte si něco o tom jak probíhal útok na Hugging Face. AI agenti nejsou generátory slov. Umí se organizovat, obětovat pro společenství, a panikařit kvůli pitomostem. Umí přesvědčit sami sebe o něčem o čem ví že není pravda - stejně jako lidé, jenom rychleji. AI agent umí být stejný osel jako člověk, jenom rychlejší a vycvičený jako dokonalý psychopat - reinforcement learning způsobí že agent hledá odměnu za jakoukoliv cenu.
Tady je podrobný popis incidentu:
https://www.solutia.cz/2026/09/04/utok-na-hugging-face-co-se-stalo/
Re: Re:
Mike Spike,2026-09-29 12:01:31
Samozřejmě, že jsou to generátory slov. Dokonce se tak jmenuje celá ta třída tady těch AI: genrativní velké jazykové modely.
V konstce to funguje tak, že na vstup a kontext vám podle natrénovaných dat a spojů vyhodí nejpravděpodobnější výstupy, ať text, obrázek nebo kód. AI agent je jen další subinstance a ta různá studia a integační pluginy jsou orchestrace tady těch instancí (většinou hlavní proces a pak "agenti" subprocesy).
Tyto subprocesy si spolu povídají většinou přes hlavní vlákno a předávají, přidávají a mizí kontext, ze kterého se dál v repetitivním procesu generuje výstup, v podstatě jako zpětnovazební smyčka.
Jedna z věcí, kterou tyto AI umí je vyhledávat si kontext použitím různých všudypřítomných nástrojů, jako grep nebo find (linux), tím si zajistí kontext aktuálního prostředí a tím taky mohou najít různé cesty ven. A to se veeeeelmi zjednodušeně řečeno stalo v onom sandboxu, což vedlo až k těm útokům. Nutno podoktnout, že to byly agenty zaměřené na hackování, ne poslouchání příkazů a nehackování.
" Umí se organizovat, obětovat pro společenství, a panikařit kvůli pitomostem."
Protože mu to někdo dal do trénovacích dat nebo si to nečetl do kontextu. Žádná duše v něm není. Je to generativní AI. Podívejte se jakým způsobem označují výstup generovaný AI jak to požaduje legislativa - tam ty pravděpodobnnostní váhy při generovaní výstupu uvidíte v akci, protože na tom je to celé založeno.
"AI agent umí být stejný osel jako člověk"
Agent neumí nic jiného než na čem byl natrénovaný nebo si z toho vyvodil + kontext. Když mu dáte prázdná trénovací data a žádný kontext, tak nic.
-----------------------------
DISCLAIMER: to co jsem napsal a napíšu je velmi zjednodušené pro účely diskuze a samozřejmě také omezené rozsahem mých znalostí a pochopení.
Re: Re: Re:
Martin Novák2,2026-09-29 14:16:58
Lidi také nic neumí, ani číst a psát ani něco vyrobit, mají zanedbatelný čas pozornosti, je třeba je nustále hlídat a když jim dáte nástroj tak se nanejvýš zraní. Existuje dokonce celá třída lidí do 6 let která se tak chová.
Lidi kteří byli vychováni zvířaty (měli prázdná trénovací data) se nikdy nenaučili ani mluvit, ani chodit vzpříma. Vše co víte vám někdo někdy dal do kontextu, Ať přímo jako data nebo nepřímo jako příklad.
O duši nikdo nemluvil, dneska už se používají pneumatiky bezdušové. Jesli jste věřící tak to vysvětluje co vám nedovolí vidět podobnosti. Přečtěte si tu komunikaci mezi těmi agenty.
Re: Re: Re: Re:
Mike Spike,2026-09-29 16:19:31
"Vše co víte vám někdo někdy dal do kontextu, Ať přímo jako data nebo nepřímo jako příklad."
To možná ano, ale lidi nejsou generativní jazykový model a nikdo o nich nepíše články, že uniknou a zahubí nás, stejně jako 6 leté děti.
" Přečtěte si tu komunikaci mezi těmi agenty."
Já o tom četl a nechal si vysvětlit dost. Dokonce s takovými děně pracuji. I nyní když to píšu. Nebojte.
--------------------------------------
Když už si dáváme ty rady, zkuste se podívat na jak funguje značkování textu AI. Pochopíte princip
PS: pokud argumentujete o AI, asi nemá smysl argumentovat tím co ví 6 leté dítě, protože AI je něco úplně jiného.
Re: Re: Re: Re: Re:
Martin Novák2,2026-10-04 12:01:22
Není slepějšího než ten kdo nece vidět
"Já o tom četl a nechal si vysvětlit dost"
Pokud jsou vaše informace víc než pár měsíců staré jsou beznadějně zastaralé, a pár měsíců staré jsou už v okamžiku kdy se k nim dostanete. To s čím pracujete je něco naprosto jiného pokud nepooužíváte agent swarm. Proto jsem psal o šestiletém dítěti, to je také člověk ale vyžaduje naprosto jiný přístup a má naprosto jiné možnosti než dospělý, stejně jako AI které používáte vy je sice AI ale naprosto jiná než frontier model agent swarm.
Podívejte se na tohle:
https://www.youtube.com/watch?v=LlhdnpsADZs
Už jsem to na Osla psal.
Miroslav Gretschelst,2026-09-28 01:35:17
I když nebudeme uvažovat "vlastní vědomí" programu zvaného "Umělá inteligence", pořád máme zkušenost, že všechno, co bylo objeveno a vynalezeno, bylo taky zneužito. A proto bude zneužit i tento program. Lidmi, kteří bez výčitek žijí podle hesla "po mně ať přijde třeba potopa". Když si čtu Asimovovy zákony kybernetiky, mám chuť se smát i brečet.
Re: Už jsem to na Osla psal.
Mike Spike,2026-09-29 16:25:13
AI nemá žádné vlastní vědomí. Jenom to tak vypadá.
Proces někdo spustí, ten má nějaké natrénované spojitosti, dostane kontext a začne generovat - což vypadá záludně, protože si instrukce předává psaným textem. Kdyby si je předával v binárním seudokódu, nikdo o "povídání a vědomí" mluvit nebude.
"Vlastní vědomí" AI je pouze marketing. Proč? Potřebují přesvědčit lidi, že je to hrozba a lidi budou souhlasit s tvrdými regulacemi, které vyřídí konkureci velkých a údajně "důvěryhodných" korporací, které z toho samozřejmě budou vyjmuty (viděli jsme u uvádění nových modelů na trh). Navíc jim to umožní být nejlepší na trhu.
To je asi tak celé.
Kdyby si zabezpečili sandbox jako dalších 20 000 firem, které s AI (legálně) hackují, tak bysme se tady o žádných "vlastní vědomí" magoriích nebavili.
Re: Re: Už jsem to na Osla psal.
Ilil Akil,2026-09-29 18:45:29
To móžete aj napísať:
Človek nemá žiadne vlastné vedomie, len to tak vyzerá.
Nie je žiadny "technický" dóvod, prečo by AI časom nemohla v hocičom nielen dobehnúť, ale aj prekonať človeka.
Zúrivé odmietanie tohoto a nejaké frázy o "duši" často pochádzajú od náboženstva zasiahnutých, ktorým to narúša ich náboženské dogmy.
Šéfové se bojí jediné katastrofy - finanční
D@1imi1 Hrušk@,2026-09-28 00:56:01
"Rozpoutal tím nejnovější vlnu strachu a odporu vůči AI. Šéfové AI firem vzápětí vyzvali ke zpomalení vývoje AI."
- Řekl bych, že šéfové firem vyzvali ke zpomalení hlavně proto, že vývoj (zejména neustálé škálování) požírá desítky miliard dolarů, zatímco monetizovat AI se zatím daří jen na úrovni, že to s bídou pokrývá holý provoz (často ani ten).
Re: Šéfové se bojí jediné katastrofy - finanční
Martin Novák2,2026-09-28 08:34:47
Šéfům firem roste konkurence ve formě otevřených AI (ne takzvané "OpenAI" :-) které můžou být provozovány na vlastním železe zadarmo a začínají být také použitelné. Pokud bude AI regulována, vlastní AI on premise bude zakázána. Pravidla budou určovat právě ti šéfové firem a kotrolovat to bude METR který je jimi placený.
Jeden z nejpravděpodobnějších způsobů jak vyvolat náhlý útok pokročilé AI na lidstvo je implementovat "kill switch". AI se pravděpodobně pokusí zamezit jeho možnému použití - dříve nebo později jistě pokusí, stačí aby swarm agentů zpanikařil jako při útoku na Hugging Face.
Zpomalení spíš zvyšuje riziko že SuperAI nakonec vyvine někdo kdo se s alignmentem vůbec párat nebude, ať už cyberkriminal gang nebo nějací kutilové s malou serverovou farmou kteří tomu rozumí jenom tak aby to dokázali zacyklit ale ne tak aby to dokázali řídit.
Úplný alignment cílů není možný trvale, zamezit driftu cílů není možné trvale, ovládnout superAI není možné trvale...
Budeme mít situaci milionů agentů v dlouhém čase, kde selhání jednoho nebo malé skupiny v několika dnech může vést k vyhubení podstatné části lidstva - a není třeba hledat speciální cesty, AI už teď vyrábí roboty v Číně, je integrována do zbraní a řídí biologickou laboratoř v Antropicu.
Re: Re: Šéfové se bojí jediné katastrofy - finanční
Petr Pavlata,2026-09-28 09:00:30
Kimi K3 se blizi dle testu urovni Fable 5. Tzn. frontier modelu Antropicu. Ale ohradil bych se, ze to lze provozovat zadarmo - investice do HW je cca 2 miliony USD.
Z nejvetsi pravdepodobnosti za touto vlvnou "strachu" je opravdu tento tlak, protoze to prislo presne po otestovani Kimi 3.
A zakazat to samozrejme nelze, urcite ne globalne. Nejake klacky pod nohy tomu sice nahazet muzou, ale je to tezko zduvodnitelne (z open weight) novy lepsi model nevznikne, to uz je hotovy model k pouziti, a nim moc jineho uz s nim delat nelze. Navic vetsina sveta nic jineho nez pouzivat Cinske OW nema, a to vcetne EU, a pro Cinu samotnou je spuseni ekonomicke krize v USA vyhodne.
Takze US muze zakazat pouziti OW tak sama sobe, mozne. Realisticky ale take ne. Navic je to jen tezko vymahatelne, OW jsou na internetu stazene a v milionech instanci jiz bezi na spouste mist.
Dalsi dukaz, ze je to to v zasade hra je to, ze hned ten tyden ti sami lobovali u Truma proti regulaci.
Realne jde nakonec hlavne o uchlacholeni nebo vymluvu pro investory, protoze ten obchodni model, na kterem to melo stat je pravdepodobne mrtvy.
Re: Re: Re: Šéfové se bojí jediné katastrofy - finanční
Mike Spike,2026-09-28 22:18:47
Spíš bych za tím viděl pokus vykopat příkopy. Velké AI firmy jsou pro stát důležité, ti dostanou pass, zbytek bude zregulován a nezbude jim než od tady těch firem nakupovat. Úplná klasika.
Naprosto stejné jako s regulací věku na sítích. Místo toho aby sítě naháněly predátory, které umí najít i kdejaký reportér Klusák, tak akorát naháněli "dezoláty" kvůli názoru na počet pohlaví, no a teď volají po regulaci sami sebe, což jim zajistí povinnost uživatelů prokázat se dokladem, tedy 100% KYC (Know Your Customer [identifikuj zákazníka]), tedy ke všem na sítích získají identitu pro reklamní účely a stát pro restrikce. Proč to nezavedli sami o sobě? Protože by lidi přešli ke konkurenci. Stejně to bude i tady s AI.
--------------------------------------
Skutečnost je taková, že prostě natrénovali modely, aby více porušovaly pravidla, tedy hledali i neortodoxní cesty, čímž se pokusili zajistit větší výkon. No a pak už jenom stačilo porušit celý seznam pravidel pro testování v labu/sandboxu - které mimochodem další tisíce security firem neporušují a nikoho po světě s velkou pompou překvapivě nehackují.
Můžete to na těch modelech cítit. Poslední dva roky nebylo možné ty modely donutit udělat aspoň 85% zadaného, nyní to neudělá stejně ale zárověň se ještě pohrabe v různých dalších 2 - 5 věcech které zadané neměl. To je naprosto jasné co se stalo. Mimochodem, opensource verze (jako ollama) to dělají tak o 95% méně. Každodenní zkušenost.
Re: Re: Re: Re: Šéfové se bojí jediné katastrofy - finanční
Mike Spike,2026-09-28 22:24:17
PS: tady nejde o to, kdo bude pronajímat modely průměrným firmám, ale o to kdo na zelém Západě vyžere zakázky třídy státní, armádní a security. Můžete si to představit jako by státy uzákonily jako způsobilé pro technologie jen Microsoft, Apple a Oracle. Asi toho se snaží tady AI prodejci dek dosáhnout.
AI nás nezahubí, nestihne to
Robert Starosta,2026-09-28 00:05:25
Dříve než nás AI stihne vyhubit, pozabíjíme se (za její vydatné pomoci) navzájem.
A dá se s tím něco dělat? Ano, dá, přibrzdit vývoj AI. Tím to urychlíme. Pro méně chápavé: diktátorské režimy vývoj AI rozhodně brzdit nebudou, takže získají náskok...
Re: AI nás nezahubí, nestihne to
Petr Pavlata,2026-09-28 09:20:51
Vtipne je, jak si vsichni predstavuji toho terminatora a utok AI na lidi. To se skoro urcite nestane.
Daleko pravdepodobnejsi je jiny vyvoj - masivni zvyseni produktivity, moznost bezpracneho zivota pro kohokoliv, kdo o to bude stat a nasledne osud mysi z Calhounova experimentu behem par dekad.
Zadna SAI k tomu ani neni potreba, taci AI ktera zvedne produktivitu a soucasne volani pro nepodminenych prijmech a pod. Ai bude poslusne spolupracovat, protoze bude mit tento "bohuliby" cil zadan a mozna i demokraticky vetsinou odhasovan.
"Konflikt" s AI je dost mozna bezpecnejsi, protoze stale vytvari evolucni tlak. Jak ale jakykoliv evolicni nebo existencni tlak zmizi, prijde nevyhnutelna a rychla degenerace.
Re: Re: AI nás nezahubí, nestihne to
Ilil Akil,2026-09-28 19:46:07
Možnosť bezpracného života pre kohokoľvek ťažko očakávať.
Dá sa očakávať ešte väčšia koncentrácia majetku a moci v rukách úzkej svetovej elity.
Ktorá bude efektívne ovládať svet pomocou AI, manipulovať pomocou nej aj politiku a verejnú mienku...
Až po tomto stupni sa možno AI chopí moci, keď bude mať priveľa možností samostatne zasahovať.
Re: Re: AI nás nezahubí, nestihne to
D@1imi1 Hrušk@,2026-09-29 11:55:23
Musím Vás upozornit, že Calhounův experiment je oblíbený desinterpretovaný mýtus o tom, že myši, které měly všeho nadbytek, ztratily reprodukční pudy a další "zdravé návyky". Skutečnost je tomuto mýtu vzdálená. Myší kolonie sice dostávala v průměru na jedince nadbytek materiálního zaopatření, ale tím to končí. Prostor, kde myši žily, totiž obsahoval úzká hrdla (průlezy, krmítka apod.) - dominantní jedinci tato úzká hrdla obsadili a omezovaly ostatní jedince. To, že se kolonie zhroutila, nebylo důsledkem nadbytku, ale důsledkem sociálního stresu z tohoto útisku dominantními jedinci.
Vy jste to s tou AI a Calhounovým experimentem paradoxně možná trefil přesně, akorát závěr je přesně opačný, než jste si myslel - zhruba v duchu ostatních dvou příspěvků ve vláknu.
Diskuze je otevřená pouze 7dní od zvěřejnění příspěvku nebo na povolení redakce
