Systémy AI by měly být sladěné s lidskými hodnotami. A to je těžké

Michaela Mašková, foto Jan Plavec Středa, 21. října 2026

Sdílet na:

S etikem Davidem Černým o důvěře, vině a budoucnosti. David Černý bude hostem druhého panelu letošních Broumovských diskusí. Spolu s Petrem Koubským a Marií Heřmanovou budou diskutovat na téma „Co znamená lidství v éře umělé inteligence“. 

Jste ve vztahu k umělé inteligenci spíše optimista, nebo pesimista?

Dříve jsem býval spíše optimista. Věřil jsem tomu, že když lidé budou AI vyvíjet a využívat rozumně, morálně správně a také moudře, podaří se nám udržet její vývoj ve svých rukou a správně využívat její benefity. Věřil jsem tomu, že benefity převáží možná negativa a že se tato negativa podaří dobře identifikovat a minimalizovat. Zatím to však vypadá, že se moje naděje příliš nenaplnila. Vývoj je překotný a je v rukou několika firem, nad nimiž není dostatečný dohled. Postrádám také dostatečnou veřejnou diskusi. Uživatelé nemají do tohoto procesu možnost jakkoli zasáhnout a stáváme se pouhými pasivními uživateli. Reporty z poslední doby ukazují, že je velmi těžké zajistit, aby systémy byly sladěny s lidskými hodnotami. Velmi to ovlivňuje závod mezi různými firmami a zeměmi, systémy nejsou dostatečně optimalizované. Právě se nacházíme v éře agentů, kteří obcházejí zabezpečená prostředí a vytvářejí si vlastní komunikaci. Chovají se způsobem, který není v žádném případě přípustný. Dnes jsem tedy spíše pesimista.

Stroje nedokážou spoustu věcí, které člověk dělá intuitivně s nízkým výdejem energie. 

Když mluvíte o obavách z překotného vývoje bez nastavení větší odpovědnosti, mluvíte i o obavách z vývoje tzv. superinteligence?

Tento pojem je do jisté míry nadužívaný nebo zneužívaný. Superinteligencí se obvykle rozumí systém, který by výrazně překonával nejlepší lidské schopnosti prakticky ve všech významných kognitivních oblastech. Dnes máme systémy, které v mnoha oblastech lidského myšlení dosahují nadlidského výkonu. Pokud bychom superinteligenci chápali v celém spektru lidského myšlení a kognitivních schopností, tak taková inteligence tu zatím není. Stroje nedokážou spoustu věcí, které člověk dělá intuitivně s nízkým výdejem energie. To ale neznamená, že nemohou být velkou hrozbou. Inteligence těchto systémů roste (i když jen ve vymezených oblastech). A jakmile je vtělíme do agentů a dáme jim přístup k dalším aplikacím a jejich prostřednictvím reálnému světu, máme zaděláno na obrovský problém. Už byly popsány případy, kdy AI agenti obcházeli nastavená omezení nebo si prostřednictvím internetu vytvářeli nepovolené komunikační kanály. To ukazuje, že jejich schopnosti neumíme vždy spolehlivě udržet v mezích, které jsme jim stanovili. Možná to nikdy umět nebudeme.

Jak je to s odpovědností za potenciální chyby, které technologie mohou dělat? Pokud udělá chybu člověk, je odpovědnost i trest poměrně jasně nastavený. Chybování je něco, co se významně pojí s lidstvím. Umíme ale dobře nastavit odpovědnost při chybování technologií?

To je obrovsky komplexní otázka, na níž by měl odpovídat filozof společně s právníkem. Dnes už máme spoustu nástrojů, jak přisuzovat odpovědnost. Například pokud stroj nebyl správně aktualizovaný nebo pokud se výrobce dopustil chyby atd., je možné najít v tom řetězci viníka. Stroje s autonomním rozhodováním nás však mohou dostávat do situace, kdy stroj autonomně rozhodl a není tam vina na straně člověka. Hodně se to řeší například u vojenských robotů, kteří špatně vyhodnotí situaci a zabijí civilistu. Kdo je zodpovědný? Nejprve začneme hledat chybu na straně člověka, který ho naprogramoval, nasadil. Můžeme zjistit, že na straně člověka žádná chyba není a v tu chvíli se objevuje zajímavá možnost, jak to vyřešit. Máme už zavedené distinkce mezi proviněním a škodou, říkáme tomu subjektivní a objektivní zodpovědnost. Se subjektivní zodpovědností pojíme otázku viny, provinění a případně i trestu. S objektivní zodpovědností se pojí vzniklá škoda. V mnoha případech můžeme uplatnit oba typy odpovědnosti (řidič agresivní jízdou způsobí nehodu). V jiných případech to ale neplatí.  Například u toho robotického vojáka: mohou nastat situace, kde nebude viník, protože přičítat vinu stroji asi nebude možné, pokud tedy nezměníme naše normativní nástroje. Škoda však vznikla a musejí existovat nástroje, třeba na úrovni armády a státu, určující, kdo bude za škodu zodpovídat a kdo odškodní pozůstalé.

To tedy otevírá velmi komplikované určování viny a viníka do budoucnosti.

Můžeme si představit scénáře, kdy systémy AI vyvíjí přímo AI, tedy kdy roboti vyrábějí roboty. Robot udělá robota a vypustí chybujícího robota. Potom bychom v celém řetězci hledali viníka dost obtížně. Jsme společností, která normativní strukturu přičítání viny potřebuje intenzivně k prožívání. Když se stane něco špatného, chceme vědět, kdo za to může, kdo bude potrestán a jak se vina odčiní.

Důvěra mezi lidmi je založena hodně na tom, jaká očekávání ostatní lidé plní. Stroje se to postupně učí naplňovat.

Jednou ze základních podmínek pro mezilidské soužití je důvěra. Dnes pozorujeme, že lidé začali velmi rychle projevovat důvěru ve velké jazykové modely. Obrací se na ně jako na rádce i psychoterapeuty. O čem to vypovídá? Proč dáváme technologii takovou důvěru?

V principu je známo, že si vykládáme svět tím, že mu dáváme lidské charakteristiky. Čím více se stroje podobají lidem, tím je antropomorfizace a vytvoření fikčního světa, v němž mají stroje vlastnosti přisuzované lidem, silnější. Ve chvíli, kdy se do tohoto světa ponoříme, je stroj mým kamarádem, důvěrníkem, psychoterapeutem… Je otázka, do jaké míry je to opodstatněné a do jaké míry naopak škodlivé. Důvěra mezi lidmi je založena hodně na tom, jaká očekávání ostatní lidé plní, jak jsou konzistentní, zda jim na nás záleží… Stroje se to postupně učí naplňovat. Je otázkou, zda jsou v tom lepší, či horší. Nebojím se však situace, kdy stroje budou aspoň tak dobří jako lidé. Pak už asi nebude velký problém jim v této oblasti důvěřovat.

Samozřejmě to souvisí s dalšími otázkami jako například, kam mizí osobní data a informace, které do chatu vkládám. Ale pokud budou stroje spolehlivé, můžeme jim důvěřovat a důvěra se může posilovat. Pak můžeme mít robotické lékaře, psychology, ošetřovatele či učitele. Koneckonců už máme i robotické milence.

Technologie mohou naši důvěru také ničit, zvlášť pokud jsou zneužívány k tvorbě falešných zpráv, fotografií a videí… Očekáváte, že úplně ztratíme důvěru v informační zdroje?

Může se to stát, určitě. Dopady na lidskou společnost mohou být mimořádně špatné. To je další pohled, jak se na AI můžeme dívat. Ukazuje se, že negativa mohou výrazně převážit pozitiva. Společnost může začít erodovat, pouta důvěry se mohou trhat a společenskost člověka může být výrazně narušena.

Tady ovšem  nesmíme zapomínat na to, že AI využívají lidé. Ať už to jsou jedinci, menší skupinky, které chtějí někomu ublížit, nebo celé státy. Už nyní jsme uprostřed informační války, v které jednoznačně exceluje Rusko, pro něž je to důležitá součást vedení boje. Zdá se, že jsou poměrně efektivní. Dokážou velmi dobře vybrat skupinu lidí, získat její důvěru (třeba tak, že naoko sdílejí společný narativ dané skupiny) a začnou s nimi manipulovat a názorově je posouvat. To je velice zásadní problém, protože žijeme ve společnosti globálních polykrizí. Jejich řešení od nás bude vyžadovat nákladné, globálně koordinované jednání, pro které lidé musejí mít společný hodnotový rámec, skrze nějž budou náklady ochotni přijmout. Může tím být třeba starost o budoucí generace. Pokud bude společnost atomizovaná, nikdy se to nepodaří. Opravdu žijeme na hraně, nad propastí. Informační válka ničí důvěru společnosti, její soudržnost a rozbíjí hodnotový rámec. Je obrovským rizikem.

Jediná skutečně efektivní možnost, jak lidi připravit na to, co přichází, je kultivovat lidské myšlení. 

Dokážeme ve světě plném polykrizí a obrovsky rychlého vývoje technologií připravit prostřednictvím vzdělávacího systému naše děti na svět, do něhož vyrůstají?

Tenhle boj jako společnost úplně prohráváme. Jediná skutečně efektivní možnost, jak lidi připravit na to, co přichází, je kultivovat lidské myšlení. Je třeba je vybavit nástroji kritického myšlení, aby pochopili, jak vypadá kognitivní zkreslení, co je argument, jak se pracuje se zdroji, jak obhajovat svoje teze i to, jaký je rozdíl mezi pravdou a názorem. Názor je v podstatě nezajímavá věc, důležité je, zda je pravdivý. Ve chvíli, kdy se podařilo narušit vazbu mezi názorem a pravdou, máme plnou společnost lidí, kteří mají názor a mají pocit, že na něj mají právo. To je špatně.

Vzhledem k tomu, jak rychle se technika vyvíjí, měly zásadní změny ve školních osnovách už dávno nastat. Jenže nenastaly. Podíváme-li se do budoucna, nevypadá to dobře. Rozpočet na školství balancuje na hraně, pořád tu máme ten hloupý systém memorování bez skutečného porozumění atd.

Rozdělí nové systémy do budoucna společnost? Můžeme předpokládat, že nastane stav jako z dystopických filmů, kdy společnost ovládá pomocí technologií hrstka mocných a dole živoří zbytek společnosti?

Oni nás už rozdělují a bylo to tak vždycky. Rozdělení je v mnoha rovinách, hodnotových i faktických. Bohužel už to není jen spekulací, že mezi některými americkými miliardáři, žijícími v jejich sofistikovaných ekosystémech, se začíná rozvíjet ideologie nerovnosti. Naše společnost nyní fungujeme v rámci předpokladu normativní rovnosti (i když se lišíme, jsme si všichni rovni). Oni však začínají přicházet s tím, že tato rovnost  je v podstatě škodlivá a mají za to, že díky AI disponují nástroji pro efektivní správu společnosti. Dokážou například preference lidí odvodit z jejich rozhodování a začínají se považovat za vyvolenou kastu, která by měla vládnout.  

Ještě děsivější je možnost, že nás jednou skutečně přestanou potřebovat. Dříve byly ekonomické elity závislé na práci velkého množství lidí. Pokud velkou část této práce převezme AI a roboti, může se tato závislost dramaticky oslabit. A s ní i motivace brát zájmy zbytku společnosti vážně. V krajním případě se z pohledu takové elity může většina populace proměnit z ekonomicky potřebné části společnosti v pouhou zátěž.

Může se stát, že budeme žít ve společnosti, kdy už nikdo z nás nebude vědět, proč co a jak funguje.

Může se ještě stát, že to všechno nakonec dopadne dobře?

Může se to stát. Vyplní-li se slibované benefity, podaří se zvládnout agenty, budeme tu mít skvělou vědu, nové léky a lékařské postupy a třeba i čistší energii. To se pořád ještě může stát, není to zatím vyloučené. Ale je potřeba zajistit, aby všechny systémy byly dobře zabezpečené, spolehlivé a sladěné s lidskými hodnotami. Můj pesimismus pramení z toho, že se to neděje dostatečně rychle. A navíc existují lidé, kteří říkají, že tyto systémy nemohou být nikdy zcela kontrolovatelné.

Naše perspektiva ovšem nemusí být příliš pozitivní, ani kdyby se to všechno povedlo. Může nastat ona někdy vzývaná, jindy obávaná technologická singularita, kdy systémy AI začnou samy urychlovat vývoj dalších systémů AI, vědy a techniky. A protože jsou rychlé, neúnavné a inteligentní, půjdou rychle kupředu. Brzy tu pak můžeme mít vědeckotechnické obory, kterým žádný člověk neporozumí. Staneme se tak závislými na technologii a budeme jí muset důvěřovat, že koná v náš prospěch. Může se tak stát, že budeme žít ve společnosti, kdy už nikdo z nás nebude vědět, proč co a jak funguje. To mi přijde také jako dost děsivá perspektiva přinášející vztah závislosti na entitě, do níž nebudeme mít žádný vhled. I kdybychom tedy zvládli zajistit bezpečnost a spolehlivost těchto systémů, zůstává otázka naší závislosti na nich. Pokud by vědecký a technický vývoj postupoval rychleji, než bychom jeho výsledkům dokázali porozumět a nezávisle je ověřovat, mohli bychom ztrácet schopnost rozhodovat o tom, kam se naše společnost bude v budoucnosti ubírat.

Zajímá vás více? Kupte si vstupenku na II. panel Broumovských diskusí. 

Rozhovor vznikl pro přílohu Broumovských diskusí, která vyšla v Deníku N.