Papež Lev XIV., umělá inteligence a chybějící černý scénář

„My všichni, včetně těch, kdo umělou inteligenci navrhují, víme jen málo o tom, jak skutečně funguje.“

Tato věta z první encykliky „Magnifica humanitas“ papeže Lva XIV. je podle mne nejdůležitější větou celého dokumentu. Může sloužit jako motto, ale také jako memento mori technologické epochy. Lidstvo začíná svěřovat stále významnější rozhodování systémům, jejichž schopnosti rostou rychleji než naše porozumění tomu, jak uvnitř dospívají ke svým výsledkům.

Neznamená to, že konstruktéři nevědí, co programují. Znají zdrojový kód, architekturu, matematické operace, trénovací postup i jednotlivé parametry. Neprojektují však detail po detailu vnitřní organizaci, která se během trénování vytvoří. Právě proto encyklika pokračuje obrazem, že dnešní systémy umělé inteligence jsou spíše „pěstovány“ než „stavěny“: vývojáři vytvářejí architekturu a podmínky, v nichž umělá inteligence „roste“.

Věta, která není básnickou nadsázkou

Námitka, že umělá inteligence je přesně projektována stejně jako most, platí jen zčásti. Most je navržen tak, aby předem určené nosné prvky plnily předem známou funkci. U neuronové sítě je přesně navrženo prostředí učení, nikoli význam a role každého z miliard naučených spojení. Vývojáři nevkládají ručně schopnost překládat, rozpoznávat ironii, plánovat odpověď nebo vytvářet analogie. Tyto schopnosti vznikají během tréninku a jejich konkrétní vnitřní mechanismus se teprve zpětně zkoumá.

Neříká to pouze papež. Anthropic, jeden z nejvýznamnějších vývojářů velkých jazykových modelů, píše bez obalu, že modely nejsou lidmi přímo naprogramovány, během tréninku si vytvářejí vlastní strategie a ty přicházejí i jejich vývojářům jako cosi neprůhledného. Firma shrnuje: „Nerozumíme tomu, jak modely dělají většinu věcí, které dělají.“ Google DeepMind obdobně uvádí, že vnitřní fungování jazykových modelů bývá záhadou i pro výzkumníky, kteří je trénují. OpenAI přiznává, že navrhujeme pravidla tréninku, nikoli konkrétní chování, které z něj vzejde, a že vzniklou hustou síť spojení člověk nedokáže snadno rozluštit.

Existence celého oboru mechanistické interpretovatelnosti je sama o sobě důkazem problému. Jeho cílem je zpětně rekonstruovat, jak model uvnitř uskutečňuje své schopnosti. Kdyby byl model funkčně pochopen stejně jako most, nebylo by třeba budovat „mikroskopy pro AI“, hledat v síti skryté reprezentace a pokoušet se rozplést výpočetní obvody, které při tréninku samovolně vznikly.

Děti se zápalkami ve stohu

Zde začíná skutečný problém. Nejde pouze o to, že umělá inteligence může chybovat. Chybovali vždy také lidé a všechny lidské nástroje. Nové je spojení několika okolností: systémy jsou stále výkonnější, jejich vývoj probíhá mimořádně rychle, vstupují do zdravotnictví, práce, médií, správy, bezpečnosti i války a zároveň zůstává jejich vnitřní rozhodování z velké části neprůhledné.

Jako lidstvo si proto zahráváme s něčím, jehož následky nedokážeme dohlédnout. Připomínáme malé děti, které si hrají se zápalkami ve stohu. Dítě ví, že zápalka hoří. Možná dokonce ví, jak ji zapálit a zhasnout. Nechápe však celý řetězec následků, jakmile plamen přeskočí tam, odkud jej už nelze vzít zpět. Naše technická schopnost zapálit zápalku je dnes podstatně větší než naše moudrost při rozhodování, kde a proč ji škrtnout.

Papež správně varuje před představou, že technologie je neutrální. Nabývá vlastností těch, kdo ji vymýšlejí, financují, regulují a používají. A právě zde se technická neprůhlednost spojuje s koncentrací moci. Nejvýkonnější systémy nevznikají jako obecné vlastnictví lidstva. Vyvíjejí je především soukromé nadnárodní korporace, jejichž zdroje a schopnost ovlivňovat společnost přesahují možnosti mnoha států. Kdo ovládá infrastrukturu, data a modely, může ovlivňovat informace, spotřebu, zaměstnání, veřejné mínění i politické rozhodování.

Morálku stroje určí ten, kdo jej vlastní

Lev XIV. přesně poznamenává, že nestačí volat po „morální“ umělé inteligenci nebo po jejím sladění s lidskými hodnotami. Okamžitě totiž vzniká otázka: s čími hodnotami? Jestliže etický rámec určí hrstka vlastníků a vývojářů, jejich morální a politická představa se může stát neviditelnou infrastrukturou systému, který budou používat miliardy lidí.

Umělá inteligence navíc přirozeně zesiluje moc těch, kdo už mají kapitál, data, odborníky a výpočetní infrastrukturu. Stejně jako před sto třiceti pěti lety průmyslový kapitalismus soustředil výrobní moc v rukou několika vlastníků, digitální epocha koncentruje vlastnictví algoritmů, platforem, dat a výpočetní kapacity. Encyklika Rerum novarum Lva XIII. z roku 1891 reagovala na zotročeného dělníka vydaného napospas zaměstnavateli a nekontrolované konkurenci. Magnifica humanitas se ptá, co se stane s člověkem vydaným napospas technologické moci, která jej zná, třídí a předvídá lépe, než on zná ji.

Zvlášť znepokojivá je představa AI ve válce. Automatizovaný systém může zrychlit rozhodování, snížit práh pro použití síly a vytvořit odstup mezi příkazem a mrtvým člověkem. Oběť se promění v datový bod a odpovědnost lze pohodlně přesouvat mezi velitele, vývojáře, provozovatele a „stroj“. Encyklika proto správně trvá na tom, že rozhodnutí o použití smrtící síly nesmí být delegováno na neprůhledný automatizovaný proces.

Kdybychom Lva XIV. poslechli

Kdyby jednotlivci, skupiny, národy, korporace a státy postupovali podle zásad, které Lev XIV. navrhuje, bylo by to odpovědné, správné a dobré pro všechny. Technologický rozvoj by byl podřízen lidské důstojnosti, obecnému dobru, spravedlivému přístupu, ochraně slabých, právu na práci a míru. Vývoj by nepoháněla pouze soutěž o zisk, vojenskou převahu a kontrolu nad daty. O výsledcích by nerozhodovali jen vlastníci infrastruktury, ale také lidé, jejichž životy technologie mění.

Jenže zde encyklika ponechává otázku, která je podle mne rozhodující: co když tak jednotlivci, skupiny, národy, korporace a státy postupovat nebudou? Co když některé korporace odmítnou zpomalit, protože by je předběhla konkurence? Co když státy nebudou chtít AI „odzbrojit“, protože se budou bát, že ji neodzbrojí protivník? Co když bude obecné dobro v každém jednotlivém rozhodnutí poraženo ziskem, mocí, vojenskou výhodou nebo pouhou pohodlností?

To není okrajová možnost, ale logika závodu. Každý účastník může chápat riziko a současně tvrdit, že právě on nemůže přestat jako první. Výsledkem může být kolektivně katastrofický vývoj složený z jednotlivě „racionálních“ rozhodnutí. Korporace musí pokračovat kvůli akcionářům, stát kvůli bezpečnosti, armáda kvůli protivníkovi a uživatel kvůli konkurenceschopnosti. Všichni vědí, že stoh může vzplanout, ale každý má důvod škrtnout ještě jednou.

Chybějící černá vize

Tato černá vize v encyklice není rozvinuta do všech důsledků. Možná úmyslně. Papež nepíše katastrofický scénář, ale morální výzvu. Neříká nám, že zkáza je nevyhnutelná. Připomíná, že technický vývoj není osud a že jej lze vést osobní i kolektivní odpovědností.

Právě proto si však musí každý čtenář chybějící druhou polovinu domyslet. Jestliže je správná cesta možná jen za předpokladu odpovědnosti, spolupráce, spravedlnosti a sebeomezení, co nastane při jejich selhání? Co se stane, když nejmocnější technický nástroj lidských dějin poroste rychleji než naše schopnost jej chápat a současně jej ovládnou instituce, jejichž cílem není společné dobro?

Biblická alternativa mezi Babylonem a Jeruzalémem pak není ozdobnou metaforou. Babylon není umělá inteligence sama. Babylon vzniká tehdy, když se technická moc spojí s pýchou, koncentrací bohatství, touhou ovládat a odmítnutím hranic. Jeruzalém naopak nevznikne automaticky lepšími algoritmy. Vyžaduje politická rozhodnutí, veřejnou kontrolu, mezinárodní spolupráci, ochranu slabších a ochotu vzdát se části výhody ve prospěch všech.

Encyklika končí nadějí. Naděje však není přesvědčení, že všechno dobře dopadne samo. Je to rozhodnutí jednat dobře i ve chvíli, kdy vidíme možnost opačného výsledku. Věk umělé inteligence nás tedy nestaví pouze před otázku, co stroje dokážou. Staví nás před starší a obtížnější otázku: co dokážeme odmítnout my, když je něco výhodné, mocné a současně nebezpečné.

A proto bych papežovu větu nechal znít znovu, tentokrát nikoli jako zajímavost, ale jako varování:

„My všichni, včetně těch, kdo umělou inteligenci navrhují, víme jen málo o tom, jak skutečně funguje.“

Odborné a textové zdroje

Redakční poznámka: Citovaná věta je přeložena z italštiny: „La seconda è che tutti noi, compresi coloro che li progettano, conosciamo poco del loro effettivo funzionamento.“ Přirozený český překlad zní: „Zadruhé, my všichni, včetně těch, kdo tyto systémy navrhují, víme jen málo o tom, jak skutečně fungují.“

Nevíme, co nám roste pod rukama