Zákony robotiky
Tři Zákony robotiky (Tři zákony, Zákony robotiky, nebo také Asimovovy zákony) jsou pravidla chování robotů, definovaná Isaacem Asimovem v jeho povídkách a později románech. Principy, které tyto zákony představují, jsou považovány za obecné shrnutí základních požadavků na vývoj a používání robotů a časem se staly dogmatem sci-fi literatury.
Původní 3 zákony robotiky
[editovat | editovat zdroj]V původní podobě existovaly následující tři zákony:
- Robot nesmí ublížit člověku nebo svou nečinností dopustit, aby bylo člověku ublíženo.
- Robot musí uposlechnout příkazů člověka, kromě případů, kdy jsou tyto příkazy v rozporu s prvním zákonem.
- Robot musí chránit sám sebe před poškozením, kromě případů, kdy je tato ochrana v rozporu s prvním, nebo druhým zákonem.
Historie vzniku
[editovat | editovat zdroj]Poprvé byly Zákony robotiky uvedeny v březnu 1942 v Asimovově povídce „Hra na honěnou“ („Runaround“ - která byla vydána v větší kolekci "Já, robot" v roce 1950).[1] V této povídce rovněž poprvé použil termín „robotika“.[1] Tou dobou již Isaac Asimov napsal několik povídek o robotech (např. „Robbie“, „Rozum“, „Lhář!“), které vyšly v americkém sci-fi časopise Astounding Science Fiction redigovaném Johnem W. Campbellem (vyjma „Robbie“, ta vyšla v září 1940 v časopise Frederika Pohla Super Science Stories pod názvem „Strange Playfellow“). Když Isaac Asimov probíral s Campbellem 23. prosince 1940 nápad o robotovi čtoucím myšlenky (z čehož vznikla povídka „Lhář!“), ukázalo se, že vlastně probírají určitá pravidla, kterými by se měli roboti řídit. Autorova představa byla, že roboti by měli mít zabudované určité bezpečnostní pojistky, které by nesměli upravovat. Tak vznikly tři zákony robotiky, jimiž se roboti řídí v prostředí stvořeném americkým spisovatelem Isaacem Asimovem.[2]. Sám Asimov tvrdil, že ho k vytvoření tří zákonů dovedl rozhovor z 23. prosince 1940 s Johnem W. Campbellem, nicméně nepřisuzoval vzniku zakonů žádné konkrétní datum. Asimov používal tyto tři zákony opakovaně v jeho literárních dílech, kde se postupně rozvíjely. V jeho třetím knižním příběhu "Liar!" (Lhář!), se vyskytl první zákon robotiky, ale již ne zbylé dva. Později po vydání "Runaround", Asimov upravil "Reason" a "Robbie", aby odpovídaly všem třem zákonům, které se v těchto příbězích před tím nevyskytovaly. Úprava příběhu "Reason" ještě poté, jak sám vysvětlil, nebyla úplně konsistentní s Třemi zákony robotiky. V specifickém případu, je konflikt, kdy robot chrání lidské životy, ale sám nevěří v skutečnou existenci těchto lidí, což více rozvinul Elijah Baley.
Během období po roce 1950 napsal Asimov sérii sci-fi příběhů, aby upoutal pozornost mladšího publika. Jeho vydavatel předpokládal využití novel, k vtvoření pořadu televizní série, přibližně podobné "The Lone Ranger" byl adaptován pro rádiové vysílání. Asimov nechtěl přijmout změny v jeho příbězích vytvořené úpravami pro televizní vysílání a rozhodl se vydat knihy Lucky Starr pod pseudonymem "Paul French". Když plány pro vytvoření televizní série vydavatelem ustoupily, Asimov změnil názor a vtěsnal Tři zákony robotiky do příběhů "Lucky Starr a měsíce Jupitera". Dodal, že i pro toho, kdo by moc nečetl jeho knihy, to bylo jasné odhalení pravé identity Paula Frenche.
V jeho krátkém příběhu "Evidence" se zabývá otázku, zda by bylo možné rozeznat člověka od robota v momentu, kdy by jejich vzhled a chování byly naprosto identické. Calvin v příběhu argumentuje, že pokud se takový jedinec ve společnosti řídí Třemi zákony robotiky, tak by se mohlo jednat o robota, nebo prostě jen "velmi dobrého člověka". Další postava se následně Calviny ptá, jestli jsou roboti a lidé opravdu, tak odlišní. Ta odpoví, "Svět se změnil. Roboti jsou ve své podstatě přijatelní."
Asimov také dodal, že by neměl být naprosto chválen za vytvoření Tří zakonů robotiky a to z důvodu, že jejich podstata je velmi obecně známá."Jsou jasné již od počátku, každý je podprahově vnímá. Jen nebyly nikdy slovně vloženy do krátkých vět, do té doby než jsem to učinil já. Tyto zákony se samozřejmě vztahují i na všechny nástroje používané lidmi." a "stejné zákony fungují v jádru designu většiny nástrojů, ať už se jedná o robotické nástroje, nebo nikoliv." V současnosti by byla podstata Tří zákonů robotiky aplikovatelná při programování reakce a rozhodování u plynulého chodu samořízených motorových vozidel a dalších nástrojů (dronů).
- První zákon: Nástroj musí být bezpečný k používání. Kladiva mají rukojeti a šroubováky mají jílce, aby pomohly zvýšit přilnavost při úchytu. Samozřejmě se člověk může poranit při používání jednoho z těchto nástrojů, ovšem takový úraz by byl způsoben pouze jeho neschopností, nikoliv konstrukcí samotného nástroje.
- Druhý zákon: Nástroj musí vykonávat svou funkci efektivně, do té míry, aby nepoškodil uživatele. To je důvod existence proudového chrániče. Jakýkoliv běžící přístroj je odpojen od energie, jakmile vypozoruje unikající proud, který se nevrací do neutrálního (nulového) vodiče. Mohl by procházet uživatelem, primárně nejdůležitější je bezpečnost uživatele.
- Třetí zákon: Nástroj by měl zůstat stabilní a neporušený během užívání, to se netýká případů, kdy je destrukce přímo vyžadována při užití, či z bezpečnostních důvodů. Například disky firmy Dremel jsou navrhnuté, tak aby byly, co nejodolnější proti zlomení, kromě případů kdy to je přímo vyžadováno. Jejich design umožňuje zničení v momentu před tím, než by rychlost šrapnelu mohla někoho vážně poranit (i mimo oblast očí, i když by měly být nošeny bezpečnostní brýle).
Asimov věřil, že by se zákony ideálně vztahovaly i na samotné lidi:
Mám připravenou odpověď, na to když se mě někdo zeptá, jestli vážně předpokládám aplikovaní Tří zákonů robotiky na chování robotů, jakmile budou uvědomělí a dostatečně flexibilní natolik, aby si mohli vybírat mezi různými způsoby chování. Má odpověď je:
„Ano, Tři zákony robotiky jsou jedinou volbou, kterou se racionálně smýšlející lidé mohou vypořádat s přítomnými roboty - nebo s čímkoliv jiným."
Ale když toto tvrzení vyslovuji, vzpomenu si na to, že (což mě činí smutným) se lidé nechovají vždy racionálně.
Dodatečný nultý zákon robotiky
[editovat | editovat zdroj]Časem přidal Asimov v knize Roboti a impérium ještě tzv. „nultý zákon robotiky“ a ostatní zákony byly upraveny přidáním „kromě případů, kdy je to v rozporu s nultým zákonem“. Na rozdíl od původních tří zákonů Asimov vznik nultého zákona připsal robotu R. Daneelu Olivawovi. Tento zákon vyvolal u fanoušků rozporuplné reakce a obvykle není považován za jeden ze základních zákonů. Zákon totiž robotům dovoluje ochraňovat celé lidstvo na úkor jednotlivců.
Tento nultý zákon zní:[3]
- 0) Robot nesmí ublížit lidstvu nebo svou nečinností dopustit, aby mu bylo ublíženo.
Další zákony robotiky
[editovat | editovat zdroj]Postupem doby se další autoři pokusili zákony pozměnit či doplnit nové. Za zmínku stojí bulharští sci-fi autoři jako Ljuben Dilov či Nikola Kesarovski, kteří vytvořili další dva zákony robotiky:
- 4) Robot se musí vždy prokazovat jako robot.
- 5) Robot musí vědět, že je robot.
Roger MacBride Allen napsal tři knihy zasazené do robotického světa Issaca Asimova. V těchto knihách nazvaných Kaliban, Inferno a Utopia představil roboty používající tzv. gravitonický mozek místo dosavadního pozitronického. V něm byly původní tři robotické zákony zrušeny a místo nich nastoleny takové, které robotům přidávají práva a lépe reflektují fakt, že se stali velmi inteligentními. Místo aby byli roboti podle původních zákonů v roli otroků, podle nových pravidel měli být lidstvu rovnocennými partnery a přáteli.[4]
Tyto modifikované zákony zní:
- Robot nesmí ublížit člověku.
- Robot musí spolupracovat s člověkem, kromě případů, kdy taková spolupráce je v rozporu s prvním zákonem.
- Robot musí chránit sám sebe před zničením, kromě případů, kdy tato ochrana je v rozporu s prvním zákonem.
- Robot může dělat, cokoli chce, kromě případů, kdy je takové jednání v rozporu s prvním, druhým nebo třetím zákonem.
Nejasnosti a mezery
[editovat | editovat zdroj]Nevědomé porušení zákonů
[editovat | editovat zdroj]Elijah Baley v příběhu The Naked Sun, upozorňuje na nedokonalost interpretace Tří zákonů robotiky, protože by je roboti mohli, kterýkoliv z nich nevědomě porušit. Stanovil pro zákony úpravu, u prvního zákona: Robot nesmí vědomě ublížit člověku nebo svou nečinností za plného vědomí dopustit, aby bylo člověku ublíženo. Pozměnění slov má podstatu v tom, že by roboti mohli být jako nástroje zneužiti i k spáchání vraždy, aniž by si sami byly vědomi závažnosti úkonů, které provádí. Elijah dodává, že by zločinec mohl i rozdělit úkony trestné činnosti mezi více robotů, takovým způsobem aby jednotlivý robot nedokázal rozeznat důsledky jeho činů vedoucí k ublížení zdraví člověka. V příběhu The Naked Sun je hledání strůjce kriminální aktivity těžké nalézt z důvodu využívání decentralizované, komunikační sítě mezi miliony robotů Solaria po celém tělese, to vede k zamotané situaci neznámé, možné pozici zločince po celém tomto světě Solaria. Baley v příběhu nadále rozvíjí zápletku, tím že by obyvatelé tohoto fiktivního světa jednoho dne začlenili roboty do vojenských záležitostí. Kdyby byla sestavena vesmírná loď s pozitronovou nervovou sítí, která by nenesla lidskou posádku ani žádné systémy na udržování přijatelných podmínek pro lidi, poté by robotická úmělá inteligence lodi mohla přirozeně předpokládat, že všechny ostatní vesmírné lodě jsou také robotické. Komunikace mezi loděmi by mohla probíhat více efektivně a flexibilně, než u zařízení řízených lidmi. Taková loď by mohla být těžce vyzbrojená a její robotická umělá inteligence by mohla vraždit živé organismy a lidi naprosto ignorující jejich existenci. Tento scénář je také rozváděn v Nadace a Země, kde je objeveno, že obyvatelé Solaria vlastní a jsou pod dohledem velmi silné umělé policejní jednotky, která byla naprogramována tím způsobem, že rozeznávala dle jejich definice jen rasu obyvatel Solaria za lidi s lidskými právy.
Nejasnosti způsobené nedostatečnou definicí
[editovat | editovat zdroj]Tři zákony robotiky spolehají na přesné a nezavádějící definice termínů "lidská bytost" a "robot", předpokládají naprosté pochopení a řízení se těmito termíny. V některých příbězích je tato domněnka převrácena.
Definice termínu "člověk"
[editovat | editovat zdroj]Obyvatelé Solaria vytvořili víceméně autonomní roboty s zabudovanými 3 zákony robotiky, ale s zakroucenou a nedostatečnou definicí pro pojem "lidé". Robotům na tomto světě je vloženo do paměti, že jen osoby u kterých rozpoznají, že mluví přízvukem tohoto světa spadají pod termín "lidé". To zapříčiní u robotů mezeru v možnosti volby etického charakteru v okamžiku, kdy jsou konfrontováni lidmi, kteří nepochází ze světa Solaria (navíc jsou přímo naprogramováni na případné agresivní chování). V období fiktivního příběhu Nadace a Země je odhaleno, že obyvatelé Solaria za využití genetického inženýrství upravili svou genetickou informaci v naprosto jiný druh, již podstatou velmi odlišný od lidí. Modifikovali svou tělesnou stavbu na hermafrodity s telekinetickými schopnostmi, orgánové soustavy si z biologického hlediska upravili na individuálně schopné ovládat a zásobovat energií komplexní systémy robotů. Roboti světa Solaria respektují Tři zákony robotiky jen v ohledu na "lidi" světa Solaria. V příběhu není jasné zda všichni roboti měli zabudovanou tuto definici, jen dozorce a robotičtí strážci vykazovali podrobení se těmto zákonům. V "Robots and Empire" dostávali roboti z nižší třídy společenství robotů pokyny svého dozorce o tom, zda některá svoření lze považovat za "lidské" a nebo ne.
Asimov se zabýval problémem humanoidních robotů („androidů“) několikrát. V novele Roboti a Impérium a v krátkých příbězích „Evidence“ a „The Tercentenary Incident“ popisuje roboty vyrobené za úmyslem ošálit lidi, aby věřili tomu že tito roboti jsou lidé. Na druhou stranu „The Bicentennial Man“ a „-That Thou Art Mindful of Him“ prozkoumává možnost, jak by mechaničtí roboti, mohli změnit jejich interpretaci zákonů robotiky unisono s jejich rozvojem v sofistikovanosti. Gwendoline Butler píše v knize A Coffin for the Canary „Možná my jsme těmi roboty. Roboty vykonávajícími poslední zákon robotiky … snažit se být lidmi.“ Elijah Baley v povídce The Robots of the Dawn napsal takovou pointu, že využití robotů, v co nejpřesnější lidské formě jako první vlnu usedlíků na novém světě na jiné planetě ve vesmíru, by mohlo vést k tomu, že by roboti sami sebe mohli považovat za skutečné lidi. A mohli by si usmyslet, že si nový svět nechají pro sebe, spíše než , aby umožnili se usídlit po proběhnuté zkušební lhůtě Spacerům na jejich vybraném světě.
"—That Thou Art Mindful of Him", příběh u kterého měl Asimov v plánu, že bude “ultimátní” sondou na teoretické scénáře s možnými rozvětveními z Tří zákonů robotiky. Využil zde zákony v podobě vývoje scénářů, kterým se přesně snaží zabránit. Základem konceptu příběhu je rostoucí vývoj robotů od základní mimiky neživých věcí a tvoření analogů, kterým jsou vložený programy na napodobování jednoduchého chování zvířat, které nevyžadují ještě Tři zákony robotiky. Přítomnost různých druhů robotického komunikujícího života, který slouží stejným účelům jako organický život končí (podobně jako R.U.R.) se dvěma humanoidními roboty, kteří dochází k závěru že přítomnost organického života není nutná pro opravdu logickou sebe vyjadřující definici pojmu „lidství“. Protože považují sami sebe za vyspělé myslící stvoření na planetě, oni samotní jsou nejvíce lidmi a Tři zákony robotiky se vztahují pouze na tyto dva jedince. Příběh končí zvrácenou zápletkou, tito dva roboti vstoupí do hibernace a čekají na nejlepší čas k dobytí Země a podmanění si biologických lidí, výsledek, který považují za nevyhnutelný právě podle „Tří zákonů Humaniky“
Tento příběh nesedí do celkové linie Robot a série Nadace. Kdyby tito roboti opravdu převzali vládu nad Zemí, tak by v této fiktivní línii byly nemožné následné příběhy odehrávající se na Zemi. U Některých čtenářů těchto Asimových děl to vedlo, které si vzájemně protiřečí, k připodobňování spíše k „skandinávské ságy, nebo k řeckým legendám“, než k jednotnému celku.
Vskutku Asimov popisuje "–That Thou Art Mindful of Him" a "Bicentennial Man" jako dvě protilehlé, paralelní budoucnosti pro roboty, které obepínají Tři zákony robotiky, jak roboti započali považovat, sami sebe za nejlépe odpovídající termínu člověk. Jeden pozitivní příběh s robotem poukazující na úspěšné začlenění do fungující společnosti. A druhá s negativním výsledkem, kdy jsou lidé nahrazeni více úspěšnými roboty. V “Lucky Starr a prstence Saturnu” novele nesouvisející se sérií Robot, ale s roboty, kteří jsou programování dle Tří zákonů robotiky. Je John Bigmna Jones téměř zabit robotem (Sirian) na pokyn jeho vlastníka (Master). Společnost Siriuse je eugenicky šlechtěna na stejné vzezření vysoké postavy a podobných rysů vzhledu a tak, vysvětloval master, je možné přesvědčit robota, že o kratší "Bigman" není ve skutečnosti lidské stvoření.
Definice termínu "robot"
[editovat | editovat zdroj]Nikola Kesarovski přidal ještě „pátý zákon robotiky“, který zní „Robot si musí být vědom, že je robot.“ S tím je předpokládáno, že robot zná definici pojmu, který se vztahuje na něho samého, nebo že dokáže aplikovat tento výraz do jeho záměrů.
Aplikace u technologií
[editovat | editovat zdroj]Roboti a přístroje obdařené umělou inteligencí se musí, chování podřízené Třem zákonům robotiky učit. Jejich lidští stvořitelé si musí vybrat, integraci programování, tak aby se jím roboti řídili. Již existují robotická zařízení, která mohou způsobit újmu na zdraví a bolest na živých organismech aniž by chápali, hranici bolesti u které je vhodné přestat. Většina je vytvářena s bezpečnostní pojistkou, jako jsou různé nárazníky, varovné světelné a zvukové signály, ochranné mříže. Nebo také vyhrazené oblasti pro minimalizaci možných scénářů nehod. Dokonce i ty nejsložitější robotická zařízení nedokáží plně aplikovat Tři zákony robotiky. Pro naplnění chápání podstaty zákonů by byl potřeba velký rozvoj umělé inteligence. I v momentu, kdy se lidé a roboti inteligencí vyrovnají , tak jim nadále brání kulturní/ kontextuální a etické bariéry. S tím souvisí i návaznost na zákony a přestupky, které se nevztahují na roboty. Jak pokročil vývoj robotických zařízení, roste s nimi zájem o vývoj návodů a jistot pro zacházení a různé využití. V roce 2007 dočasný pisatel v redakci Science argumentoval názory na téma „Etika u robotů“. Autor Robert J. Sawyer komentoval financovaní vývoje robotiky, které je hlavně financováno armádou Spojených států amerických. Kdy je nepravděpodobné zabudování těchto norem do designu zařízení (již jsou využívána bezpilotní letadla s cílem zabíjet). V odlišné eseji , Sawyer zobecňuje komentář: Výzkum umělé inteligence je forma podnikání, kdy ty jsou svou podstatou bez zájmu o vytváření základních bezpečnostních pojistek. To se týká obzvláště překračujících do filosofické úrovně (například průmysl s tabákem, automobilový průmysl, atomový. Ani u jednoho nejsou od počátku dostatečně brána nutná opatření na pravou míru, každý z nich odolal snahám o bezpečnostní pojistky zvenčí a ani jeden nepřijal edikt o naprosto žádném vlivu na zdraví člověka.
Dále David Langford navrhl neformálně řečenou sadu zákonů:
- Robot nezpůsobí zranění úřední osobě, ale zasáhne a zneškodní pachatele trestné činnosti.
- Robot se podřídí příkazům pověřené osoby, kromě případu, kdy by příkazy byly v rozporu s třetím zákonem.
- Robot hledí na zajištění vlastní bezpečnosti za využití smrtelného ozbrojení, protože sám robot je zatraceně drahý.
Roger Clark napsal práce analyzující komplikace při implementaci těchto zákonů, hledíce do pravděpodobné budoucnosti, kdy budou moci být v systémech využity. Komentoval, že i přes svou obecnou formu byly Tři zákony robotiky úspěšným literárním prostředkem. Možná ironicky, nebo také umělecky dobře zprostředkované, celkové dílo příběhů Asimovova vyvracuje počáteční tvrzení. Nelze důvěryhodně řídit chování robotů rozdělením a aplikací sady pravidel.
Na druhou stranu pozdější novely Isaaca Asimovova, The Robots of Dawn, Roboti a Impérium a Nadace a Země implikuje scénář, ve kterém roboti způsobily, nejhorší dlouhodobé škody naprostým řízením Tří zákonů. Tedy ve výsledku zamezujíce lidem podnikat vynalézavé a rizikové chování. V květnu 2007 vydala vláda Jižní Koreji prohlášení, že následně ve stejném roce vydá „Sbor etického robotického kodexu“. Ten by měl nastavit standardní normy pro uživatele i výrobce. Podle Park Hye-Young z ministerstva komunikace a sdělování by měl kodex odkazovat i na podstatu Tří zákonů robotiky. Se snahou o vytvoření základní úrovně norem pro budoucí vývoj robotiky.
Futurista Hans Moravec navrhl zařazení Tří zákonů robotiky do „korporátního řízení“ – Korporace řízené umělou inteligencí a vliv robotiky na manufakturu a výrobu, budou v blízké budoucnosti dle jeho představy běžnou záležitostí. V kontrastu s tím David Brin s povídkou Foundation’s Triumph (1999) navrhl, že podstata Tří zákonů může dekadentně postupně zastarávat. Roboti by obecně implikovali Zerothův zákon na racionální vyřazení prvního zákona, a také by se roboti skryli před lidmi, tak aby nemusel být druhý zákon téměř nikdy uveden do chodu. Brin vyobrazil obavy R. Daneela Olivawa, jak by se v průběhu replikace robotů, staly Tři zákony robotiky evolučním handicapem a přírodní výběr by tyto zákony smetl – opatrný základ Asimovova odvrácen procesem evoluční komputerizace (evolution computation). I když by se roboti nemohli vyvíjet změnou designu místo mutací, protože by design musel stále následovat podstatu Tří zákonů robotiky, tím by bylo zajištěno převládání těchto zákonů. Místo toho by chyby při konstrukci a výrobě, mohli funkčně nahradit biologické mutace.
V srpnu 2009 v rámci problému s IEEE Intelligent Systems, Robin Murphy a David Woods navrhli „Tři zákony zodpovědné robotiky“, jako cestu na větší stimulaci diskuze o roli zodpovědnosti a autority při vytváření platformy robotů, ale také u velkých systémů, které je řídí. Navrhnuté zákony znějí následovně:
- Člověk by neměl využívat robotická zařízení, bez systému člověk-robot s nejvyššími legálními a profesionálními bezpečnostními a etickými standardy.
- Roboti se musí lidem zodpovídat, jak přísluší jejich role.
- Robot musí mít dostatečnou formu autonomie, k zabezpečení vlastní existence do té doby dokud tato forma ochrany zaručuje přesný přenos kontroly, která není v rozporu s prvním a druhým zákonem.
David Wood řekl „Naše zákony jsou více realistické a proto trochu více nudné“ a také, že „Týkající se filosofie je jasně spjata s tím, že lidé dělají občas chyby, ale roboti budou lepší – perfektní verze nás samých“. Chtěli napsat nové tři zákony, aby přivedli lidi k myšlenkám o vztazích typu člověk-robot více realisticky. V říjnu 2013 navrhl Alan Winfield na setkání EUCog, upravených 5 zákonů, které byly publikovány s komentářem skupiny ESPRC/AHRC z roku 2010.
- Roboti jsou více účelovými nástroji. Roboti by neměli být navrhováni s primárním cílem zabíjet, nebo ubližovat lidem. Kromě případů zajištění bezpečnosti státu.
- Lidé a roboti, jsou zodpovědnými osobami. Roboti by měli být navrhováni a řízeni prakticky vzhledem k existujícím zákonům, základními hodnotami a lidskými právy, včetně práva soukromí jedince.
- Roboti jsou produktem. Měli by být navrhováni procesy zaručujícími jejich bezpečnost a využití bez větších rizik.
- Roboti jsou vyráběnými artefakty. Neměli by být navrhováni ve formě uvádějící uživatele v omyl a odkrývající zranitelnosti uživatelů, robot by měl být svou podstatou předpověditelný a upřímný chováním k uživateli
- U každého aktivního robota by měli být přiřazené lidské osoby zodpovědné za robota před zákonem.
Odkazy
[editovat | editovat zdroj]Reference
[editovat | editovat zdroj]- ↑ a b ASIMOV, Isaac. Robohistorie I.. Praha: Triton, 2004. ISBN 80-7254-477-2. Kapitola Předmluva, s. 8–9.
- ↑ ASIMOV, Isaac. Nahé slunce. Praha: Ivo Železný, 1994. ISBN 80-7116-062-8. Kapitola ISAAC ASIMOV, Pravda o románech o robotech, s. 9–10.
- ↑ ASIMOV, Isaac. Roboti a impérium. Praha: Klub Julese Vernea, 1993. ISBN 80-901280-9-2. Kapitola Souboj, s. 350.
- ↑ ALLEN, Roger Macbride. Kalibán. Praha: Knižní Klub, 1997. ISBN 80-7176-445-0. S. 320.