脆弱な世界仮説

要旨

科学技術の進歩は、人々の能力やインセンティブを変化させ、文明を不安定化させる可能性がある。たとえば、DIYバイオハッキング用ツールの進歩によって、生物学の基礎的な訓練を受けた者なら誰でも数百万人を殺害することが容易になるかもしれない。新たな軍事技術によって、先に攻撃した側が決定的な優位を得るような軍拡競争が引き起こされるかもしれない。あるいは、経済的には有利でありながら、規制が困難な壊滅的な地球規模の負の外部性を生み出すプロセスが発明されるかもしれない。本論文は、脆弱な世界（vulnerable world）という概念を導入する。大まかに言えば、それは、ある水準まで技術が発展すると、「半無政府的なデフォルト状態」から脱却しない限り、特段の対策なしには文明がほぼ確実に壊滅する世界である。歴史上あり得た反実仮想的な脆弱性と、将来に関する想定され得る脆弱性を分析し、類型化する。脆弱な世界を一般的に安定化させる能力を得るには、予防的取り締まりとグローバル・ガバナンスの能力を大幅に増強する必要がある。したがって、脆弱な世界仮説は、遍在的監視や単極的な世界秩序へ向かう動きのリスクと便益のバランスを評価するための、新たな視点を提供する。

政策上の含意

技術政策は、あらゆる技術進歩が有益である、科学の完全な開放性が常に最善である、あるいは技術が発明された後であれば世界はあらゆる潜在的な弊害に対処する能力を備えている、と無批判に想定すべきではない。
合成生物学などの一部の分野では、大量破壊を突如として「民主化」する発見が生じる可能性がある。たとえば、容易に入手できる材料だけで個人が数億人を殺害できるようになる、といった事態である。この種の「黒玉」発明に一般的に対処できる能力を文明が持つためには、世界中をリアルタイムで遍在的に監視するシステムが必要になるだろう。シナリオによっては、そのようなシステムは当該技術が発明される前から整備されていなければならない。
考え得る黒玉のうち限定された一部については、より対象を絞った介入によって部分的な防護が可能である。たとえばバイオリスクは、特定の種類の生物学研究施設で働く人員への身元調査と監視、DIYバイオハッキングの抑制（たとえば免許制）、そして最先端の機器や情報へのアクセスを制限するようなバイオテクノロジー産業の再編によって軽減できるかもしれない。誰でも自前のDNA合成装置を購入できるようにする代わりに、厳密な監督下に置かれた少数の事業者がDNA合成をサービスとして提供する仕組みにすることも考えられる。
もう一つの、より捉えにくいタイプの黒玉は、有害な利用を行うインセンティブを強めるものである。たとえば、戦争をより破壊的にすると同時に、先に攻撃した側の優位を拡大する軍事技術である。食料が豊富な時期に冬に備えて木の実を蓄えるリスのように、私たちは比較的平和な時期を利用して、国際紛争を解決するためのより強力な仕組みを構築しておくべきである。

発明の可能性を収めた壺の中に、黒玉はあるのか？

人間の創造性を見る一つの方法は、それを巨大な壺から玉を取り出していく過程として捉えることである。¹ それぞれの玉は、可能なアイデア、発見、技術的発明を表す。歴史を通じて私たちは非常に多くの玉を取り出してきた。その大半は白（有益）だったが、さまざまな濃淡の灰色（中程度に有害なもの、あるいは功罪相半ばするもの）も含まれていた。これまでのところ、それらが人類の状況にもたらした累積的効果は圧倒的に肯定的であり、将来にはさらに良くなる可能性がある（Bostrom, 2008）。過去1万年間で世界人口は約1000倍に増加し、過去2世紀には一人当たり所得、生活水準、平均寿命も上昇した。²

これまで私たちがまだ取り出していないのが、黒玉である。すなわち、必ず、あるいは通常の成り行きでは、それを発明した文明を破壊する技術である。私たちがこれまで黒玉を引かなかったのは、技術政策において特に慎重だったからでも、賢明だったからでもない。単に運が良かったのである。

人類の文明が、自らの発明によって――変容したのではなく――破壊された例は、どうやら存在しない。³ ただし、別の場所でなされた発明によって文明が破壊された例はある。たとえば、大洋横断航海と戦力投射を可能にしたヨーロッパの発明は、南北アメリカ、オーストラリア、タスマニアなどの先住民にとって黒玉事象だったとみなすことができる。ネアンデルタール人やデニソワ人のような古人類集団の絶滅も、ホモ・サピエンスの技術的優位によって促進された可能性が高い。しかしこれまでのところ、人類全体にとっての黒玉と呼べるほど十分に自己破壊的な発明は現れていないように見える。⁴

では、壺の中に黒玉があるとしたらどうだろうか。科学技術研究が続けば、私たちはいずれその玉に行き当たり、それを取り出すことになる。私たちの文明には玉を取り出す大きな能力があるが、一度取り出した玉を壺に戻す能力はない。私たちは発明することはできても、発明を取り消すことはできない。私たちの戦略は、黒玉が存在しないことを願う、というものなのである。

本論文では、技術的黒玉の可能性と、それが取りうるさまざまな形態について考えるための概念を提示する。また、グローバルな観点からの政策的含意についても議論する。とりわけ、大規模監視をめぐる動向、より実効的なグローバル・ガバナンスへの動き、あるいはより単極的な世界秩序への移行をどのように評価すべきかを扱う。ただし、ここで論じる含意だけで、こうしたマクロ戦略上の変数の変化が望ましいかどうかという問題に決着がつくわけではない。本論文では扱わないが、強く関連する他の要因も比較衡量に加えなければならないからである。それでも、ここで提示する論点は重要でありながら、これまで十分に重視されてこなかったものであり、今後これらの問題を論じる際には考慮に入れるべきである。

より概念的な議論へ進む前に、技術的黒玉がどのようなものになりうるのか、より具体的な像を描いておくと有用である。最も分かりやすいのは、極めて強力な破壊力を容易に解き放てるようにする技術である。人類が使いこなせるようになった破壊力の中で、最も明白に破壊的なのは核爆発である。そこで、この力を解き放つことが非常に容易だったなら何が起きていたかを考えてみよう。

思考実験：「簡単な核兵器」

1933年9月12日の朝、レオ・シラードは新聞を読んでいた。そのとき彼は、現在ではしばしば「原子核物理学の父」とみなされる高名なラザフォード卿が最近行った講演の記事を目にした（Rhodes, 1986）。ラザフォードはその講演で、核反応から有用なエネルギーを取り出すという考えを「絵空事（moonshine）」として退けていた。この主張にひどく苛立ったシラードは散歩に出た。そして散歩の途中で、原子炉と原子爆弾の双方の基礎となる核連鎖反応の着想を得た。後の研究により、原子兵器を作るには数キログラムのプルトニウムまたは高濃縮ウランが必要であり、そのどちらも製造が非常に困難で高価であることが分かった。しかし、もし事情が違っていたと仮定しよう。たとえば、2枚のガラス板の間に置いた金属物体へ電流を流すだけで、原子のエネルギーを解放できるような、実に簡単な方法が存在していたとする。

そこで、シラードが核分裂を発見し、ガラス片、金属物体、電池を特定の配置で組み合わせるだけで核爆弾を作れると気づく反実仮想の歴史を考えてみよう。その次に何が起こるだろうか。シラードは深刻な懸念を抱く。自分の発見は何としても秘密にしなければならないと悟る。だが、どうやって？同じ洞察に他の者が到達するのは避けられない。そこで彼は、最もそのアイデアにたどり着きそうな数人の物理学者の友人に話し、核連鎖反応や、その危険な発見へ至る推論のどの段階についても公表しないよう説得しようとするかもしれない。（実際の歴史でシラードが行ったのも、これに類することだった。）

ここでシラードはジレンマに直面する。危険な発見の内容を説明しなければ、多くの同僚を説得して研究発表をやめさせることはできない。だが、懸念の理由を説明すれば、その危険な知識をさらに広めることになる。どちらを選んでも、負け戦である。科学知識の一般的な進歩によって、その危険な洞察はいずれ理解しやすいものになる。やがて、金属片とガラスと電気を使って核連鎖反応を起こす方法を考え出すのに天才は必要なくなり、発明心のあるSTEM系学生なら到達できる範囲に入るだろう。

もう少し先まで想像してみよう。状況は絶望的に見えるが、シラードは諦めない。彼は、ある友人に秘密を打ち明けることにする。その友人は、世界で最も有名な科学者でもある――アルベルト・アインシュタインである。シラードは危険性についてアインシュタインを説得することに成功する（ここでも実際の歴史に沿っている）。今やシラードには、どの国の政府に対しても、シラードの話を聞く機会を取り付けられる人物の後ろ盾がある。二人はフランクリン・D・ルーズベルト大統領に書簡を送る。委員会での紛糾や報告書作成を経て、最終的に米国政府上層部も十分に納得し、重大な行動に出る用意を整える。

米国はどのような行動を取れるだろうか。まず実際に何が起きたかを考えよう（Rhodes, 1986）。米国政府は、アインシュタインとシラードから提供された情報を理解し、同じ問題を調べていた英国からもさらに働きかけを受けた後、核分裂を可能な限り早く兵器化するためマンハッタン計画を開始した。爆弾が完成すると、米空軍はそれを用いて日本の人口集中地域を破壊した。マンハッタン計画の科学者の多くは、ナチス・ドイツが先に爆弾を入手した場合に生じる致命的危険を挙げて自らの参加を正当化していたが、ドイツ降伏後も計画への参加を続けた。⁵ シラードは、「装置（the gadget）」を都市ではなく無人地域で実演するよう主張したが、受け入れられなかった（Franck et al., 1945）。戦争終結後、多くの科学者は原子力の国際管理を支持し、核軍縮運動に積極的に参加した。しかし核政策はすでに彼らの手を離れており、その意見が大きな重みを持つことはなかった。4年後、ソ連も原子爆弾を爆発させた。ソ連の開発にはマンハッタン計画内のスパイも寄与したが、スパイ活動がなくても、あと1、2年以内には成功していただろう（Holloway, 1994）。その後に冷戦が続き、その最盛期には7万発もの核弾頭が、いつでも地球規模の破壊を引き起こせる状態で配備され、両陣営で「赤いボタン」の上に震える指がかざされていた（Norris and Kristensen, 2010）。⁶

人類文明にとって幸運なことに、広島と長崎の破壊以降、実戦で原子爆弾が爆発させられたことはない。それから73年後、国際条約や不拡散努力の成果もあり、核兵器を保有する国は9か国にとどまっている。非国家主体が核兵器を保有したことがあるとは考えられていない。⁷

しかし、核兵器を作る簡単な方法が存在していたなら、事態はどう展開しただろうか。シラードとアインシュタインは、米国政府を説得して、厳重に警備された政府施設の外では核物理学研究を全面禁止させられたかもしれない。だが、基礎科学へのそのような禁止は巨大な法的・政治的抵抗に直面するだろう。しかも、禁止理由を詳しく公表すれば許容しがたい情報ハザードを生じさせるため、その理由自体を公に詳しく説明することができないとなれば、なおさらである。⁸

それでも、ルーズベルト大統領が何とか十分な政治的支持を動員して禁止措置を成立させ、米連邦最高裁も何とかそれを合憲とみなす方法を見つけたとしよう。すると今度は、実務上の途方もない困難に直面する。すべての大学の物理学科を閉鎖し、関係者に対する身辺調査を開始しなければならない。多数の教員や学生がその分野から追い出される。こうした強硬措置の理由をめぐって激しい憶測が飛び交うだろう。研究分野を禁じられた物理学博士課程の学生や教員が集まり、秘密の危険とは何なのかを推測する。そのうちの何人かは答えにたどり着く。そして答えを知った者の中には、自分の知識を示して同僚を感心させるために話さずにはいられない者も出るだろう。その同僚もまた、自分が事情通であることを示そうと別の者へ話したくなる。あるいは、禁止措置に反対する誰かが、それは無効である、あるいは公表することの利益が危険を上回る、という自説を裏づけるために、独断で秘密を公開するかもしれない。⁹ ¹⁰ 政府研究所の不注意な職員や不満を抱いた職員からも、いずれ情報が漏れる。スパイは秘密を外国政府へ持ち帰る。仮に奇跡的に米国内で秘密が一度も漏れなかったとしても、他国の科学者が独立に同じ発見を行い、情報が広がる出所は増えていく。遅かれ早かれ――おそらく早く――秘密はもはや秘密ではなくなる。

インターネット上で瞬時かつ匿名に情報を公開できる現代であれば、科学上の秘密の拡散を抑えるのはさらに難しいだろう（Cf. Greenberg, 2012; Swire, 2015）。

別の方法として、ガラス、金属、電流源のすべてを除去することも考えられる（例外として、ごく少数の厳重警備された軍用倉庫に保管する程度である）。これらの物質が社会の至る所に存在することを考えれば、この事業は極めて困難である。こうした措置に政治的支持を得ることも、物理学教育を閉鎖するのと同じくらい難しい。しかし、いくつかの都市の上にキノコ雲が立ち上った後なら、実行を試みる政治的意思はおそらく形成されるだろう。金属の使用は文明そのものとほとんど同義であり、除去の現実的な対象にはならない。ガラスの生産を禁止し、既存の窓ガラスを没収することはできるかもしれないが、ガラス片は長い間各地に散在し続ける。電池や磁石も押収できるだろうが、当局が回収する前に隠してしまう者もいる。虚無主義者、恐喝犯、報復主義者、さらには単に「何が起きるか見てみたい」という人々によって、多くの都市が破壊されるだろう。¹¹ 人々は都市部から逃げ出す。最終的には、放射性降下物によって多くの地域が破壊され、都市は放棄され、電気もガラスも使われなくなる。禁止物質や、それを製造するために使用できる設備の所持には、現場での即決処刑のような苛烈な刑罰が科されるかもしれない。これらの規制を執行するため、社会は厳しい監視下に置かれる。多額の報奨金で動機づけられた密告者ネットワーク、個人宅への頻繁な警察の捜索、継続的なデジタル監視などである。

以上はまだ楽観的なシナリオである。より悲観的なシナリオでは、法と秩序が完全に崩壊し、社会が複数の派閥に分裂して核兵器による内戦を行い、飢饉と疫病が発生するかもしれない。崩壊が止まるのは、社会がそこまで衰退し、保存していた材料や都市廃墟の廃材から爆弾と遅延起爆装置を組み立てられる者が誰もいなくなってからかもしれない。それでも、その危険な洞察は――その重要性があまりにも劇的に実証されてしまった以上――記憶され、世代を超えて伝えられるだろう。文明が灰の中から再び立ち上がり始めれば、その知識は待ち伏せしており、人々が板ガラスと発電機を再び作れるようになった瞬間に襲いかかる。そして、その知識そのものが忘れられたとしても、核物理学の研究が再開されれば再発見されるだろう。

私たちは、核兵器を作ることが実際には難しかったという点で幸運だったのである。

脆弱な世界仮説

いまでは、ガラス板と金属と電池だけで核爆発を起こすことはできないと分かっている。原子爆弾を作るには数キログラムの核分裂性物質が必要であり、その製造は困難である。あのとき私たちが壺から引いたのは灰色の玉だった。しかし、新しい発明をするたびに、私たちは再び壺の中へ手を伸ばしている。

ここで、「創造性の壺には少なくとも一つの黒玉が入っている」という仮説を導入しよう。これを脆弱な世界仮説（Vulnerable World Hypothesis: VWH）と呼ぶ。直観的に言えば、これは、ある技術水準に達すると、歴史上かつてないほど強力な予防的取り締まりやグローバル・ガバナンスが実施されない限り、文明がほぼ確実に破壊される、という仮説である。より正確には次のように定式化できる。

VWH：技術開発が継続するならば、ある時点で、文明が半無政府的なデフォルト状態から十分に脱却しない限り、文明壊滅が極めて起こりやすくなるような一連の能力が獲得される。

ここでいう「半無政府的なデフォルト状態（semi-anarchic default condition）」とは、次の3つの特徴を持つ世界秩序を意味する。¹²

予防的取り締まり能力が限定的である。 国家は、自国内のいかなる個人や小集団にも違法行為を事実上不可能にするほど、十分に信頼できるリアルタイム監視・阻止手段を持っていない。とりわけ、人口の99％超が極めて強く反対する行為についてさえそうである。
グローバル・ガバナンス能力が限定的である。 地球規模の協調問題を解決し、グローバル・コモンズを保護するための信頼できる仕組みが存在しない。特に、国家の死活的な安全保障利益が関係するような高リスク状況ではそうである。
動機が多様である。 個人レベル・国家レベルの双方において、多数の行為主体の間に、人間らしい幅広い動機の分布が存在する。特に、相当程度まで自己利益と認識されるもの（金銭、権力、地位、快適さ、利便性など）によって動機づけられる行為主体が多数存在する一方、自分自身が大きな代償を負ってでも文明を破壊するような行動を取る少数の行為主体（「終末論的残余（apocalyptic residual）」）も存在する。³

上の定義における「文明壊滅」はさまざまに解釈でき、それによってVWHの異なるバージョンが得られる。たとえば、実存的リスク版・脆弱な世界仮説（x-VWH）を定義することもできる。これは、ある技術水準において、デフォルトでは、地球起源の知的生命の絶滅、または価値を実現する人類の将来可能性が永久に損なわれるような実存的破局が起きる、という主張である。しかし本論文では、基準をそれより低く設定する。ここで重要なのは、文明が現在の半無政府的なデフォルト状態を続けた場合の帰結が、この状態から脱却するために必要となる抜本的な変化に対する合理的な反対理由を上回るほど壊滅的かどうかである。この基準を用いるなら、人類絶滅や実存的破局より手前の閾値で十分と思われる。たとえば、政府監視を強く疑う人であっても、地域全体が時折破壊されるのを防ぐために本当に必要なのであれば、監視の大幅な強化を支持するだろう。同様に、主権国家に住むことを重視する人でも、代替案が核によるホロコーストのような惨事を意味するのであれば、世界政府の下で暮らす方を合理的に選ぶかもしれない。したがって本論文では、特に断りがない限り、VWHにおける「文明壊滅」を、世界人口の15％が死亡する事態、または世界GDPが50％超減少し、その状態が10年以上続く事態と少なくとも同程度に悪い破壊的出来事と定める。¹³

本論文の主目的は、VWHが真であると論証することではない。（私はこれは未解決の問題だと考えている。ただし、現在利用可能な証拠に照らしてVWHが偽であることに少しでも強い確信を持つのは不合理に思える。）ここで主張する主要な貢献は、VWHとそれに関連する概念・説明が、人類のマクロ戦略的状況に関する重要な考慮事項や可能性を表面化させるうえで有用だ、という点である。ただし、それらから決定的な政策含意を導くには、そうした考慮事項や可能性をさらに分析し、本論文の範囲外にある他の考慮事項とも組み合わせなければならない。

先へ進む前に、もう少し明確化しておこう。本論文では「技術」という語を最も広い意味で用いる。したがって原理的には、機械や物理的装置だけでなく、手段として有効な他の種類のテンプレートや手続き――科学的アイデア、制度設計、組織技法、イデオロギー、概念、ミームなど――も、潜在的な技術的黒玉となりうるものとして数える。¹⁴

また、脆弱性が「開く」「閉じる」と表現することもできる。「簡単な核兵器」のシナリオでは、容易に核爆発を起こす方法が発見された時点で脆弱性の期間が始まる。そして、核爆発によって許容不能な損害が生じるのを合理的なコストで防げる技術水準に達した時点、あるいは技術的後退によって再び核爆発を起こすことが不可能になった時点で終わる。¹⁵ 防護技術が不可能であり（核兵器の場合などはそうかもしれない）、技術的後退も起きないなら、世界は恒久的に脆弱となる。

さらに、ある脆弱性について、半無政府的なデフォルト状態から脱却することでその脆弱性が実際の破局につながらないようにできた場合、その世界は安定化されたと言うことができる。安定化のために半無政府的なデフォルト状態をどう変えなければならないかは、問題となる脆弱性の具体的性質によって異なる。後の節では、世界を安定化するために考えられる手段について検討する。ここで確認しておくべきなのは、VWHは文明が必ず滅びることを意味しない、という点である。

脆弱性の類型

文明的脆弱性は、4つのタイプに分類できる。

タイプ1（「簡単な核兵器」）

第一のタイプは、「簡単な核兵器」のシナリオのように、個人や小集団が大量破壊を引き起こすことが容易になりすぎる場合である。

タイプ1脆弱性：ある技術が、極めて破壊的であり、かつ極めて容易に使用できるため、半無政府的なデフォルト状態の下では、終末論的残余に属する行為主体の行動によって文明壊滅が極めて起こりやすくなる。

あるシナリオがタイプ1脆弱性に該当するかを判断する際には、事件を引き起こす容易さと、一件の事件の破壊力の間に逆の関係があることに注意すべきである。一件の事件がより破壊的であるほど、タイプ1脆弱性と診断するために、その事件を起こすことが極端に容易である必要は小さくなる。

たとえば、「極めて簡単な核兵器」のシナリオを考えよう。どんな愚か者でも、台所の流し台で午後の数時間を使えば、簡単に持ち運べる熱核兵器を作れる。この場合は明らかに文明的脆弱性に該当する。これに対して、「そこそこ簡単な核兵器」のシナリオでは、半熟練者5人のチームが丸一年働いて、ようやく数キロトン級の大型装置を1個作れるとする。この場合は文明的脆弱性と呼ぶにはわずかに届かないかもしれない。「そこそこ簡単な核兵器」なら、多くの都市は破壊を免れる可能性がある。ただし、1995年当時のオウム真理教や2001年当時のアルカイダのような、資金力のあるテロ組織がもたらす脅威は大幅に増すだろう。しかし別の「そこそこ簡単なバイオ破局」を考えてみよう。ここでも黒玉技術を実行するには半熟練者5人が1年間作業する必要があるが、今度の技術は生物学的病原体であり、一地点から放出するだけで数十億人を殺せるとする。この場合、タイプ1脆弱性の閾値に達する。文明を破壊するために必要なのが、たった一つの集団が「そこそこ簡単」な課題に一度成功することだけなら、半無政府的なデフォルト状態の下では、文明はおそらく数年以内に破壊される。実際、オウム真理教とアルカイダはいずれも核兵器・生物兵器の獲得を試みており、入手できていれば使用した可能性が高い（Danzig et al., 2011; Olson, 1999; Mowatt-Larssen and Allison, 2010）。

したがってタイプ1脆弱性は、中程度の被害を極めて簡単に引き起こせる場合、または極端な被害をそこそこ簡単に引き起こせる場合に存在する。¹⁶ 一件当たりの被害が中程度にすぎない黒玉技術でもタイプ1になりうる理由は、その技術が十分に簡単なら、そうした事件が大量に発生することがほぼ確実だからである。平均的な個人が大都市を吹き飛ばす水爆を容易に作れるシナリオを考えよう。これは、単独の一人が文明全体を壊滅させられるシナリオとは限らない。たとえ1個の爆弾を作るのがかなり簡単でも、数百個を製造し、捕まらずに数百都市へ運ぶのは依然として極めて困難である。それでも「簡単な核兵器」は文明的脆弱性となる。なぜなら、そのような状況では、少なくとも一都市ずつ破壊する個人が実際に数百人は現れる、と考えるのがもっともらしいからである。

この結論は、ほぼ大数の法則と、無作為に選んだ個人についても、この種の破壊を引き起こしたいと思う確率が小さいながら無視できない程度には存在する、というもっともらしい仮定から導かれる。動機は、イデオロギー的憎悪、虚無主義的な破壊衝動、不正を受けたという認識への復讐、恐喝計画、妄想や精神疾患、あるいは単に「何が起きるか見てみたい」という好奇心かもしれない。人間の性格や境遇が多様である以上、どれほど無分別で、不道徳で、自滅的な行為であっても、それを選ぶ人間が一定の割合で存在する。問題の行動が文化的に顕著な「可能な行為」として意識されるようになれば、この可能性はさらに高い。一度でも核攻撃が起きれば、どこでもそうなるだろう。言い換えれば、「簡単な核兵器」が脆弱な世界を示すのは、破壊能力を与えられた人々の集合と終末論的残余との重なりが十分に大きくなり、文明を壊滅させる量の破壊が生じると予想されるからである。

タイプ2a（「安全な先制攻撃」）

大量破壊を「民主化」する技術だけが、壺から取り出されうる黒玉ではない。別の種類として、強力な行為主体に対し、その力を大量破壊に用いる強いインセンティブを与える技術が考えられる。ここでも核の歴史を例にできる。

原子爆弾の発明と短期間の米国による核独占の後、米国とソ連の間で軍拡競争が始まった。二つの超大国は驚異的な核戦力を蓄積し、1986年には合計7万発の核弾頭に達した。文明を壊滅させるには十分すぎる量である（Norris and Kristensen, 2010）。冷戦が1991年に平和裏に終結して以降、その危険性への一般の認識は薄れているように見えるが、学術界では、かつて機密だった資料の公開や、引退した政策担当者・軍人・分析官の証言によって、世界を何度も瀬戸際へ追い込んだと思われる不穏な慣行や事件が多数明らかになっている。¹⁷ 実際にどれほど危機一髪だったかは議論がある。一部の研究者は、核による大惨事が回避されたのは相当な幸運のおかげにすぎなかったと論じている。¹⁸

冷戦を生き延びるのに必要だった幸運が大きかったか小さかったかにかかわらず、核戦争を回避する確率が現実よりはるかに低かった反実仮想は容易に想像できる。核兵器を製造できるのは高度な技術力を持つ大国だけだと仮定しても同じである（したがってこれは「簡単な核兵器」というタイプ1脆弱性とは区別される）。技術的可能性の境界が異なり、軍拡競争がより不安定になる世界を考えられる。

たとえば核戦略家の間では、1960年代半ばまでに両超大国が比較的安全な第二撃能力を確立したことが、「戦略的安定性」の条件を作り出したと広く考えられている（Colby and Gerson, 2013）。それ以前の米国の戦争計画は、危機状況においてソ連の核戦力に対する先制核攻撃を開始する傾向をはるかに強く示していた。原子力潜水艦搭載の弾道ミサイルの導入は、第二撃能力（したがって「相互確証破壊」）を保証するうえで特に有効と考えられた。攻撃側が初撃で相手の弾道ミサイル原潜部隊を完全に排除することは、実際上不可能だと広く信じられていたからである。¹⁹ 第二撃能力を保証する別の戦略もありえたが、それぞれ問題があった。たとえば米国が短期間採用した選択肢として、長距離核爆撃機の一部を常時空中警戒させる方法がある（Sagan, 1995）。これは非常に高コストで、事故や無許可攻撃のリスクを高めた。別の選択肢は、強化された地上ミサイル・サイロを多数建設することだった。十分な数があれば、一方の側に第二撃能力を保証できる。しかし、その巨大な核戦力は今度は相手側に対する「安全な先制攻撃」の能力を生みかねず、危機を再び不安定化する。サイロ式ミサイルより攻撃されにくい道路移動式ICBM発射機は、冷戦終結の数年前の1985年にソ連が配備したことで、一定の安定化をもたらした（Brower, 1989）。

そこで、先制的な対核戦力攻撃がもっと容易だった反実仮想を考えよう。弾道ミサイル原潜を簡単に追跡できる技術が存在したとする。また、核兵器そのものが現実より少し脆弱で、別の核兵器の爆発によって破壊される半径が実際よりかなり大きかったとしよう。²⁰ そのような状況では、第二撃能力を保証することが不可能だったかもしれない。さらに、ミサイル発射の探知が非常に難しく、「警報即発射」戦略が全く機能しない技術環境だったとする。すると冷戦期の危機不安定性は大幅に増幅される。先に攻撃した側は比較的無傷で生き残るか、少なくともそう信じていたかもしれない。当時の戦争計画立案者は核の冬の可能性をほとんど考慮していなかったからである（Badash, 2001; Ellsberg, 2017）。²¹ より攻撃的でない側は完全に破壊される。このような状況では、相互の恐怖が容易に全面戦争への突進を引き起こしうる（Schelling, 1960）。

技術的パラメータの別の変化でも、攻撃の確率を高めうる。現実世界で核先制攻撃の主な「魅力」は、自分が先制攻撃の被害者になるかもしれないという恐怖を取り除くことにある。しかし反実仮想として、単に悪い事態を避けるだけでなく、核攻撃そのものに積極的利益が生じる世界も想像できる。たとえば、大規模核攻撃を開始することで巨額の経済利益が得られるとしよう。²² それがどういう世界なのか想像しにくいかもしれないが、自動製造技術やエネルギー技術によって物理的資源の価値が高まる可能性はある。また、技術によって人口が増加し、農地が再び死活的資源になることもありうる（Drexler, 1986）。国際関係論の一部の研究者は、ポスト工業化時代には征服による純経済的利益が大幅に低下し、それが平和への大きな寄与要因になったと考えている。²³ もし強力な国家経済的動機が、自己の安全保障への懸念、非経済的価値をめぐる対立、国家的威信の維持、特に好戦的な利益集団の影響など、既存の戦争原因に再び加われば、武力紛争はより頻繁になり、大規模核戦争も起こりやすくなるだろう。

以上の例では、破壊そのものが容易になるのではなく、破壊につながる行動を選ぶインセンティブが強くなることで脆弱性が生じる。この種をタイプ2脆弱性と呼ぶ。特に、「安全な先制攻撃」のように、極めて破壊的な行動が強く誘因づけられるシナリオをタイプ2aと呼ぶ。

タイプ2a脆弱性：ある技術水準において、強力な行為主体が文明を壊滅させる被害を生み出す能力を持ち、半無政府的なデフォルト状態の下で、その能力を使用するインセンティブに直面する。

後ほど、文明壊滅的な被害が「リスク外部性」という形を取るタイプ2a脆弱性の例をさらに見る。

タイプ2b（「より悪い地球温暖化」）

世界が脆弱になりうるもう一つの形がある。これは、気候変動に関する反実仮想によって説明できる。

現実世界では、世界平均気温が長期的に上昇している。この主因は、二酸化炭素、メタン、亜酸化窒素など、人間活動による温室効果ガス排出だと広く考えられている（Stocker et al., 2014）。予測は排出シナリオやモデルの仮定によって異なるが、排出削減の大きな取り組みがない場合、2000年と比較して2100年に平均気温が3〜4.5℃上昇するという予測は典型的である（Stocker et al., 2014, table 12.2）。そのような温暖化が海面、気象パターン、生態系、農業に与える影響は、人間の厚生にとって総じてマイナスになると通常予想される（Field et al., 2014, figure 10-1）。温室効果ガスは、産業、輸送、農業、発電など幅広い活動から、世界各地で排出されており、とりわけ工業化国・工業化途上国から多く排出される。これまでの排出抑制努力は、地球規模では大きな効果を上げられていない（Friedlingstein et al., 2014）。

しかし、地球温暖化が現実よりはるかに深刻な問題だった世界も想像できる。たとえば、過渡的気候感度（大気中CO₂濃度が2倍になるなどの強制力に対して、地球平均地表気温が中期的にどれほど変化するかを示す尺度）が実際よりはるかに大きかったかもしれない（Shindell, 2014）。もし実際の数倍だったなら、3℃ではなく15℃や20℃の気温上昇に直面していたかもしれない。その場合、文明破壊の潜在力は現実の予想をはるかに上回る。²⁴

温暖化をさらに悪化させる、現実とは異なる別の条件も想像できる。化石燃料が実際よりもっと豊富で、安価に採掘できる鉱床に大量に存在し、消費をさらに促していたかもしれない。同時に、クリーンエネルギーの代替手段がもっと高価で技術的に困難だったかもしれない。また、正のフィードバックや非線形性がもっと強かった場合も問題は悪化する。たとえば、最初の段階では温室効果ガスが大気中に徐々に蓄積しても目立った悪影響がほとんどなく、その後の第二段階で気温が急激に跳ね上がる、といった挙動である。地球温暖化を真に文明的脅威にするには、ジオエンジニアリングによる緩和が不可能だった、という反実仮想も必要かもしれない。

この「より悪い地球温暖化」が示す脆弱性は、「安全な先制攻撃」のようなタイプ2aとは異なる。タイプ2aでは、核先制攻撃のように、単独で文明を壊滅させるほど破壊的な行動を取れる行為主体が存在する。一方、「より悪い地球温暖化」では、そのような単独の主体は必要ない。代わりに、多数の、それぞれ単独ではほとんど重要でない行為主体が、半無政府的なデフォルト状態の下で、少しずつ有害な行動を取るインセンティブを持ち、その累積が文明壊滅的な問題になる。このタイプを2bと呼ぶ。

タイプ2b脆弱性：ある技術水準において、半無政府的なデフォルト状態の下で、非常に多くの行為主体が、それぞれわずかに有害な行動を取るインセンティブに直面し、それらの行動の累積的な効果が文明壊滅をもたらす。

タイプ2aとタイプ2bに共通するのは、いずれの場合も、被害を生み出せる行為主体が、通常の動機を持つ幅広い人々を破壊につながる行動へ向かわせるようなインセンティブに直面していることである。車を運転したり数本の木を切ったりできる人のごく一部だけがそうするのであれば、地球温暖化は問題にならない。問題になるのは、多数の行為主体がその選択をするからである。そして多数の人が同じ選択をするには、金銭、地位、利便性など、広く人を引きつけるインセンティブに支えられていなければならない。同様に、核先制攻撃を開始できる行為主体のうち、実際に実行を選ぶのが100万人に1人だけなら、その能力を持つ主体が少数存在しても、それほど危険ではない。しかし、敵に先制されるのを避けたいという動機のように、通常の動機を持つ主体にも強く訴えるインセンティブによって核攻撃が支持されるなら、事態は憂慮すべきものになる。これは、破壊能力が極めて広範に拡散することで問題が生じるタイプ1とは対照的である。都市を爆破したり終末的病原体を放ったりするために、自分自身も大きなコストと危険を負うことを選ぶのは、かなり特殊な価値観を持つ主体だけだろう。しかし、その能力を持つ者が十分に多ければ、その中には終末論的動機を持つ者も少なくとも一人は存在する。

タイプ0（「驚きのストレンジレット」）

1942年、マンハッタン計画の科学者の一人エドワード・テラーは、核爆発によって地球史上かつてない高温が生じ、太陽中心部に似た条件が作られることで、周囲の空気や水に自己持続的な熱核反応が始まる可能性があることに気づいた（Rhodes, 1986）。この懸念の重要性をロスアラモス研究所長ロバート・オッペンハイマーは即座に認識し、上司へ報告するとともに、可能性を検討する追加計算を命じた。計算の結果、大気への点火は起こらないと判断された。この予測は、世界初の核爆発を行った1945年のトリニティ実験によって確認された。²⁵

1954年、米国は別の核実験、キャッスル・ブラボー実験を行った。これは初期のリチウム型熱核爆弾設計を用いた秘密実験だった。リチウムにはウランと同様、重要な同位体としてリチウム6とリチウム7がある。実験前、核科学者たちは爆発威力を6メガトン（不確実性の範囲は4〜8メガトン）と計算していた。反応に寄与するのはリチウム6だけだと仮定していたが、それは誤りだった。リチウム7はリチウム6以上のエネルギーを反応へ与え、爆発威力は15メガトンに達した。計算値の2倍を超え、広島型原爆およそ1000発分に相当する。予想外に強力な爆発によって実験設備の多くが破壊され、放射性降下物は風下の島々の住民と日本の漁船乗組員に放射線障害を引き起こし、国際問題となった。

私たちは、誤っていたのがキャッスル・ブラボーの威力計算であって、トリニティ実験が大気へ点火するかどうかの計算ではなかったことを幸運とみなせる。反実仮想として、もし大気が核爆発によって点火可能で、しかもその事実が比較的容易に見落とされうるものだったなら――たとえば、キャッスル・ブラボー実験でリチウム7の寄与を見落としたのと同じ程度に――、人類の歴史（そして地球上のあらゆる生命の歴史）は1945年に終わっていた。このシナリオを「キャッスル・ブラビッシモ（Castle Bravissimo）」と呼ぼう。

発明の壺から玉を一つ取り出すたびに、偶発的な壊滅の可能性が潜んでいることがありうる。通常、このリスクは無視できるほど小さい。しかし、問題の技術が自然界に新種の攪乱を生み出したり、歴史上かつてない条件を作り出したりする場合には、重大になる可能性がある。したがって、類型にもう一つ、「技術によって運命づけられた偶発的文明壊滅」というカテゴリーを加えるべきである。

タイプ0脆弱性：隠れたリスクを持つ技術が存在し、その技術が発見されたときのデフォルトの帰結が、意図せざる文明壊滅となる。²⁶

ただし、「キャッスル・ブラビッシモ」はタイプ0脆弱性の完全な例ではないことに注意する必要がある。慎重な計算によって、核爆発が大気と海洋に点火し、地球上の生命を絶滅させる確率が1％あると判明したとしよう。さらに、その確率がゼロである（あるいは逆に1である）ことを証明して問題を解決するには、さらに10年間の綿密な研究が必要だと分かっていたとする。その状況でマンハッタン計画の指導者が何を決めたかは明らかではない。おそらく彼らは、人類が少なくともあと10年間は核兵器開発を控えることが非常に望ましいと考えただろう。²⁷ 一方で、ドイツに高度に進展した核爆弾計画があり、ヒトラーなら世界破壊の確率が1％あっても開発を止めないかもしれない、と恐れただろう。²⁸ そして、ナチス・ドイツが核を独占する確率を下げるためには、核爆弾を試験するリスクを取る価値がある、と結論したかもしれない。

この版の「キャッスル・ブラビッシモ」では、文明は事故によって吹き飛ぶ。誰も破壊的出来事を起こすこと自体を目的としてはいない。しかし主要な行為主体は、リスクがあっても前進するインセンティブを与える戦略的状況に閉じ込められている。この点で、このシナリオはタイプ2a脆弱性にも当てはまる。ただし、文明壊滅的被害が確率的な形を取るのである。核技術が可能になると、強力な行為主体は半無政府的なデフォルト状態の下で、その技術を、文明を破壊する被害（ここではリスク外部性という形を取る）を生み出す形で使うインセンティブに直面する。²⁹

したがってタイプ0脆弱性と診断するには、主要な行為主体が破壊を意図していなかった、というだけでは不十分で、より強い条件を要求する。本論文ではここでの「意図せざる」とは、悪い結果が協調の失敗ではなく、不運から生じたことを意味すると定める。タイプ0脆弱性では、主要な行為主体は、たとえ十分に協調できていたとしても、利益がコストを上回ると考えてその技術の使用を進める。しかしその判断が誤っており、実際のコストは予想より大きく、文明壊滅を引き起こすほどだった、という構造になる。³⁰

「キャッスル・ブラビッシモ」は、この基準を満たすかどうかがやや曖昧である。元の反実仮想では、災害が協調失敗からどの程度生じ、誤算・不運からどの程度生じるかが明確でないからだ。そこで、タイプ0のより純粋な例を考えよう。「驚きのストレンジレット」シナリオである。現代の高エネルギー物理学実験が、通常物質をストレンジ物質へ変換していく自己触媒的プロセスを開始し、その結果として地球が破壊されるとする。このシナリオや、加速器実験が安定ブラックホールを生成したり、準安定真空状態の崩壊を引き起こしたりする変形版は、文献で分析されている（Jaffe et al., 2000; Tegmark and Bostrom, 2005）。分析によれば、そうした結果が起こる確率は完全に無視できるため、実際に起きれば極めて驚くべきことである。もちろん、十分に運が悪ければ、無視できるほど低確率の事象でも起こりうる。しかし別の可能性として（この事例でははるかにありそうだが）、キャッスル・ブラボーの計算と同様に、分析そのものに隠れた欠陥があるかもしれない。その場合、実際の確率はそれほど無視できないものかもしれない（Ord et al., 2010）。³¹

安定化を達成するには

VWHが真であるなら、それは悪い知らせである。しかし、だからといって文明が必ず壊滅するわけではない。少なくとも原理上は、脆弱性が存在していても世界を安定化しうる対応がいくつかある。VWHは、技術開発が継続し、かつ半無政府的なデフォルト状態が持続するという条件の下で、黒玉技術が文明壊滅を極めて起こりやすくする、という形で定義されていたことを思い出そう。したがって、安定化を達成するための可能性として、理論上は次の4つを考えられる。

技術開発を制限する。
人間らしい幅広い動機分布を代表する多数の行為主体が存在しないようにする。
極めて有効な予防的取り締まりを確立する。
有効なグローバル・ガバナンスを確立する。

（3）と（4）は後の節で論じる。ここでは（1）と（2）を検討する。これらは、潜在的な文明的脆弱性から身を守る方法としては限定的な見込みしか持たない、と論じる。

技術的放棄

一般論としての技術的放棄（technological relinquishment）には、ほとんど期待できない。ここで「技術」を広く捉えていることを思い出してほしい。技術開発を完全に止めるには、世界中で発明活動そのものをほぼ停止させなければならない。それはほとんど現実的でないし、仮に可能でも、極端なコストを伴う――それ自体が実存的破局、すなわち「恒久的停滞」（Bostrom, 2013）を構成するほどである。

しかし、科学技術研究を全面的に放棄することが現実的でないからといって、発明活動を限定的に抑制することまで悪い考えだとは限らない。特に危険な進歩の方向をあえて断念することには合理性がありうる。たとえば「簡単な核兵器」シナリオを思い出せば、ウラン濃縮のためのレーザー同位体分離研究を抑制することには意味がある（Kemp, 2012）。より少ないエネルギー、より小さな産業規模で兵器級核分裂性物質を生産できるようにする技術は、不拡散にとって重要な障壁を侵食する。核エネルギー価格がわずかに下がることが、それを埋め合わせるほどの利益になるとは考えにくい。むしろ、何らかの形でウラン濃縮がより困難で高価になった方が世界にとって望ましいかもしれない。この分野で理想的に望むべきものは、技術進歩ではなく技術的後退なのである。

対象を絞った技術的後退そのものは実現困難かもしれないが、少なくとも、防護技術の進歩速度に比べてリスクを高める技術の進歩速度を遅くすることは目指せる。これが差別的技術開発（differential technological development）の原則で表現される考え方である。この原則は元来、実存的リスクに焦点を当てていたが、単に「文明壊滅」の潜在力を持つ技術まで含むよう広く適用できる。

差別的技術開発の原則：危険で有害な技術、特に実存的リスクを高める技術の開発を遅らせる。一方で、有益な技術、特に自然や他の技術がもたらす実存的リスクを低減する技術の開発を加速する（Bostrom, 2002）。

差別的技術開発の原則は、もっともらしい形の技術決定論とも両立する。たとえ「開発可能な技術はすべて、いずれ必ず開発される」と決まっていたとしても、いつ開発されるかは依然として重要である。技術が登場する順序によって大きな違いが生じうる。理想的には、防護技術が、それによって防ぐべき破壊技術より先に登場すべきである。それが不可能なら、強固な防護が利用可能になるまで他の対策（あるいは幸運）で持ちこたえられるよう、両者の時間差を最小限にすることが望ましい。発明の時期は、その技術がどのような社会政治的状況の中に生まれるかにも影響する。たとえば、文明が黒玉を扱う能力を高めつつあるという長期的傾向があると考えるなら、最もリスクの高い技術開発を遅らせる、あるいは少なくとも加速しないことが望ましいかもしれない。文明壊滅が避けられないと仮定してさえ、多くの人は、それがもっと遠い未来、おそらく自分や愛する人々がもう生きていない時代に起こる方を望むだろう。³²

ただし、差別的技術開発は、各玉の色が取り出すまで完全に分からないという元の「創造性の壺」モデルにはそのままでは適合しない。この文脈で壺の比喩を使うなら、モデルを修正する必要がある。たとえば玉には異なる手触りがあり、手触りと色に相関があるため、取り出す前から色について手がかりを得られる、と想定してもよい。あるいは、一部の玉の間にはひもやゴムひもが結ばれていて、一つを引くと、それにつながった別の玉もいくつか引き寄せられる、と想像すれば比喩はさらに現実的になる。ある技術に到達するには別の技術が先に出現していなければならないため、壺の内部はかなり管状になっているのだろう（ジェット機と石斧を同時に使う社会は、おそらく存在しない）。さらに、壺の中を上品に探る手が一本だけあるのではなく、金と栄光と被引用数を求めて、大勢の探鉱者が押し合いへし合いしながら腕を突っ込んでいると考えた方が現実に近い。

差別的技術開発を正しく実施することは、明らかに難しい戦略的課題である（Cf. Collingridge, 1980）。それでも、長期的帰結を利他的に重視し、研究者、資金提供者、起業家、規制当局者、立法者などとして発明活動に関わる行為主体には、試みる価値がある。少なくとも、かなり明白に見える含意はいくつかある。たとえば、レーザー同位体分離に取り組まない、生物兵器に取り組まない、任意の個人が地球の気候を一方的に劇的変更できるようなジオエンジニアリングを開発しない、といったことである。DNA合成装置のように、不吉な技術発展を直接容易にする実現促進技術（enabling technologies）の加速には慎重になるべきである。³³ 一方、主として防護的な技術――たとえば感染症流行をより効率よく監視する技術や、秘密の大量破壊兵器計画を発見しやすくする技術――は促進すべきである。

考えうるすべての「悪い」技術がいずれ必ず開発されるとしても、少し時間を稼ぐことには意味がある。³⁴ ただし、差別的技術開発だけでは、長期間持続する脆弱性に対する解決策にはならない。すなわち、十分な防護技術の開発が破壊技術の開発よりはるかに難しい場合や、技術が成熟した後でも破壊側が優位を持つ場合である。³⁵

選好の変更

文明を安定化する理論上の別の方法として、人間らしい幅広い動機分布を代表する多数の行為主体が存在する、という事実そのものを変えることが考えられる。さまざまな協調形態を強め、独立した行為主体の実効的な数を減らす介入については後で論じる。ここでは、行為主体の人口規模はおおむね一定としたまま、選好の分布を変更する可能性を考える。

この方法にどの程度見込みがあるかは、どのタイプの脆弱性を想定するかによって異なる。

タイプ1脆弱性の場合、少なくとも、選好を極めて効果的に変更する手段がない限り、有望には見えない。タイプ1の中には、世界のどこかに、破壊的結果を追求したいと動機づけられ、かつその能力を持つ人物が一人でもいれば文明壊滅に至るものがありうる。その種の脆弱性では、終末論的残余の人数を減らしても、その数を完全にゼロまで減らせない限り壊滅を防げない。そして、それは全く実行不可能かもしれない。確かに、文明壊滅のためにもう少し大きな終末論的残余が必要なタイプ1もある。たとえば「簡単な核兵器」のようなシナリオでは、数百の都市のそれぞれに終末論的残余に属する人が一人ずつ必要かもしれない。しかし、それでも必要条件は極めて低い。人間性を世界規模で根本的に再設計するような介入でもしない限り、終末論的残余を十分に減らし、タイプ1脆弱性の脅威を完全に除去したり大幅に減らしたりできる介入を想像するのは難しい。

終末論的残余の規模を半分にする介入を行っても、少なくとも一次的効果だけを見れば、タイプ1脆弱性による期待リスクが同じように半減するわけではない。終末論的残余を半減して減るタイプ1リスクは、5％や10％程度だと考える方がもっともらしい。なぜなら、新しい黒玉技術がどれほど破壊的かについて不確実性が非常に大きく、タイプ1脆弱性が生じたという条件の下で文明壊滅に必要となる終末論的残余の規模については、数桁の範囲で対数空間上ほぼ一様な事前分布を置くべきだと考えられるからである。言い換えれば、平均的な個人が少なくとも100万人を容易に殺せる新技術が開発されたという条件の下では、その技術が平均的個人に100万人、1000万人、1億人、10億人、あるいは生存する全人類を殺す能力を与える可能性は、粗く言えば同程度かもしれない。

それでも、破壊能力を与えられる主体の集合が当初は小さく明確に定義できる一部集団に限られるシナリオでは、選好の変更が役立つ可能性がある。一部の黒玉技術は、壺から最初に現れた段階では使用が難しく、専門機器を必要とするかもしれない。平均的な個人でも扱えるほど技術が洗練されるまで、数年間の猶予がある場合もある。その初期期間では、能力を持つ主体はかなり限定される。たとえば、特定種類の研究所で働く生命科学の専門家だけかもしれない。そのような研究所の職への応募者をより厳密に審査すれば、バイオテクノロジーの黒玉が出現してから最初の数年間に、破壊的な人物がそれへアクセスするリスクを意味のある程度まで減らせるだろう。³⁶ そして、その猶予期間に、技術がより容易になって広い人口へ拡散する時期に備え、より持続的な安定化策を導入できるかもしれない。

タイプ2a脆弱性では、能力を持つ行為主体の集合ははるかに小さい。典型的には国家であり、そこに特に強力な少数の非国家主体が加わる場合がある。タイプ2aの一部では、対象は二つの超大国だけ、あるいは特殊能力を持つ少数国家だけかもしれない（現在の核兵器がそうである）。したがって、わずか数か国の強国の選好を、より平和志向へ変えるだけでも非常に有用になりうる。「安全な先制攻撃」シナリオでも、安全保障のジレンマに直面する行為主体同士の態度が、フィンランドとスウェーデンの関係に見られるようなものなら、はるかに不安は小さいだろう。何らかの技術突破によって強力な行為主体に生じうる多くのもっともらしいインセンティブ構造においても、当該主体がより融和的な気質を持っていれば、壊滅を回避できる見込みは大幅に高まる。これを達成するのは難しいが、終末論的残余のほぼ全員に気質を変えさせるよりは難しくない。

最後にタイプ2bを考えよう。この脆弱性では、デフォルトで非常に多くの行為主体が何らかの有害行為を取るインセンティブを持ち、それらの累積的な効果が文明壊滅に達する。したがって黒玉技術を使うインセンティブは、世界人口のかなり大きな割合に作用するものでなければならない。経済的利益は、そのようなほぼ普遍的動機の典型例だろう。そこで、ほぼすべての個人が選択できる私的行動を想定する。その行動を取る人は、年間所得の割合 X を節約できる一方、負の外部性を生み、世界人口の半分がその行動を取れば文明が壊滅するとする。X＝0なら、その反社会的行動を取る人はほとんどいないと考えられる。しかしXが大きくなるほど、誘惑に負ける人口割合は増える。不幸なことに、人口の少なくとも半分にその行動を選ばせるXはかなり小さく、おそらく1％未満である可能性がある。³⁷ 人々をより利他的にし、Xの値を引き上げるよう世界の選好分布を変えることができれば望ましいが、それは難しい。（すでに人々の心を獲得しようと競争している強力な力――企業広告、宗教団体、社会運動、教育制度など――を考えてみればよい。）仮に世界の利他性を劇的に増やし、Xを1％から2％へ倍増できたとしても、破局を防げるのは、破壊技術を使う私的利益が1〜2％の範囲にある比較的狭いシナリオだけである。私的利益が2％を超えるシナリオでは、依然として文明壊滅が起こる。

要するに、黒玉の発見によって破壊能力を与えられる主体の選好分布を変更することは、他の安定化手段を補助するものとして有用かもしれない。しかし実施は困難で、世界規模で人間性を極端に再設計することを想定しない限り、せいぜい非常に部分的な防護しか提供しない。³⁸

いくつかの具体的対策とその限界

科学技術進歩の方向へ影響を与えたり、破壊に関わる選好を変えたりするほかにも、文明的脆弱性を緩和しうる対策はいくつかある。たとえば次のようなことが考えられる。

危険な情報が拡散するのを防ぐ。
必要な材料、機器、インフラへのアクセスを制限する。
捕まる確率を高め、潜在的な加害者を抑止する。
より慎重に行動し、より多くのリスク評価を行う。
破壊行為の実行を阻止できるような監視・執行メカニズムを設ける。

これまでの議論と例から、最初の4つが一般解ではないことは明らかだろう。情報拡散を防ぐことは、容易に実行不可能になりうる。仮に可能でも、危険な情報が独立に再発見されるのを防げない。検閲は、せいぜい一時しのぎの措置にすぎない。³⁹ 材料、機器、インフラへのアクセス制限は、一部の（灰色の玉に相当する）脅威を緩和するには非常に有効だが、別種の脅威には役立たない。たとえば、必要な材料が経済のあまりにも多くの場所で必要とされる場合や、危険なアイデアが発見された時点ですでに遍在している場合である。「簡単な核兵器」のガラス、金属、電池がその例である。潜在的加害者の抑止は合理的だが、十分に破壊的な技術では、終末論的残余の存在によって、すべての実行者が必ず捕まるとしても抑止は不十分になる。

より慎重に行動し、リスク評価を増やすことも、弱く限定的な戦略である。一つの行為主体が単独で慎重になってもタイプ2a脆弱性にはあまり役立たない可能性があり、タイプ2bやタイプ1にはほぼ何の効果もない。タイプ0脆弱性の場合、決定的な行為主体が慎重になれば役立つかもしれない。ただし、最初の主体が慎重に恐る恐る進んだ後に、同じ危険技術へアクセスする慎重でない主体が殺到しない場合に限る（あるいは、その間に別の方法で世界が安定化される必要がある）。⁴⁰ またリスク評価も、その結果として何らかの別の対策が実施される場合にのみリスクを下げる。⁴¹

リスト最後の対策――監視――は、より一般的な解決策の方向を示している。次節では「予防的取り締まり」という見出しの下でこれを論じる。ただし、監視だけでは十分でないことはすでに指摘できる。たとえば「より悪い地球温暖化」のようなタイプ2b脆弱性を考えよう。監視によって、ある国家が自ら選んだ環境規制を完全に執行できたとしても、必要な規制を採用することに十分な数の国家が合意するか、という問題は残る。そして、その合意は容易に成立しないこともありうる。「安全な先制攻撃」のようなタイプ2a脆弱性では、監視の限界はさらに明白である。問題は国家（または他の強力な行為主体）が破壊的行動を取る強いインセンティブを持っていることだからだ。その国家が自国内の出来事を完全に統制できても、この問題は解決しない。国際協調の困難を含む問題を信頼性高く解決するために必要なのは、有効なグローバル・ガバナンスである。

ガバナンスの空白

潜在的な文明的脆弱性への対応として、技術的放棄、選好変更、各種の個別的対策に限界があることは明らかになった。したがって、VWHが真である可能性を懸念するなら、残された二つの安定化手段を検討しなければならない。

極めて有効な予防的取り締まり能力を構築する。抑止できない者を含め、いかなる個人や小集団も、重大な違法行為を実行できないよう、非常に高い信頼性で阻止するための国家内部のガバナンス能力を整備する。
強力なグローバル・ガバナンス能力を構築する。最も重大なグローバル・コモンズ問題を確実に解決し、死活的安全保障利益が関わるあらゆる場面で、国家（および他の強力な組織）間に強固な協力を確保するための国家間ガバナンス能力を整備する。協定を破る、あるいは最初から参加を拒否する非常に強いインセンティブが存在する場合でも機能しなければならない。

（1）と（2）が示す二つのガバナンスの空白、一方はミクロ規模、もう一方はマクロ規模、は、現代世界秩序の二つのアキレス腱である。それらが無防備なままである限り、文明は、その弱点を狙った攻撃を可能にする潜在的な技術的黒玉に対して脆弱であり続ける。そのような発見が実際に壺から現れるまでは、自分たちがどれほど無防備であるかを見落としやすい。

次の二節では、潜在的な文明的脆弱性を一般的に安定化できる能力を得るために、この二つのガバナンスの空白を埋める必要があることを論じる。言うまでもなく、（1）と（2）へ向けて進むことには大きな困難があり、非常に重大な潜在的弊害もある。本論文では、困難については少ししか、潜在的弊害についてはほとんど論じない。その一因は、それらがすでによく知られ、広く認識されているからである。ただし、（1）と（2）への反対論を詳しく扱わないことを、それらの反対論が弱いとか、重要な懸念を示していないという暗黙の主張だと解釈してはならない。もちろん、あらゆる要因を考慮した総合評価では、それらも考慮に入れなければならない。しかし、そのような総合評価は本論文の範囲外であり、ここではVWHから直接導かれる考慮事項に焦点を絞る。

予防的取り締まり

タイプ1脆弱性が開いたとしよう。誰かが大量破壊を引き起こす非常に簡単な方法を発見する。その発見に関する情報は拡散する。必要な材料や機器は社会の至る所に存在し、短期間で流通から取り除くことはできない。もちろん、非国家主体が都市を破壊することは極めて違法であり、捕まれば厳罰に処される。しかし、100万人に1人を超える割合で、抑止不能な終末論的残余に属する人がいると考えるのはもっともらしい。相対的にはごく少数でも、それぞれが都市を一つずつ破壊すれば、絶対数としては文明が耐えられないほど多い。では、どうすればよいのか。

もし突然そのような状況に陥ったなら、文明の破壊を防ぐにはすでに手遅れかもしれない。しかし、人間社会がこの種の挑戦を無傷で生き延びるシナリオは想像できる。さらに難しい、個人が単独で都市一つだけでなく世界全体を破壊できる状況についても同様である。

この種の脆弱性を安定化するために必要なのは、極めて高度に発達した予防的取り締まり能力である。国家は、市民を十分に細かく監視し、大量破壊行為の準備を始めた者を誰であれ阻止できる能力を持たなければならない。

そのような監視・阻止が実行可能かどうかは、シナリオの具体的条件に依存する。黒玉技術を破壊的に使用するまでにどれほど時間がかかるのか。その行動はどれほど観察可能か。禁止したくない通常行動と区別できるのか。しかし、現在利用可能な技術を最大限に配備する国家であれば、タイプ1脆弱性スペクトラムのかなりの部分を安定化できる、と考えることはもっともらしい。そして、今後予想される監視技術の進歩によって、実現可能な防護範囲は大きく広がるだろう。

極めて徹底した監視体制が実際にどのようなものになり得るかをイメージするために、次のような一例を考えてみよう。

ハイテク・パノプティコン

すべての人が「自由タグ（freedom tag）」を装着する。これは、今日すでに見られる限定的なウェアラブル監視装置――刑務所の代替として複数国で使用される足首監視装置、多くの警察が装着するボディカメラ、一部の親が子どもの位置確認に使う携帯型トラッカーやリストバンド、そしてもちろん遍在する携帯電話（「通話もできる個人追跡装置」と評されたことがある）――の後継である。⁴² 自由タグはもう少し高度な機器で、首から下げ、多方向カメラとマイクを備える。暗号化された映像と音声が継続的にクラウドへアップロードされ、リアルタイムで機械解析される。AIアルゴリズムが、装着者の行動、手の動き、周囲の物体、その他の状況的手掛かりを分類する。不審な活動が検出されると、映像・音声フィードは複数ある「愛国監視センター」の一つへ転送される。そこは24時間365日稼働する巨大なオフィス施設である。そこで「自由担当官（freedom officer）」が複数画面で映像を確認し、ヘッドホンで音声を聞く。担当官は適切な対応を判断し、たとえば音声リンクでタグ装着者へ連絡して説明を求めたり、よりよく見える位置へ移動するよう要求したりする。さらに、検査官、警察の緊急対応部隊、ドローンを派遣して調査を進めることもできる。繰り返し警告されても禁止行為をやめないごく少数のケースでは、逮捕その他の適切な制裁が行われる。市民は、十分な外部センサーが設置された環境にいる場合を除き、自由タグを外すことを認められない（ただし、ほとんどの屋内空間と自動車はその条件を満たす）。システムには比較的高度なプライバシー保護があり、たとえば身体の私的部位を自動的にぼかす。また、顔や名札など本人特定情報を編集で隠し、捜査上必要になった場合にのみ解除する選択肢もある。AIを使った仕組みと人間による監督の双方が、自由担当官のすべての行動を厳密に監視し、濫用を防ぐ。⁴³

ハイテク・パノプティコンの構築・運用には大きな投資が必要だが、カメラ、データ通信、保存、計算資源の価格低下と、AIによるコンテンツ解析の急速な進歩により、近い将来、技術的にも経済的にも実現可能になるかもしれない。たとえば、一人を1年間この仕組みで監視するコストが約140米ドルまで下がれば、世界人口全体を常時監視しても世界GDPの1％未満で済む。もしその価格で実現できるなら、文明規模の大惨事を防ぐ用途を考慮しなくても、通常の法執行に役立つため、差し引きで費用節減になる可能性すらある。宣伝どおりに機能するなら、多くの犯罪をほぼ根絶でき、それに伴い警察、裁判所、刑務所、その他の治安システムの費用も減るかもしれない。また、社会的信頼の不足によって現在は抑制されている、有益な文化的慣行を発展させる可能性もある。

ハイテク・パノプティコンを妨げる技術的障壁が急速に低下しているとして、政治的実現可能性はどうだろうか。一つの可能性は、大きな衝撃がなくても、社会が徐々に完全な社会的透明性へ漂っていくことである。人や物について情報を収集・分析することが少しずつ容易になり、それを許容することが非常に便利だと分かり、最終的にはほぼ完全監視に近い状況が現実になるかもしれない。そこまで来れば、ねじをもう一回締めるだけでハイテク・パノプティコンへ変えられる。⁴⁴別の可能性は、具体的なタイプ1脆弱性が十分に鮮明に見えてきて、国家が恐怖から、普遍的監視を作る緊急計画のような極端な措置へ踏み切ることである。完全な普遍監視システムがない場合に試みられうる別の極端な措置として、たとえば信頼性の低い複数指標が「ある人物が都市破壊行為以上のことを試みる確率が1％を超える」と示した時点で予防拘禁する政策も考えられる。⁴⁵こうした政策への政治的態度は、プライバシーや社会統制に関する文化的伝統・規範など多くの要因に依存する。しかし、それだけでなく、文明的脆弱性がどれほど明確に認識されているかにも左右される。少なくとも、劇的な「警告射撃」が複数回起きるタイプの脆弱性なら、リスクは非常にはっきり認識されるだろう。たとえば「簡単な核兵器」シナリオでは、いくつかの大都市が廃墟になった後なら、次の攻撃を防ぐため、実際の企図者一人を見つけるごとに無実の人を100人拘禁するような政策にも、強い世論支持が生じる可能性が高い。⁴⁶ そのようなシナリオでは、ハイテク・パノプティコンの構築が圧倒的に緊急な優先課題として広く支持されるだろう。しかし、そのような反論不能な証拠が事前または同時に現れない脆弱性では、強力な予防措置を取ろうとする政治的意思が最後まで形成されないかもしれない。

したがって、遍在的リアルタイム監視によって可能になる極めて有効な予防的取り締まりは、タイプ1脆弱性を安定化するために必要となる可能性がある。監視は他の種類の脆弱性にも関係するが、タイプ1ほど中心的ではない。

タイプ2b脆弱性では、破壊的に振る舞うインセンティブを持つ多数の独立した行為主体の合成行動によって悪い結果が生じる。しかし破壊行為が非常に観察しにくい場合を除き、安定化のために監視や予防的取り締まりを強化する必要はない。たとえば「より悪い地球温暖化」では、個々の行動を事前に阻止することは本質的ではない。危険な水準の排出が蓄積するには時間がかかり、汚染者は事後的に責任を問える。また少数の違反者が取りこぼされても許容できる。

しかし、別のタイプ2b脆弱性では、監視・社会統制の強化が重要になる可能性がある。「暴走する群衆（runaway mob）」を考えよう。ある群衆が形成され、出会った人に参加を求め、拒否すれば殺し、参加者が増えるほどさらに巨大で強力になるシナリオである（Cf. Munz et al., 2009）。そのような悪い社会均衡がどれほど容易に形成・伝播するか、一度定着した後で改革できるか、人間の厚生へどれほどの損害を与えるかは、技術革新によって変わりうるパラメータに依存し、変化は悪い方向にも起こりうる。今日でさえ、多くの国家は組織犯罪を抑え込むのに苦労している。犯罪組織をはるかにスケーラブルにしたり、社会的影響をより有害にしたりする黒玉発明――たとえば巧妙な暗号経済学的メカニズム設計――が現れれば、国家が前例のない監視・社会統制能力を持つ場合にしか安定化できない脆弱性が生じるかもしれない。

タイプ2a脆弱性では、問題は国家権力や他の強大な主体が直面するインセンティブから生じるため、国内監視がどう役立つかはそれほど明確でない。歴史的には、より強力な社会統制手段が国家間紛争を悪化させた可能性さえある。最も流血の多い国家間戦争は、徴税、徴兵、戦争宣伝を可能にした近代国家の高度な統治能力に依存していた。監視の改善が、社会文化的力学を変えたり、軍縮条約や不可侵条約の遵守を検証しやすくする新しい選択肢を生み出したりして、「安全な先制攻撃」のようなタイプ2a脆弱性の安定化を間接的に促す可能性はある。しかし、国際紛争を信頼性高く解決する仕組みがない限り、国内監視と警察力の強化がタイプ2a脆弱性へ与える純効果は、むしろ反対方向――すなわち安定化するより、脆弱性を生み出したり悪化させたりする方向――になる可能性も同程度にある。

グローバル・ガバナンス

再び「安全な先制攻撃」を考えよう。黒玉技術へアクセスできる国家は、どの国家もそれを使わない方が全員にとって望ましいにもかかわらず、デフォルトでは破壊的に使用する強いインセンティブに直面する。元の例は核兵器に関する反実仮想だったが、将来を見れば、生物兵器、原子レベルで精密な製造、膨大な殺人ドローン群、人工知能、あるいは別の何かの進歩から、この種の黒玉が現れるかもしれない。その場合、国家主体の集合は集合行為問題に直面する。この問題の解決に失敗すれば、核のアルマゲドンまたはそれに匹敵する災害によって文明が壊滅する。有効なグローバル・ガバナンスが存在しなければ、国家は実際にこの問題の解決に失敗すると考えるのがもっともらしい。ここでは仮定上、特に難しい問題を扱っている。しかし国家は、これより簡単な集合行為問題でさえ頻繁に解決できなかった。人類史は、戦争というあばたで全身を覆われている。

しかし、有効なグローバル・ガバナンスがあれば、解決は単純になる。すべての国家に、黒玉技術を破壊的に使用することを禁止すればよい。「安全な先制攻撃」の場合、最も分かりやすい方法は、すべての核兵器を解体するよう命じ、誰も核能力を再構築できないことを保証するのに必要なだけ侵襲的な査察制度を設けることだろう。別案として、グローバル・ガバナンス機関自身が核兵器を保有し、誰かが制約を突破しようとした場合への対抗手段として保持することも考えられる。

タイプ2a脆弱性に対処するために文明が必要とするのは、特に国家行動が極めて大きな外部性を持つ問題について、地球規模の協調を頑健に達成する能力である。有効なグローバル・ガバナンスは、タイプ1やタイプ2bのうち、一部国家が、自国内の個人による破壊行為を高い信頼性で防ぐために必要な予防的取り締まりの導入を嫌がるシナリオにも役立つ。

たとえば、一度の悪意ある使用で数十億人を殺すパンデミックを引き起こせるほど強力なバイオテクノロジーの黒玉を考えよう。これはタイプ1脆弱性である。この場合、たった一つの国家でさえ、市民の継続的な監視・統制（または悪意ある使用をほぼ完全な信頼性で防ぐために必要な別の仕組み）を導入しないことは許容できない。必要な安全措置の実施を拒否する国家――たとえば個人の自由を極めて重視する、あるいは市民に憲法上明記されたプライバシー権を認めていることを理由に拒否する国家――は、国際社会の義務を果たさない構成員となる。その国家の統治制度が他の点では立派に機能していたとしても、内部統制の欠如によって海賊や国際テロリストの安全地帯となる「破綻国家」に類似する。ただし、ここで世界の他地域へ押しつけるリスク外部性は、現在の破綻国家よりはるかに大きい。他国には当然、抗議する根拠がある。

同じ議論は、「より悪い地球温暖化」のようなタイプ2b脆弱性にも当てはまる。そこでは、一部国家が、他国の高コストな排出削減努力へただ乗りしようとするかもしれない。有効なグローバル・ガバナンス機関なら、すべての国家にそれぞれの役割を果たさせることができる。

以上から、予防的取り締まりだけで安定化できる脆弱性もあれば、グローバル・ガバナンスだけで安定化できる脆弱性もあるが、両方を必要とする脆弱性もあることが分かる。個人が規制困難な活動を行えるにもかかわらず、それを有効に規制しなければならないため、極めて有効な予防的取り締まりが必要になる。そして、国家が、その規制能力を持っていても有効な規制を行わないインセンティブを持つ可能性があるため、強力なグローバル・ガバナンスも必要になる。しかし両者を組み合わせれば、遍在的監視を基盤とする予防的取り締まりと有効なグローバル・ガバナンスは、大半の脆弱性を安定化するのに十分であり、VWHが真であっても科学技術開発を安全に継続できるようになるだろう。⁴⁷

議論

以上のように、包括的監視とグローバル・ガバナンスは、広範な文明的脆弱性からの防護を提供する。これは、そうした条件を実現することを支持する相当大きな理由である。その理由の強さは、おおむね脆弱な世界仮説が真である確率に比例する。

言うまでもなく、前例のない強度の監視を可能にする仕組みや、あらゆる国家へ意思を強制できるグローバル・ガバナンス機関には、悪い帰結もありうる。社会統制能力の向上は、専制体制が反乱から自らを守るのを助けるかもしれない。遍在的監視によって、覇権的イデオロギーや不寛容な多数派の見解が生活のあらゆる側面へ押しつけられ、通常と異なる生活様式や不人気な信念を持つ人々が匿名性へ逃げ込む余地を失うかもしれない。また、自分の発言や行動がすべて事実上「記録に残る」と人々が考えれば、行動はより用心深く、退屈なほど慣習的になりうる。政治的に正しい態度・行動の標準台本へ密着し、怒りの群衆の標的になったり、履歴書に消すことのできない失格の汚点を残したりする危険を冒して、挑発的なことを言ったりしなくなるかもしれない。グローバル・ガバナンスも、有益な国家間競争や多様性を減らし、世界秩序に単一障害点を作る可能性がある。もし世界政府が、十分に有害なイデオロギーや特殊利益集団に一度支配されれば、政治的進歩はそこで終わるかもしれない。現行体制が、より良い方法の存在を明らかにしうる代替制度の実験を永久に許さない可能性があるからである。また、典型的な国家政府よりもさらに個人や文化的にまとまりのある「人民」から遠い存在になるため、そのような機関は一部の人から正統性が低いとみなされるかもしれない。官僚制の硬直化や、公共利益から政治がずれていくといったエージェンシー問題にも、より脆弱になる可能性がある。⁴⁸

同じく言うまでもないが、より強い監視とグローバル・ガバナンスには、文明的脆弱性の安定化以外にもさまざまな良い帰結がありうる（Re, 2016; Bostrom, 2006; cf. Torres, 2018）。より有効な社会統制は犯罪を減らし、厳罰の必要性を緩和できるかもしれない。信頼の風土を育て、新たな有益な社会的交流や経済活動を繁栄させる可能性もある。グローバル・ガバナンスは、文明壊滅を脅かさないものを含め国家間戦争を防ぎ、軍事支出を減らし、貿易を促進し、さまざまな地球環境問題やその他のコモンズ問題を解決し、国家主義的な憎悪や恐怖を和らげ、時間とともにより広いコスモポリタンな連帯感を育むかもしれない。世界の貧困層への社会移転を増やす可能性もあり、それを望ましいと考える人もいるだろう。

明らかに、これらの方向へ進むことには賛成・反対の双方に重大な論拠がある。本論文は、それらを総合した最終的な評価を下さない。ここでの目標はより限定的である。すなわち、技術によって駆動される潜在的な文明的脆弱性を考える枠組みを提供し、さまざまなシナリオで文明を安定化するには、予防的取り締まりとグローバル・ガバナンスの能力を大幅に拡張する必要がある、と指摘することである。確かに、この分析はそうした能力を開発することを支持する追加的理由を提供する。そしてこの理由は、政府監視をめぐる議論や、国際機関・超国家機関の改革案をめぐる議論など、近年の関連論争では大きな役割を果たしていないように見える。⁴⁹ この理由を考慮に加えるなら、そのような形で統治能力を強化する政策への評価は、そうでない場合より好意的になるべきである。ただし、この追加的理由が総合判断を逆転させるほど重いかどうかは、本論文の範囲外にある他の考慮事項に依存する。

本論文の議論が支持するのは、統治能力強化のうち特定の形態であることを強調しておく価値がある。監視と予防的取り締まりについてVWHから導かれる懸念が具体的に支持するのは、人口の非常に大きな超多数派（および、権力で加重した国内利害関係者の非常に大きな超多数派）が極めて強く反対する活動を、極めて高い信頼性で抑止できる統治能力である。それ以外の統治強化は、この特定能力の構築に役立つ限りでのみ支持される。同様に、グローバル・ガバナンスについてVWHに基づく議論が支持するのは、失敗すれば文明壊滅になるような、極めて重大な国際協調問題を信頼性高く解決できる制度の開発である。これには、大国間紛争を防止する能力、大量破壊兵器の軍拡競争を抑制する能力、潜在的黒玉技術の開発競争と配備を規制する能力、最悪の形態の「コモンズの悲劇」をうまく管理する能力が含まれる。しかし、多数のその他の問題について国家を協力させる能力まで必ずしも含む必要はない。また、必要な安定化を完全に正統な手段だけで達成する能力を必ずしも意味しない。そうした能力には別の理由から魅力があるかもしれないが、VWHを真剣に受け止めるだけでは、直ちに望ましいものとして導かれるわけではない。たとえばVWHだけを考えるなら、ある一つの超大国が十分に支配的な地位まで台頭し、極端な緊急事態において世界の残りへ一方的に安定化策を強制できる能力を持つことで必要なグローバル・ガバナンス能力が生まれる、という形でも理論上は十分である。

ここでまだ論じる必要がある重要な問題が、タイミングである。発明の壺に黒玉が入っている可能性を深刻に懸念するようになったとしても、仮説上の脆弱性が明確に姿を現した時点で後から措置を取れると考えるなら、今すぐ監視やグローバル・ガバナンスの強化を支持する必要はないかもしれない。世界はそのまま甘い眠りを続け、警報が鳴った瞬間にベッドから飛び起きて必要な行動を取るだろう、と自信を持って期待することもできる。しかし、その計画がどれほど現実的かは疑うべきである。

ここでは歴史を振り返ることが有用である。冷戦を通じて、二つの超大国（そして北半球全体）は、事故や危機の制御不能なエスカレーションによっていつでも起こりえた核絶滅への継続的恐怖の中で暮らした。その脅威の現実性は双方が認めていた。このリスクは、核兵器の全部または大部分を廃棄するだけで大幅に減らせたはずであり、ついでに10兆ドルを超える費用も節約できた。⁵⁰ ⁵¹ それでも数十年にわたる努力の結果、実施されたのは限定的な核軍縮とその他のリスク低減策にとどまった。実際、核絶滅の脅威は今日まで残っている。条約を執行し、対立当事者に妥協案を受け入れさせられる強力なグローバル・ガバナンスがないため、世界はこれまで、この最も明白な集合行為問題すら解決できなかった。⁵²

では、世界が核戦争リスクを排除できなかったのは、そのリスクが十分に大きくなかったからではないか。もしもっと高いリスクだったなら、グローバル・ガバナンス問題を解決するために必要な意思が生まれたはずだ、と楽観的に論じることもできる。そうかもしれない。しかし、文明の運命を委ねるにはかなり不安定な根拠である。核兵器以上に危険な技術は、安定化への障害を克服する強い意思を刺激するかもしれない一方で、黒玉の別の性質が、グローバル・ガバナンス問題を冷戦期よりさらに難しくする可能性もある。「安全な先制攻撃」や「より悪い地球温暖化」のようなシナリオですでに見たとおり、技術集合の特定の性質は、破壊的利用へのインセンティブや、その有害な用途を抑制する協定への参加拒否（または協定からの離脱）へのインセンティブをさらに強めうる。⁵³

最終的には合意に到達できると楽観しても、タイミングは深刻な懸念として残る。国際的集合行為問題は、対象分野を限定しても、利害が巨大で明白であっても、解決まで長い時間を要することがある。なぜ制度が必要か説明し、反論に答える時間が必要である。協力というアイデアを相互に受け入れ可能な具体案へ落とし込む交渉にも時間がかかる。詳細を詰めるにも、実施に必要な制度メカニズムを設けるにも時間がかかる。多くの状況では、参加を拒む国の問題や国内反対によって進展が数十年遅れることがある。そして、ある頑強な国家がようやく参加する用意を整えた頃には、以前に同意していた別の国家が考えを変えているかもしれない。それに対して、脆弱性が誰の目にも明確になった時点から、安定化措置を整備しなければならない時点までの間隔は短い可能性がある。脆弱性の性質が否認論を許したり、情報災害を避けるため具体的説明を広く提供できなかったりするなら、その時間差は負でさえありうる。これらを考えると、脆弱性が姿を現してから自然発生的なその場しのぎの国際協力が危機を救ってくれることに依存するのは問題がある。⁵⁴

予防的取り締まりについても、ある点では状況は似ている。ただし、監視技術の進歩に牽引され、自国市民の行動を監視し、潜在的には統制する国家能力が高まる傾向は、有効なグローバル・ガバナンスへの傾向よりはるかに速く、頑健である。少なくとも物理空間についてはそうである。デジタル情報空間では、暗号化・匿名化ツールの普及や、破壊的イノベーションが頻繁でサイバー空間の将来予測を難しくしているため、見通しはやや不明瞭である。しかし物理空間で十分に強い能力を得れば、それはデジタル領域にも波及する。ハイテク・パノプティコンでは、当局が暗号を解読する必要はない。利用者がコンピュータへ入力するものと、画面に表示されるものを直接観察できるからである。

特定の文明的脆弱性がはっきり見えるまで、すなわち、プライバシーの一部を犠牲にし、意図せず全体主義的悪夢を促進する危険を正当化するほど深刻に見える脆弱性が現れるまでは、監視・社会統制の改善手法を開発すべきではない、という立場もありうる。しかし国際協力の場合と同様、ここでもタイミングの問題がある。「ハイテク・パノプティコン」のような高度な監視・対応システムは、一夜にして出現させ、完全に信頼できる状態にできるものではない。現状から現実的に構築するなら何年もかかるし、政治的支持を築くために必要な時間は言うまでもない。しかし、そのようなシステムが必要となる脆弱性は、ほとんど事前警告を与えない可能性がある。先週、ある一流の生命科学研究所が Science 誌に論文を発表したかもしれない。そしてあなたがこの文章を読んでいるまさに今、世界のどこかでアクセス数を求める人気ブロガーが、その研究結果を利用すれば誰でも大量破壊を起こせる巧妙な方法を説明する記事をアップロードしているかもしれない。

そのようなシナリオでは、強力な社会統制をほぼ即座に「オン」にしなければならないかもしれない。不利なシナリオでは、猶予は数時間から数日にすぎない可能性がある。脆弱性が明確になってから監視アーキテクチャの開発を始めるのでは遅すぎる。壊滅を避けるには、安定化メカニズムが事前に整備されていなければならない。

理論上可能なのは、侵襲的監視とリアルタイム阻止の能力だけを先に開発し、当初はそれらの能力を最大限に近い程度まで使用しないことである。これは、タイプ1脆弱性（および個人行動を非常に高い信頼性で監視する必要がある他の脆弱性）を安定化する条件を満たす一つの方法になる。人類文明に極めて有効な予防的取り締まり能力を与えることで、半無政府的なデフォルト状態の一つの次元から脱却できる。

確かに、そのようなシステムを構築して待機状態に保つだけでも、実際に強力な社会統制を導入することに伴う弊害の一部は被ることになる。特に、抑圧的な帰結が生じる可能性を高めるかもしれない。

「問題は、監視システムの創設によって、その均衡が政府統制の方向へ危険なほど大きく傾くかどうかである……家庭内へのカメラ設置を義務づけ、令状がある場合にのみ作動させるシステムが、長年にわたり法律を厳密に尊重して運用されることを想像できる。問題は、そのような監視アーキテクチャが一度確立されれば解体が難しくなり、恐慌、悪意、あるいは公共善を秘密裏に判断できるという誤った自信から、それを私たちに対して使おうとする者の手に渡った場合、あまりにも強力な統制手段になることである」（Sanchez, 2013）。

スイッチ一つで全体主義へ移行できるシステムを開発することは、自分ではそのスイッチを入れるつもりがなくても、リスクを引き受けることを意味する。

このリスクは、適切な技術的・制度的安全装置を設計することで減らそうとすることができる。たとえば、情報アーキテクチャを、複数の独立した利害関係者の許可がなければシステムが作動しないよう構成し、ある意思決定者には、その正当な目的に必要な特定情報だけを、目的に応じて適切な編集・匿名化を施したうえで提供する「構造化された透明性（structured transparency）」のシステムを目指すことができる。創造的なメカニズム設計、機械学習、高度な暗号技術を組み合わせれば、公式な機能には非常に有効でありながら、別用途への転用にはある程度抵抗性を持つ監視システムを実現するうえで、原理的な障壁はないかもしれない。

もちろん、それが実際にどの程度達成可能かは別問題であり、さらに検討する必要がある。⁵⁵ 善意による監視プロジェクトにも全体主義の重大なリスクが不可避に伴うとしても、そのプロジェクトを進めることが全体主義リスクを増やすとは限らない。比較的平穏な時期に始めた、相対的にリスクの低い善意のプロジェクトが、危機の最中に始められる、善意がより弱く、より危険なプロジェクトを先回りして防ぐことで、むしろ全体主義リスクを下げる可能性もある。それでも純効果として全体主義リスクを多少高めるとしても、新たに現れるタイプ1脅威に対して文明を一般的に安定化できる能力を得るため、あるいは極めて有効な監視と予防的取り締まりがもたらしうる他の利益のために、そのリスクを受け入れる価値があるかもしれない。

結論

本論文は、私たちの技術的創造性が生み出しうる特定種類の結果に対して文明がどのように脆弱なのかを、より見通しよく理解するための視点を導入した。その中心にあるのが、発明の壺から比喩的な黒玉を引き当てるという考えである。私たちには玉を取り出す力はあるが、一度取り出したものを戻す力はない。

本論文では、そのような潜在的脆弱性を類型化し、一部は破壊が容易になりすぎることから生じ、別の一部は、少数の強力な国家主体または多数の弱い主体が直面するインセンティブが有害な方向へ変化することから生じることを示した。また、さまざまな対応策とその限界も検討した。そして、文明が危険にさらされる根本原因を、現代世界秩序の二つの構造的性質へたどった。一方には、違法性の極めて高い行動を個人や小集団が実行することを、非常に高い信頼性で阻止できる予防的取り締まり能力の不足がある。もう一方には、死活的な国家利益がデフォルトでは国家に協調から離反するインセンティブを与える場合でさえ、最重大の国際協調問題を確実に解決できるグローバル・ガバナンス能力の不足がある。広いフロンティアに沿って技術革新が急速に進み、人間にとって認識可能な多様な動機を持つ多数の主体が存在する世界で、潜在的な文明的脆弱性に対して一般的な安定化を達成するには、この二つのガバナンスの空白を両方とも解消しなければならない。それが実現するまで、人類は技術的黒玉を引き当てる可能性に対して脆弱であり続ける。

明らかに、以上の考察は、監視能力と予防的取り締まり制度を強化すること、そして決定的行動が可能なグローバル・ガバナンス体制（一国の覇権的な強さに基づくものであれ、強力な多国間制度に基づくものであれ）を支持する一応の理由（pro tanto reason）を提供する。しかし、それらがあらゆる要因を考慮したうえで望ましいかどうかは決着していない。その判断には、本論文の範囲外にある多数の強力な考慮事項を分析する必要があるからである。

本論文の主目的はマクロ戦略的地形にいくつかの道標を立てることだったため、議論はかなり抽象的な水準に置いた。つまり、地域ごとに異なる文脈の細部からある程度独立して、長期的帰結と地球規模の望ましさという観点から自分たちの位置を把握するのに役立つ概念を整備した。

実際に文明を潜在的黒玉に対して安定化しようとするなら、最初は部分解と手の届きやすい成果に集中するのが賢明かもしれない。極めて有効な予防的取り締まりや強力なグローバル・ガバナンスを直接実現しようとする代わりに、黒玉が最も現れそうな特定分野を補強するのである。たとえば、重要な材料・機器を追跡するより良い方法を開発し、研究所内の科学者を監視することで、バイオテクノロジー関連活動の監督を強化できる。バイオテクノロジー供給分野でのKYC（顧客確認）規制を厳格化し、特定種類の研究所で働く人員や特定種類の実験に関わる人員への身元調査を拡大することもできる。内部告発制度を改善し、世界的にバイオセキュリティ基準を引き上げることもできる。さらに、差別的技術開発を進めることもできる。たとえば生物兵器禁止条約を強化し、生物兵器に対する国際的タブーを維持する。研究資金配分機関や倫理審査委員会には、特定研究分野の潜在的帰結をより広く見るよう促すことができる。研究所職員、実験動物、研究参加者へのリスクだけでなく、期待される研究成果が将来のバイオテロリストに必要な能力水準をどのように引き下げるかにも注目するのである。主として防護的な研究（感染症流行の監視、公衆衛生能力の構築、空気ろ過装置の改善など）は相対的に促進できる。

それでも、このような限定的目標を追求する際には、それらが提供する防護はシナリオの特殊な一部しかカバーせず、しかも一時的かもしれないことを念頭に置くべきである。もし予防的取り締まり能力やグローバル・ガバナンス能力というマクロなパラメータへ影響できる立場にあるなら、これらの領域における根本的変化こそが、新たに出現する技術的脆弱性に対して文明を一般的に安定化する唯一の方法かもしれない、という点を考慮すべきである。

謝辞

コメント、議論、批判を寄せてくれた Sonja Alsofi、Stuart Armstrong、Andrew Snyder-Beattie、Chris Anderson、Nick Beckstead、Miles Brundage、Ben Buchanan、Owen Cotton-Barratt、Niel Bowerman、Paul Christiano、Allan Dafoe、Jeff Ding、Eric Drexler、Peter Eckersley、Owain Evans、Thomas Homer-Dixon、Thomas Inglesby、John Leslie、Gregory Lewis、Matthijs Maas、Jason Matheny、Michael Montague、Luke Muehlhauser、Toby Ord、Ben Pace、Richard Re、Anders Sandberg、Julian Savulescu、Stefan Schubert、Carl Shulman、Tanya Singh、Helen Toner、ならびに本研究の初期版を発表した複数のワークショップや講演の聴衆、そして3名の匿名査読者に感謝する。また、原稿作成への支援と多くの有益な提案をくれた Carrick Flynn、Christopher Galias、Ben Garfinkel、Rose Hadshar に感謝する。

本研究は、欧州連合 Horizon 2020 研究・イノベーション・プログラムの下、欧州研究会議（ERC）から資金提供を受けた（助成契約 No. 669751）。

著者略歴

Nick Bostrom はオックスフォード大学教授であり、同大学の Future of Humanity Institute（人類未来研究所）所長を務めている。同研究所には Center for the Governance of AI（AIガバナンス・センター）および、人類が直面するその他のマクロ戦略的課題を研究する複数の研究グループが含まれる。

参考文献

Armstrong, S. , Bostrom, N. and Shulman, C. ( 2016 ) ‘ Racing to the Precipice: A Model of Artificial Intelligence Development ’, AI & Society , 31 ( 2 ), pp. 201 – 06 . 10.1007/s00146-015-0590-y
Aviles, L. and Purcell, J. ( 2012 ) ‘ The Evolution of Inbred Social Systems in Spiders and Other Organisms: From Short-term Gains to Long-term Evolutionary Dead Ends? ‘, Advances in the Study of Behavior , 44 ( 1 ), pp. 99 – 133 . 10.1016/B978-0-12-394288-3.00003-4
Badash, L. ( 2001 ) ‘ Nuclear Winter: Scientists in the Political Arena ’, Physics in Perspective , 3 ( 1 ), pp. 76 – 105 . 10.1007/s000160050057
Banisar, D. ( 1999 ) ‘ Stopping Science: The Case of Cryptography ’, Health Matrix , 9 ( 2 ), pp. 253–87 .
Baum, S. , de Neufville, R. and Barrett, A. ( 2018 ) ‘ A Model for the Probability of Nuclear War ’, Global Catastrophic Risk Institute Working Paper 18–1 . Available from: https://doi.org/10.2139/ssrn.3137081 [Accessed 31 July 2019].
Blinder, A. and Perlroth, N. ( 2018 ) ‘ A Cyberattack Hobbles Atlanta, and Security Experts Shudder ’, New York Times Available from: https://www.nytimes.com/2018/03/27/us/cyberattack-atlanta-ransomware.html
Bostrom, N. ( 2002 ) ‘ Existential Risks – Analyzing Human Extinction Scenarios and Related Hazards ’, Journal of Evolution and Technology , 9 ( 1 ), pp. 1 – 30 .
Bostrom, N. ( 2003 ) ‘ Are You Living in a Computer Simulation? ’, Philosophical Quarterly , 53 ( 211 ), pp. 243 – 55 . 10.1111/1467-9213.00309
Bostrom, N. ( 2006 ) ‘ What is a Singleton ’, Linguistic and Philosophical Investigations , 5 ( 2 ), pp. 48 – 54 .
Bostrom, N. ( 2008 ) ‘ Why I Want to be a Posthuman When I Grow Up ’, in B. Gordijn and R. Chadwick (eds), Medical Enhancement and Posthumanity . New York : Springer, pp. 107 – 37 .
Bostrom, N. ( 2011 ) ‘ Information Hazards: A Typology of Potential Harms from Knowledge ’, Review of Contemporary Philosophy , 10 ( 1 ), pp. 44 – 79 .
Bostrom, N. ( 2013 ) ‘ Existential Risk Prevention as Global Priority ’, Global Policy , 4 ( 1 ), pp. 15 – 31 . 10.1111/1758-5899.12002
Bostrom, N. and Ćirković, M. M. (eds) ( 2011 ) Global Catastrophic Risks . Oxford : Oxford University Press, pp. 1 – 29 .
Bostrom, N. , Douglas, T. and Sandberg, A. ( 2016 ) ‘ The Unilateralists Curse and the Case for a Principle of Conformity ’, Social Epistemology , 30 ( 4 ), pp. 350 – 71 . 10.1080/02691728.2015.1108373
Brooks, S. G. ( 1999 ) ‘ The Globalization of Production and the Changing Benefits of Conquest ’, Journal of Conflict Resolution , 43 ( 5 ), pp. 646 – 70 . 10.1177/0022002799043005006
Brower, M. ( 1989 ) ‘ Targeting Soviet Mobile Missiles: Prospects and Implications ’, Survival , 31 ( 5 ), pp. 433 – 45 . 10.1080/00396338908442487
Centre for Biosecurity and Biopreparedness ( 2017 ) An Efficient and Practical Approach to Biosecurity . Available from: https://www.biosecurity.dk/fileadmin/user_upload/PDF_FILER/Biosecurity_book/An_efficient_and_Practical_approach_to_Biosecurity_web1.pdf [Accessed 31 July 2019].
E. A. Colby and M. S. Gerson (eds.) ( 2013 ) Strategic Stability: Contending Interpretations . Carlisle Barracks : U.S. Army War College Press. 10.21236/ADA572928
Collingridge, D. ( 1980 ) The Social Control of Technology . New York : St. Martin’s Press.
Crafts, N. and Fearon, P. ( 2010 ) ‘ Lessons from the 1930s Great Depression ’, Oxford Review of Economic Policy , 26 ( 3 ), pp. 285 – 317 . 10.1093/oxrep/grq030
Danzig, R. , Sageman, M. , Leighton, T. , Hough, L. , Yuki, H. , Kotani, R. et al. ( 2011 ) Aum Shinrikyo: Insights Into How Terrorists Develop Biological and Chemical Weapons , 2nd Edn. Washington, D.C. : Center for a New American Security.
Day, E. H. , Hua, X. and Bromham, L. ( 2016 ) ‘ Is Specialization an Evolutionary Dead End? Testing for Differences in Speciation, Extinction and Trait Transition Rates across Diverse Phylogenies of Specialists and Generalists ’, Journal of Evolutionary Biology , 29 ( 6 ), pp. 1257 – 67 . 10.1111/jeb.12867
Diamond, J. ( 2005 ) Collapse: How Societies Choose to Fail or Succeed . New York : Penguin.
Drexler, K. E. ( 1986) Engines of Creation . New York : Anchor.
Duprex, W. P. , Fouchier, R. A. , Imperiale, M. J. , Lipsitch, M. and Relman, D. A. ( 2015 ) ‘ Gain-of-function Experiments: Time for a Real Debate ’, Nature Reviews Microbiology , 13 ( 1 ), pp. 58 – 64 . 10.1038/nrmicro3405
Ellsberg, D. ( 2017 ) The Doomsday Machine: Confessions of a Nuclear War Planner . New York : Bloomsbury Publishing USA.
Fauci, A. S. , Nabel, G. J. and Collins, F. S. ( 2011 ) ‘ A Flu Virus Risk Worth Taking .’ The Washington Post, Available from: https://www.washingtonpost.com/opinions/a-flu-virus-risk-worth-taking/2011/12/30/gIQAM9sNRP_story.html [Accessed 31 July 2019].
Federal Select Agent Program ( ( 2017 ) Suitability Assessment Program Guidance . Available from: https://www.selectagents.gov/resources/Suitability_Guidance.pdf [Accessed 31 July 2019].
Field, C. B. , Barros, V. R. , Mastrandrea, M. D. , Mach, K. J. , Abdrabo, M. A.-K. , Adger, W. N. et al. ( 2014 ) Climate Change 2014: Impacts, Adaptation, and Vulnerability. Working Group II Contribution to the Fifth Assessment Report of the Intergovernmental Panel on Climate Change . Cambridge : Cambridge University Press.
Ford, C. A. and Rosenberg, D. A. ( 2005 ) ‘ The Naval Intelligence Underpinnings of Reagan’s Maritime Strategy ’, Journal of Strategic Studies , 28 ( 2 ), pp. 379 – 409 . 10.1080/01402390500088627
Franck, J. , Hughes, D. J. , Nickson, J. J. , Rabinowitch, E. , Seaborg, G. T. , Stearns, J. C. and Szilard, L. ( 1945 ) ‘ Report of the Committee on Political and Social Problems’, Manhattan Project ‘Metallurgical Laboratory’, University of Chicago, U.S. National Archives, Record Group 77, Records of the Chief of Engineers, Manhattan Engineer District, Harrison-Bundy File, folder #76 .
Friedlingstein, P. , Andrew, R. M. , Rogelj, J. , Peters, G. P. , Canadell, J. G. , Knutti, R. et al. ( 2014 ) ‘ Persistent Growth of CO2 Emissions and Implications for Reaching Climate Targets ’, Nature Geoscience , 7 ( 10 ), pp. 709 – 15 . 10.1038/ngeo2248
Gartzke, E. ( 2007 ) ‘ The Capitalist Peace ’, American Journal of Political Science , 51 ( 1 ), pp. 166 – 91 . 10.1111/j.1540-5907.2007.00244.x
Gartzke, E. and Rohner, D. ( 2011 ) ‘ The Political Economy of Imperialism, Decolonization and Development ’, British Journal of Political Science , 41 ( 3 ), pp. 525 – 56 . 10.1017/S0007123410000232
Greenberg, A. ( 2012 ) This Machine Kills Secrets: How Wikileaks, Hacktivists, and Cypherpunks are Freeing the World’s Information . New York : Dutton.
Gronvall, G. K. ( 2013 ) H5n1: A Case Study for Dual-Use Research . New York : Council on Foreign Relations.
Holloway, D. ( 1994 ) Stalin and the Bomb: The Soviet Union and Atomic Energy, 1939–1956 . New Haven : Yale University Press.
Igic, B. and Busch, J. W. ( 2013 ) ‘ Is Self-fertilization an Evolutionary Dead End? ’, New Phytologist , 198 ( 2 ), pp. 386 – 97 . 10.1111/nph.12182
Inklaar, R. , de Jong,H., Bolt, J. and van Zanden, J. L. ( 2018) ‘ Rebasing ‘Maddison’: New Income Comparisons and the Shape of Long-run Economic Development ’, GGDC Research Memorandum GD-174 , Groningen: Groningen Growth and Development Center.
Jaffe, R. L. , Busza, W. , Wilczek, F. and Sandweiss, J. ( 2000 ) ‘ Review of Speculative ‘Disaster Scenarios’ at RHIC ’, Reviews of Modern Physics , 72 ( 4 ), pp. 1125 – 1140 . 10.1103/RevModPhys.72.1125
Jones, C. I. ( 2016 ) ‘ Life and Growth ’, Journal of Political Economy , 124 ( 2 ), pp. 539 – 78 . 10.1086/684750
Kemp, R. S. ( 2012 ) ‘SILEX and Proliferation’, Bulletin of the Atomic Scientists . Available from: https://thebulletin.org/2012/07/silex-andproliferation/ [Accessed 31 July 2019] .
Konopinski, E. J. , Marvin, C. and Teller, E. ( 1946 ) ‘Ignition of the Atmosphere with Nuclear Bombs’, Report LA-602 . Los Alamos, NM : Los Alamos Laboratory.
Lechner, S. ( 2017) ‘ Anarchy in International Relations’, Oxford Research Encyclopedia of International Studies [online], Oxford : Oxford University Press. Available from: https://oxfordre.com/internationalstudies/view/10.1093/acrefore/9780190846626.001.0001/acrefore-9780190846626-e-79?print=pdf [Accessed 31 July 2019].
Lewis, G. , Millet, P. , Sandberg, A. , Snyder-Beattie, A. , and Gronvall, G. ( 2019 ) ‘ Information Hazards in Biotechnology ’, Risk Analysis , 39 ( 5 ), pp. 975 – 81 . 10.1111/risa.13235
Liberman, P. ( 1993 ) ‘ The Spoils of Conquest ’, International Security , 18 ( 2 ), pp. 125 – 153 . 10.2307/2539099
Lieber, K. A. and Press, D. G. ( 2017 ) ‘ The New Era of Counterforce: Technological Change and the Future of Nuclear Deterrence ’, International Security , 41 ( 4 ), pp. 9 – 49 . 10.1162/ISEC_a_00273
Lundgren, C. ( 2013 ) ‘ What are the Odds? Assessing the Probability of a Nuclear War ’, The Nonproliferation Review , 20 ( 2 ), pp. 361 – 74 . 10.1080/10736700.2013.799828
Morland, H. ( 1979 ) ‘ The H-bomb Secret: How We Got It - Why We’re Telling It ’, The Progressive , 43 ( 11 ), pp. 3 – 12 .
Mowatt-Larssen, R. and Allison, G. T. ( 2010 ) Al Qaeda Weapons of Mass Destruction Threat: Hype or Reality? . Cambridge, MA : Belfer Center for Science and International Affairs.
Mueller, J. ( 2009 ) Atomic Obsession: Nuclear Alarmism from Hiroshima to al-Qaeda . Oxford: Oxford University Press.
Munz, P. , Hudea, I. , Imad, J. and Smith, R. J. ( 2009 ) ‘’ When Zombies Attack!: Mathematical Modelling of an Outbreak of Zombie Infection ’, in J.M. Tchuenche and C. Chiyaka (eds.), Infectious Disease Modelling, Research Progress . New York : Nova Science Publishers, pp. 133 – 50 .
Norris, R. S. and Kristensen, H. M. ( 2010 ) ‘ Global Nuclear Weapons Inventories, 1945–2010 ’, Bulletin of the Atomic Scientists , 66 ( 4 ), pp. 77 – 83 . 10.2968/066004008
Olson, K. B. ( 1999 ) ‘ Aum Shinrikyo: Once and Future Threat? ’, Emerging Infectious Diseases , 5 ( 4 ), pp. 413 – 16 . 10.3201/eid0504.990409
Ord, T. , Hillerbrand, R. and Sandberg, A. ( 2010 ) ‘ Probing the Improbable: Methodological Challenges for Risks with Low Probabilities and High Stakes ’, Journal of Risk Research , 13 ( 2 ), pp. 191 – 205 . 10.1080/13669870903126267
Parfit, D. ( 1987 ) Reasons and Persons. , Oxford : Clarendon Press.
Parker, E. R. and Jacobs, L. G. ( 2003 ) ‘ Government Controls of Information and Scientific Inquiry ’, Biosecurity and Bioterrorism: Biodefense Strategy, Practice, and Science , 1 ( 2 ), pp. 83 – 95 . 10.1089/153871303766275754
Persson, I. and Savulescu, J. ( 2012 ) Unfit for the Future: The Need for Moral Enhancement . Oxford : Oxford University Press. 10.1093/acprof:oso/9780199653645.001.0001
Re, R. M. ( 2016) ‘Imagining Perfect Surveillance .’ UCLA Law Review Discourse , 64 ( 1 ), pp. 264 – 92 .
Rhodes, R. ( 1986 ) The Making of the Atomic Bomb . London : Simon and Schuster.
Sagan, S. D. ( 1995 ) The Limits of Safety: Organizations, Accidents, and Nuclear Weapons . Princeton, NJ : Princeton University Press.
Sagan, S. D. and Waltz, K. N. ( 2012 ) The Spread of Nuclear Weapons: An Enduring Debate . New York : WW Norton.
Sanchez, J. ( 2013 ) ‘ A Reply to Epstein and Pilon on NSA’s Metadata Program ’, Cato at Liberty. Available from: https://www.cato.org/blog/reply-epstein-pilon-nsas-metadata-program [Accessed 31 July 2019].
Schelling, T. C. ( 1960 ) The Strategy of Conflict . Cambridge, MA : Harvard University Press.
Schlosser, E. ( 2013 ) Command and Control: Nuclear Weapons, the Damascus Accident, and the Illusion of Safety . New York : Penguin Press.
Schwartz, S. I. ( 1998 ) Atomic Audit: The Costs and Consequences of US Nuclear Weapons Since 1940 . Washington, D.C. : Brookings Institution Press.
Sharp, P. A. ( 2005 ) ‘ 1918 Flu and Responsible Science ’, Science , 310 ( 5745 ), p. 17 . 10.1126/science.310.5745.17
Shindell, D. T. ( 2014 ) ‘ Inhomogeneous Forcing and Transient Climate Sensitivity ’, Nature Climate Change , 4 ( 4 ), pp. 274 – 77 . 10.1038/nclimate2136
Sokoski, H. D. and Tertrais, B. ( 2013 ) Nuclear Weapons Security Crisis: What Does History Teach? . Washington, D.C. : Nonproliferation Policy Education Center. 10.21236/ADA583971
Stevenson, J. ( 2008 ) Thinking Beyond the Unthinkable: Harnessing Doom from the Cold War to the War on Terror . New York : Viking.
Stocker, T. F. , Qin, D. , Plattner, G.-K. , Tignor, M. M. B. , Allen, S. K. , Boschung, J. et al. ( 2014 ) Climate Change 2013: The Physical Science Basis. Contribution of Working Group I to the Fifth Assessment Report of the Intergovernmental Panel on Climate Change . New York : Cambridge University Press.
Swire, P. ( 2015 ) The Declining Half-Life of Secrets and the Future of Signals Intelligence . Washington, D.C. : New America.
Tegmark, M. and Bostrom, N. ( 2005 ) ‘ Astrophysics: Is a Doomsday Catastrophe Likely? ’, Nature , 438 ( 7069 ), p. 754 . 10.1038/438754a
Torres, P. ( 2018) ‘ Superintelligence and the Future of Governance: On Prioritizing the Control Problem at the End of History .’ in R. Yampolskiy (ed.), Artificial Intelligence Safety and Security . Milton : Chapman and Hall/CRC, pp. 357 – 74 .

もちろん、壺の比喩には重要な限界がある。そのいくつかは後で論じる。 ↩
人間以外の動物の境遇に対する純効果は評価が難しい。特に、現代の工場式畜産では大量の動物が不適切に扱われている。 ↩
ただし、自らの技術的慣行によって少なくとも部分的に滅亡へ至った可能性のある「文化」や地域人口の例はある。Diamond（2005）によれば、イースター島（ラパ・ヌイ）の人々やメサ・ヴェルデの祖先プエブロ人（アナサジ）は、自ら森林を伐採し、その後に環境崩壊を経験した。 ↩ ↩²
進化的適応を「発明」とみなすなら、他の生物種にも例が見つかるかもしれない。たとえば、専門化――狭い生態的ニッチへの適応によって、より広い環境で生きるために必要な形質を不可逆的に失うこと――のような有利な進化変化（Day et al., 2016）、近親交配的な社会システムの出現（社会性クモなど；Aviles and Purcell, 2012）、自家受精への移行（他家受精から自家受精へ移行する顕花植物など；Igic and Busch, 2013）が、種や個体群の絶滅につながる進化的袋小路を生みうることを論じる文献がある。 ↩
計画に関与した科学者の大半は、原子力を国際管理下へ置くバルーク案のような提案を支持したが、この時点では意思決定権をほとんど持っていなかった。 ↩
もちろん「震える指」は比喩である。ただし、指揮統制権限が広く委任されていたことを考えれば、この比喩では各陣営に震える指が一本以上あったと考えるべきかもしれない（Ellsberg, 2017; Schlosser, 2013）。 ↩
ただし、一つの国家内部では、核攻撃を開始する権限を与えられた主体の数はかなり多い場合がある。Ellsberg（2017）は、少なくとも冷戦のかなりの期間、米国の指揮系統では核兵器発射権限が複数段階下まで委任されていたと主張する。正式な権限を持たなくても、物理的には発射可能な将校の数はさらに多かったはずである。ソ連では、1991年8月のミハイル・ゴルバチョフに対するクーデターのある時点で、ソ連の3つの「チェゲト」（核のブリーフケース）がすべてクーデター指導者の手中にあった（Sokoski and Tertrais, 2013; Stevenson, 2008）。 ↩
「情報ハザード（information hazard）」とは、真実の情報が拡散することで生じるリスクをいう。たとえば、その情報によって一部の行為主体が害を与えられるようになる場合である。情報災害一般については Bostrom（2011）を参照。 ↩
公開性には、より多くの人が対策研究に参加できるという利点がある、と彼らは主張するかもしれない（インフルエンザウイルスの機能獲得研究をめぐる議論を参照；Duprex et al., 2015; Fauci et al., 2011; Sharp, 2005）。また政府が秘密情報を根拠に強権的措置を正当化し続ける限り、市民に対して危険なほど説明責任を欠く、とも主張できる。同様の信念から、米国の雑誌 The Progressive は1970年代末、米エネルギー省から法的異議を申し立てられながらも水素爆弾に関する秘密を公表する決定をした。記事の著者 Howard Morland は、秘密主義そのもの、とりわけ少数の指定された「専門家」が特定テーマを立入禁止にできる権力は、核関連の体制側が従来どおり活動し、恐るべき兵器の生産を保護・永続化できる政治風土に寄与する、と論じた（Morland, 1979, p. 3）。 ↩
一般に、複数の主体がそれぞれ独立の確率で一方的行動を取りうる場合、主体数が増えるほど、その行動が誰かによって実行される確率は1へ近づく。共通の目標を持つ主体が、接した証拠や推論のランダムな違いによって判断を異にする場合、この現象は「一方的行為者の呪い（unilateralist’s curse）」を生む（Bostrom et al., 2016）。十分多数の主体が単独で決定できる立場にいるなら、核兵器設計の公開のような非常に愚かな決定でさえ、誰かによって実行される可能性が高くなる。 ↩
今日の「ブラックハット」ハッカーによる悪意あるサイバー攻撃にも、同じ動機の多くが見られる。たとえば恐喝手段として、匿名の攻撃者が都市の重要サービス提供能力を奪う意思を示した例がある（Blinder and Perlroth, 2018）。経済的損害を与えるサイバー攻撃の動機には、政治的イデオロギーや好奇心も含まれるように見える。現代のサイバー攻撃は核兵器攻撃より劇的に破壊力が低いため、核兵器を使用したり使用を威嚇したりする意思のある主体集合は、悪意あるハッキングを行う主体集合より確実に小さい。それでも、両者に関係する社会的・心理的要因は似ているかもしれない。 ↩
この概念は、国際関係論における「国際的無政府状態」とは異なる。ここでの概念は、無政府性には程度があることを強調し、国際関係論の各学派に対して比較的中立であることを意図している（cf. Lechner, 2017）。より重要なのは、「上部」だけでなく「下部」におけるガバナンス欠如も含む点である。つまり半無政府的なデフォルト状態とは、現在の世界秩序では、グローバル・ガバナンスや国家行動を完全に制約し地球規模の協調問題を解決する十分に有効な手段がないため国際レベルに一定の無政府性があるだけでなく、個人その他の国家以下の主体のレベルにも一定の無政府性がある、という事実を指す。高度に機能する国家でさえ、現在は小規模主体の行動を完全に規制できない。たとえば多くの国家が領域内の強姦や殺人を防ごうとしているにもかかわらず、それらはゼロではない頻度で発生し続ける。個人がはるかに強い破壊能力を得たなら、この「下部の無政府性」の帰結は桁違いに増幅されうる。 ↩
比較のために言えば、現在の世界人口の15％が死亡するという規模は、世界人口比で見た第一次世界大戦、スペイン風邪、第二次世界大戦の被害を合計したものの2倍を超える（絶対数では差はさらに大きい）。世界GDPが50％低下することは、記録上最大の落ち込みを上回る。大恐慌でも世界GDPは推計15％以下しか減らず、数年以内におおむね回復した。ただし、一部モデルは貿易への長期的な抑制効果が残り、世界経済を慢性的に損なった可能性を示す（Bolt et al., 2018; Crafts and Fearon, 2010）。 ↩
本論文は技術的脆弱性に焦点を当てる。人類文明の進歩と独立して生じる自然的脆弱性もありうる。たとえば将来、地球へ激しい隕石群が衝突することが決まっているような場合である。一部の自然的脆弱性は、技術能力が一定の閾値を超えると安定化できる（たとえば隕石を偏向する能力）。おそらく技術的脆弱性のリスクは自然的脆弱性より大きい。ただし、閾値を実存的破局ではなく文明壊滅に置く場合、この主張はそれほど明白ではない（Bostrom, 2013; Bostrom and Ćirković, 2011）。ただし、「技術的脆弱性が支配的」というこの主張には大きな但し書きがある。それは、世界が価値実現の潜在力をかなりの速度で流出させているのではないことを前提とする。もし逆に、ここで「出血する世界仮説（bleeding world hypothesis）」と呼べるものが真である観点から評価するなら、自然的（非人間的）プロセスから生じるデフォルトの損失が計算上支配的になりうる。たとえば次の場合、この仮説が成り立つかもしれない。（1）評価者が現在生きる人々（自分や家族を含む）を非常に重視し、彼らが老化などによって相当な速度で自然死しており、人生を楽しみ続ける能力と、技術的成熟時に可能になるはるかに高い福祉を得る機会の両方を失っている。（2）高度技術なら回避できる苦痛が現在発生し続け、負の効用が蓄積していることを評価者が強く問題視する。（3）文明破壊の外生的な発生率が相当程度ある（自然災害、私たちの活動と無関係なランダムなシミュレーション終了など；Bostrom, 2003）ため、時間が経過するほど、技術的潜在力を最大化する前に破壊される累積リスクを負う。（4）現在十分理解していない物理学を使い、価値創造を急速に増殖させるプロセス（たとえば圧倒的に幸福な住民を持つ子宇宙を指数関数的に連鎖生成すること）を開始でき、評価者がその規模に敏感な形で価値を置く。（5）評価者が重視する事柄へ大きな影響力を持つ別の超知性的集団が、私たちがある進歩段階へ到達することを待ち望んでいるが、その価値評価が時間とともに急速に減衰する。 ↩
深刻な技術的後退の後でも世界が脆弱なままの場合はある。たとえば文明が新しい核兵器を製造できない段階まで後退しても、既製の核兵器が多数残っている場合である。 ↩
元の「簡単な核兵器」シナリオで重要なのは、一回の核使用に必要なのが一人または小集団の努力だけだという点である。そのシナリオで文明全体を壊滅させるには数百人の行為主体の合計的努力が必要かもしれない――一都市・一都市圏を破壊することと文明を破壊することは同じではないからだ――しかし、その数百人は互いに協調する必要がない。これによって終末論的残余が作用する。 ↩
Baum et al.（2018）は、核事故と核兵器使用が検討された事例の最新リストを提供する。Sagan（1995）は冷戦を通じた危険な慣行をより詳しく記述する。Schlosser（2013）は、特にタイタンII型ICBMが非核爆発を起こした事件を中心に、事故寸前の事例を検討する。 ↩
この結果を回避するうえでどの程度の幸運が必要だったかを学術的に評価した試みは少ないが、ニアミス事例のデータセットに基づく近年の推定の一つは、米国とソ連が核戦争を回避する確率を50％未満と置いている（Lundgren, 2013）。これは、キューバ危機が振り返れば核戦争につながる確率は2分の1から3分の1だったとの信念を示したジョン・F・ケネディ大統領など、核危機の内部事情を知る一部当局者の見方とも整合する。一方、Kenneth Waltz や John Mueller など著名な国際安全保障研究者の中には、核戦争の確率は一貫して非常に低かったと考える者もいる（Mueller, 2009; Sagan and Waltz, 2012）。 ↩
ただし、その認識自体が誤っていた可能性もある。元米太平洋艦隊司令官によれば、冷戦中には対潜監視が極めて有効になった時期があり、米国はソ連潜水艦を艦番号によって識別し、その総数を把握したうえで、各艦が港内にいるか海上にいるかを正確に把握できたという。そのため、ほぼあらゆる状況で、ソ連の戦略弾道ミサイル原潜戦力へ極めて短時間で深刻な打撃を与える能力があると感じていた、とされる（Ford and Rosenberg, 2005, p. 399）。 ↩
実際、遠隔センシング、データ処理、AI、ドローン、核運搬システムの進歩は現在、核抑止を脅かしつつあり、特に比較的小規模で高度化していない核戦力を持つ国家では問題となる（Lieber and Press, 2017）。 ↩
もちろん本当に無傷というわけではない。放射性降下物は同盟国や一定程度は自国にも影響し、経済的余波は市場を混乱させ世界恐慌を招くだろう。それでも、攻撃目標になるよりははるかに望ましい（特に核の冬を度外視すれば）。 ↩
別の可能性として、政治的利益もありうる。たとえば核兵器を実際に使用する意思を示した後、第三国へ核による威圧を行う能力が増す場合である。 ↩
Brooks（1999）、Gartzke（2007）、Gartzke and Rohner（2011）。異論については Liberman（1993）を参照。 ↩
地球の気候が二酸化炭素にそれほど敏感だったなら、人類文明はそもそも出現できなかった可能性が高い。過去のCO₂濃度は、現在のおよそ410 ppmに対しカンブリア紀には4,000 ppmであり、そのような高感度なら複雑生命の進化が深刻に妨げられていたはずだからである。より現実に近い反実仮想として、自然界では大量に存在しないが人類文明が生産する化合物、たとえばクロロフルオロカーボン（CFC）を考える方がよいかもしれない。CFCはオゾン層破壊作用のためモントリオール議定書によって段階的に廃止されたが、単位重量当たりでは非常に強力な温室効果ガスでもある。そこで、CFCが実際よりはるかに大規模に産業上有用であり、同時に地球気候へ劇的で遅延した累積効果を与える世界を想定できる。 ↩
オッペンハイマーが依頼した報告書は、N + N 反応が伝播すると期待するのは合理的でなく、無制限の伝播はさらにありそうにないが、議論の複雑さと十分な実験的基盤の欠如から、この問題について追加研究を行うことは非常に望ましい、と結論している（Konopinski et al., 1946）。 ↩
タイプ0はタイプ1の極限ケースとみなすこともできる。すなわち、文明壊滅のために悪意ある主体を一人も必要とせず、新技術へ通常程度の検討を行った後でそれを使用しようとする、普通に責任ある主体だけで壊滅が生じる脆弱性である。 ↩
10年待つのであれば、なぜ永久に待たないのか、という問題もある。 ↩
実際、ドイツ軍需相アルベルト・シュペーアの記録によれば、ヴェルナー・ハイゼンベルクは制御不能な連鎖反応の可能性をヒトラーと議論し、それがヒトラーの原爆開発への熱意をさらに弱めた可能性がある（Rhodes, 1986）。 ↩
主要行為主体が文明に望ましくないリスクを作り出す行動を取る戦略的インセンティブへ直面する、この種のタイプ2a脆弱性の現実的バージョンは、機械超知能の開発競争で生じうる。不利な状況では、競争力学により先行開発者が「安全になる前に自分たちのAIを稼働させる」か、「より大きなリスクを取る意思のある別の開発者へ首位を譲る」かの選択を迫られる可能性がある（Armstrong et al., 2016）。 ↩
成長を促すイノベーションが寿命を短くするイノベーションを導入するリスクも伴う複数のモデルで、合理的計画者が消費成長と安全性をどう比較衡量するかについては Jones（2016）を参照。 ↩
「驚きのストレンジレット」シナリオでさえ、程度は「キャッスル・ブラボー／トリニティ実験」より小さいとしても、協調問題によって状況が複雑化する可能性がある。科学研究費の配分を決める人々は、その資金を提供する一般市民とは異なる優先順位を持つかもしれない。たとえば、リスクを低く保つことや大衆へ短期的物質的利益を与えることより、知的好奇心を満たすことへ相対的に高い価値を置く可能性がある。するとプリンシパル＝エージェント問題によって、協調問題がなければ得られたはずの額より多くの資金が粒子加速器へ向かうかもしれない。国家間の威信競争――これも一部は別の協調失敗とみなせる――も、基礎科学一般、とりわけ高エネルギー物理学への資金提供を促す要因かもしれない。 ↩
壊滅が起きる時代に生きる人々は、それが自分たちの生まれる前に起きて、すべて終わっており、自分は影響を受けない方がよかったと望むかもしれない。しかしこの選好は非同一性問題に直面する。文明壊滅が彼らの受胎前に起きていたなら、ほぼ確実にその人々自身が存在しなかったからである（Parfit, 1987）。 ↩
より広く言えば、以前なら十分な資源を持つ専門研究所でしかできなかったことを、アマチュアのDIYバイオハッカーが容易に行えるようにするバイオ技術ツール・技法の多くの改良も、この観点から問題視される。DIYバイオハッキングの利益（暗闇で光る観葉植物？）が、比較的説明責任の弱いより多くの主体へ、バイオエンジニアリングを潜在的に危険・悪意ある目的へ使う能力を拡散するだけの価値を持つかは、非常に疑わしい。 ↩
「自分が開発しなくても誰かがする。だから自分がやっても同じだ」という反論は、ある科学者・開発者が新発見の期待時期へ少なくとも限界的な影響を持つことを見落としがちである。もし本当にその科学者の努力が発見・発明の時期へ何の影響も与えないなら、その努力自体が時間と資源の無駄であり、その理由で中止すべきだろう。技術能力の利用可能時期がわずかにずれるだけ（たとえば1か月）でも、一部シナリオでは重要になりうる。たとえば、有効な防御が開発・配備されるまで危険技術が毎月大きなリスクを課す場合である。 ↩
「技術的成熟（technological maturity）」とは、十分な時間をかければ実現可能な最大値に近い経済生産性と自然への制御を可能にする能力へ到達することをいう（Bostrom, 2013）。 ↩
生命科学におけるアクセス管理は、2001年の「Amerithrax」事件以降、重要性を増している。米国では、危険な病原体を扱う機関は、アクセス権を持つ従業員の適格性を評価する義務があり、連邦機関による審査も受ける（Federal Select Agent Program, 2017）。同様の方法は、バイオセキュリティ基盤を整備する国にも推奨されている（Centre for Biosecurity and Biopreparedness, 2017）。現行制度には二つの欠点がある。第一に、世界的協調がないため、悪意ある主体が規制のより緩い法域を選び回ることができる。第二に、重点が依然として生物材料（特定微生物のサンプルなど）へのアクセスに置かれている一方、安全保障上の主要な懸念対象はますます生物学的情報と技術へ移っている（Lewis et al., 2019）。 ↩
Xが1％をかなり下回るという値は、大多数の人が世界的慈善へ寄付する額の小ささと整合するように思える。ただし、作為と不作為の区別によって、人々は「世界的善へ貢献する」ためよりも、「世界的悪へ加担しない」ためなら、かなり大きな個人的犠牲を受け入れる可能性がある。 ↩
ただし、選好分布の肯定的変化は、それだけでは一部個人に破壊的選択肢を選ばせないほど強くなく、直接には破局を回避できない場合でも、重要な間接効果を持ちうる。たとえば多数の人が少しだけ他者配慮的になれば、社会がより協力的な均衡へ移り、後述するようなガバナンスに基づくより強力な安定化手段を支持するかもしれない（「道徳的強化」について cf. Persson and Savulescu, 2012）。 ↩
世界レベルでは、各国の機密指定制度と情報統制制度がパッチワーク状に存在する。通常それらは、軍事・諜報上の秘密を守る、あるいは体制内部者に不都合な事実が公衆へ暴露されるのを防ぐために設計されており、科学的・技術的洞察の拡散を規制するためのものではない。ただし、特に国家安全保障へ直接関係する技術情報には例外がある。たとえば米国の1951年発明秘密法は、防衛機関に対し、特許付与を阻止し、発明を秘密にするよう命令する権限を与える。ただし、発明者が特許保護を求めなければこの制約の対象にはならない（Parker and Jacobs, 2003）。核関連発明には1946年原子力法の「生まれながらの秘密（born secret）」規定が適用され、核兵器の設計・開発・製造に関する情報は、出所に関係なく、正式に機密解除されない限り機密とされる（Parker and Jacobs, 2003）。輸出管理など他の法的手段も科学情報の流れを抑えるため使われてきた。1970〜80年代に開発された強力な暗号プロトコルの公開・利用を阻止しようとした複数の米政府機関の（失敗した）努力は、顕著な例である（Banisar, 1999）。科学界による自主的自己検閲も、ごくまれに試みられた。レオ・シラードは、マンハッタン計画開始と公式秘密指定以前に、核分裂の一部について発表を控えるよう物理学者仲間を説得することに部分的に成功した。しかし、自分の研究を学術誌へ載せたい科学者や、開放性を科学の神聖な価値と考える科学者から反対された。より最近では、鳥インフルエンザ研究をめぐって科学的自己検閲が試みられた（Gronvall, 2013）。この事例では、特定の結果を公開すべきかどうかを公開の場で論争したことで、本来なら反対なく公開されていた場合よりその結果へ注目が集まり、いわゆる「ストライサンド効果」が生じたため、努力は無効だっただけでなく逆効果だった可能性もある。全体として、科学的自己検閲の試みはかなり中途半端で効果が薄かったように見える。（「ように見える」と言うのは、検閲が試みられたことが公知となった事例の経過に基づくからである。本当に成功した科学情報抑制の試みは、公的記録に現れない可能性がある。）たとえ少数の学術誌編集者が、情報災害を生む論文の扱いについて基準へ合意できたとしても、不満を持つ著者がより基準の低い別誌へ投稿したり、自分のウェブページで公表したりすることを止められない。大半の科学共同体には、情報災害へ有効に対処するために必要な文化、インセンティブ、安全保障・リスク評価の専門知識、制度的執行メカニズムのいずれも欠けている。科学のエートスはむしろこうである――壺の中の球はすべて、できるだけ早く取り出し、直ちに世界中の人へ見せなければならない。それが多いほど進歩は大きく、それに貢献するほど優れた科学者である。黒玉の可能性は考慮に入っていない。 ↩
いずれにせよ、一般的に私たちが本当にもっと慎重になりたいのかは明らかでない。さまざまな評価観点から、極端な地球規模の悪影響がありうる状況に限って、より慎重になることを促すのは望ましいかもしれない。しかし、規範的に過剰なリスクテイクの原因が協調問題にあるなら、自発的な慎重さや自制を訴えてもあまり効果がない。そのような協調問題とは、リスクを取る者が私的利益（利益や威信など）を得る一方で、地球規模のリスクという外部性を生み出す状況を指す。その場合、解決にはグローバル・ガバナンス能力の強化が必要となりうる。 ↩
リスク評価作業そのものが情報災害を生成し、リスク水準を高める可能性もある（Bostrom, 2011）。 ↩
オーウェル的に聞こえる名称はもちろん意図的であり、そのようなシステムがどれほど幅広い用途へ使われうるかを思い出させるためである。 ↩
実装の細部は説明のための例にすぎない。たとえば首飾りの代わりに複合現実メガネでも同等の機能を提供できる。監視機能とともに利用者へ多くの利点を提供する版も設計できる。理論上、一部の監視をクラウドソーシングすることも可能である。AIが不審活動を検出すると映像を匿名化し、無作為に選ばれた100人の市民へ送る。その市民は映像を見て追加調査に値するか投票する義務を負い、10％以上がそう判断すれば、匿名化されていない映像が当局へ送られる、といった方式である。 ↩
より侵襲的な監視をもっともらしく推進する「利便性」の例として、さまざまな消費者向けアプリ、経済的に有用または収益性のあるモニタリング（広告ターゲティング、価格差別など）、児童虐待や小規模テロなど世論の強い怒りを引き起こす事象を防止する能力、そして特に権威主義体制では政治的反対を抑圧する能力がある。 ↩
より穏健な政策なら、そのような軽度の疑いを受けた人々について、破壊的効果を生み出すのに必要な設備・材料へのアクセスだけを禁止するかもしれない。それで十分かどうかはシナリオの詳細に依存する。 ↩
このシナリオでは、ハイテク・パノプティコンを部分的に実施して拘禁を代替し、「特に懸念の高い個人」の長いリストに載る人だけに自由タグ装着を義務づけることも考えられる。 ↩
もちろん理論上は、これら二つの対策のどちらかが潜在的黒玉に対する文明の総脆弱性を下げるのではなく高める可能性もある。たとえば十分な地球規模協調が極めて有効な国内取り締まりを実現しにくくしたり、その逆が起きたりする場合である。強い予防的取り締まりやグローバル・ガバナンスの条件下で生じやすい体制の性格も、現状とは異なり、一部の文明的脆弱性を増減させうる。たとえば、監視能力を持つ世界指導者は、タイプ0脆弱性を高める愚かな決定を、現状より取りやすいかもしれないし、取りにくいかもしれない。 ↩
タイプ2a脆弱性の特殊ケースとして、複数の体制が自国民へ害を加えることで、合計として文明壊滅の閾値に達する場合がある。たとえば政治指導者について極端に悲観的な見方を取り、権力維持や資源獲得に役立つなら自国民の極めて大きな割合を殺す意思があると考えるとしよう。今日なら、そのような大量殺戮は反乱を引き起こし経済を崩壊させるため、通常は指導者自身にとって逆効果である。しかし、技術環境が変わればこの制約が弱まることは想像できる。たとえば高度に中央集権化されたAI警察があらゆる抵抗を確実に抑圧し、ロボットが人間労働者を容易に代替できる場合である。（幸い、そのような技術が可能になる多くのシナリオでは、支配者の大量殺戮へのインセンティブ自体も弱まると思われる。想定されたAI警察があれば人口の大部分を殺さずとも権力を維持できるだろうし、経済自動化は富を大幅に増やすため、国民所得のより小さな割合だけで全国民へ高い生活水準を提供できるからである。） ↩
たとえば監視をめぐる議論は、個人のプライバシー利益と、小規模テロ攻撃からの安全を求める公共的需要とのトレードオフへ焦点を当てることが多い。（9・11攻撃のように通常は大規模とみなされるテロ事件でさえ、本論文の尺度では無視できるほど小規模である。） ↩
Schwartz（1998）によれば、冷戦期の核軍拡競争は米国の支出だけで5.8兆ドル（1996年ドル）を要し、2018年ドル換算で9.3兆ドルに相当する。この推計は比較的包括的で、核燃料サイクル、兵器、運搬システム、廃止措置などを含む。他国の支出も加えれば、人類文明は核兵器で自らを破壊する能力の開発・維持に10兆ドルを大幅に上回る額を費やしたと結論できる。支出の大半は、世界GDPが現在よりかなり小さかった時代に行われた。非核軍事能力にはさらに大きな額が費やされた（米国だけで2018年ドル換算20兆ドル超）。核支出によって非核軍事支出が減ったため、収支では節約になった可能性もある。核・非核を問わず軍事支出は、人類文明が地球規模の協調問題を解決できていないことを反映している。 ↩
「完全に」ではなく「大幅に」としたのは、すべての核兵器を解体しても、新しいものが製造される可能性があるからである。 ↩
全面核軍縮の合意には、戦略的安定性を損なわないため、通常戦力その他の問題についても一定の規定が必要になるかもしれない。 ↩
より大きな参照クラスを得るため、他の歴史例を見ることもできる。地球温暖化対策に関する世界のこれまでの取り組みは、さらに難しい地球規模の集合行為問題へ迅速に対処できるという自信を与えるものではない。一方、オゾン層破壊問題はモントリオール議定書によって成功裏に対処された。 ↩
一方的強制はより速いかもしれないが、ある主体が世界の残り全体へ単独で意思を強制できる能力を持つ必要がある。一主体がそれほど圧倒的な力の優位を持つなら、事実上の（弱い、または潜在的な）グローバル・ガバナンスがすでに存在していると考えられる。 ↩
たとえば善意のプロジェクトでも実装段階で本来の目的から逸脱させられるかもしれないし、通常運用を一定期間行って初めて明らかになるバグや制度設計上の欠陥があるかもしれない。システム自体が意図どおり正確に機能し、腐敗しないとしても、同じ民主的安全装置を持たない別の監視システムの構築を刺激する可能性がある。 ↩

脆弱な世界仮説

要旨

政策上の含意

発明の可能性を収めた壺の中に、黒玉はあるのか？

思考実験：「簡単な核兵器」

脆弱な世界仮説

脆弱性の類型

タイプ1（「簡単な核兵器」）

タイプ2a（「安全な先制攻撃」）

タイプ2b（「より悪い地球温暖化」）

タイプ0（「驚きのストレンジレット」）

安定化を達成するには

技術的放棄

選好の変更

いくつかの具体的対策とその限界

ガバナンスの空白

予防的取り締まり

グローバル・ガバナンス

議論

結論

謝辞

著者略歴

参考文献

Footnotes