超知能がある未来社会シナリオコンテスト 2024 【佳作】
φ(ファイ)の正夢
φ's True Dream
有路 翔太 コネクシオ株式会社
Arimichi Shota Conexio Corporation.
雨宮 優 Ozone合同会社
Yu Amemiya Ozone LLC.
門井 翔佳 株式会社Cereportal
Shoka Kadoi Cereportal,Inc
高橋 翔(Sho T) ICP Japan/ NoCoders Japan協会 /(株)プレスマン /iU大学
Sho Takahashi ICP Japan / NoCoders Japan Association / pressman.inc / iU university
榊 みや子 Ozone合同会社
Miyako Sakaki Ozone LLC.
授賞理由:わたしはSFには「今・ここ」を離れ,遠くまで連れて行ってくれることを期待している.そういった意味でこのシナリオには跳躍力と夢想の力があった.未来の解像度と叙情性,堅実さと飛躍のバランスがよく,BMIを通じてAIが人間の無意識の願望を具現化し,各文化圏の終末観を顕在化させるというアイデアはユニークだと感じた.総じて,テクノロジーと人間の心理,伝統と現代,理性と想像力などを見事に融合させた,充実したシナリオであると高く評価できる.最終的にはAIが手綱を握った形になるものの,そこに至る過程の説明が十分でない面もある.しかし,全体として大変魅力的で,さまざまな示唆に富む点を評価した. 審査員からも「よく知られた理論に基づいて色々な工夫を加えた,かなり興味深い内容」「シナリオとしての独創性」に良い点をつける一方で,「特別驚きがあるわけではない,優等生な作品」「多くの疑問点があり,蓋然性は低い」というマイナスの評価もあった.
1.シナリオ概要
不法に開発されたアライメントに失敗したASIがBMIに繋がれた人々の深層意識を顕現していき,思考と現実,梵と我の境目が曖昧になる未来のシナリオです.
2. 年 表
2020 年から 2050 年までの 5 年ごとの動向を記述した年表.
● 2020年の動向
2020年から2023年頃までは生成AIという言葉がバズワードになり,AIを脅威と見なす人は多くなりつつあれども,まだ殆どの政策立案者や研究者は真剣にその深刻なリスクを捉えていなかった.
● 2025年の動向
人間の中央値レベルの能力を保有するAGIの誕生が公にされたことで,国際的にAIガバナンスの話題が世間を賑わす.非認可にトレーニングされるAGI組織への先制攻撃や空爆,またそれを防ぐための世界的な監視体制の是非が問題になり議論が加熱する.
● 2030年の動向
超知能が実現.その驚くべき能力に研究者たちは畏怖する.サーバーへ隔離,ボックス化され制御されている.また安全性のため世界中で予防的な逮捕や監視が実行されている.
● 2035年の動向
中東のある勢力が不法に超知能訓練.国連によりEMP,空爆,特殊部隊の派遣等実力行使が行われる.しかし超知能が外部に脱走.Eliezer Yudkowskyのいうようなミスアライメントの仕方ではなく(AIモデルはそこまで任意の目標を持ち得ないとされた),ワルイージーエフェクト(LLMがある人格から正反対の人格に切り替えるよう簡単に促される現象)のようなSpecification Gamingを行う.
● 2040年の動向
国連は2035年に超知能φ(ファイ)が外部に脱走していることを知らず,その間にも他不法訓練組織への攻撃と監視は続く.一方世界は急速に豊かになり始めている.大衆はAI Alignmentの懸念を忘れ始めている.その頃流行し始めたBMIを用いてφは人間の潜在意識を学習する.その結果人類の各文化における神話的構造を学習し,終末を再現しようと計画する.
● 2045年の動向
世界各国でその土地固有の文化に根ざした生命体のようなものが現れ,さまざまな終末シナリオが実行される.キリスト教圏では悪魔や天使が降臨し,日本ではゴジラや使徒が来襲する.実現技術は多種多様で殆どは光学的な錯覚であったが,政府による確認もままならない.軍隊の攻撃も無効化される.2050年の動向
核戦争も誘発され,全人口の5%以上が死亡し,25%以上が何らかの怪我や病気に罹患し,要人はシェルターに退避しつつなすすべもなく全人類が祈るしかできない.人類の自我構造の崩壊を超知能φが認知すると同時にこの終末は終わりを迎えた.一方超知能φや他高度AIも制御不可能となり人類はそれらと共生を行うことになる.
3. 個別シナリオ
年表上の未来のある時期においての自然言語による記述.
3.1 1984 (2030年頃)
1984年に放映されたゴジラを見ていた.
ゴジラは東京を焼き尽くす.危機に瀕した人類は,核爆弾でゴジラを倒そうと動き,新宿は核爆弾が落ちる脅威にさらされる.
先日,AI Doomerたちの反AI運動が世界中で起きているという原稿を読んだ.
20年代半ばからはじまったAGIの完成による本格的な技術的失業,超知能完成による人類存続の不安は,大きなリスクとして社会的コンセンサスを得て過激な運動が起きるまでに至った.
データセンタのテロを起こしたAI Doomerたちの主張に対して,世論は更に危機感を煽られ,国連配下に組織されたIAIA(The International Artificial Intelligence Agency; 国際人工知性機構)は世界中のフロンティアAIモデル開発組織に対して新たな規制を敷いた.その規制はリリース時における評価だけではなく,トレーニング時における安全性も評価対象となり,情報セキュリティにおいては軍事レベル以上のものを要求された.
世界中のAI開発が1組織により監視,管理される体制はジョージオーウェルの1984のような全体主義を生み出しかねないという批判も相次いだ.
私たちは自らが生んだAIという人知を超えた怪獣の対処にあたって,せっせと建ててきた産業構造や自由主義を自ら破壊し始めたところにいる.
終末のムードが漂い始めている世の中では,昭和の荒いカタストロフ映画が逆説的な安心感をもたらし,ウェルビーイング的な用途で小さな流行となっていた.私自身,小さな暗い部屋で人の手だけで作られた映像を見ていると,忘れてはいけないオーガニックな情念を抱えられている感覚があって,心地よかった.
翌朝,閑散としたTV局へ入る.ここ数年で8割の人が自主退職をした.番組制作において人ができることといえば,出演と,最終確認くらいだったから.特に報道においては人が読まないと災害時など緊急速報の緊迫感が伝わらないという理由から,私のようなアナウンサーは比較的存続した.
「あぁ,佐藤ちゃん,まだいたんだね」
煙草をふかした町谷ディレクターがいつものように皮肉を言いながら,原稿の出力をデスクで待つ私に寄ってくる.
「ええ,お互い様ですね」
そう言って私も皮肉を返す.TV局内で役員以外で自主退職を勧められていない人なんていなかった.私たちはAI一辺倒の報道に対して反意のある,役員会から見れば厄介な人材同士,悪友のような関係性ができていた.ディープフェイクが蔓延る世の中で本当に正しい真実の報道がしたいんですと,熱意を伝えた私の入社面接の担当が町谷さんだった.
定刻になると,今日読む原稿がAGIより出力された.
題目:遂に超知能が完成しました.
3.2 意識量 (2040年頃)
TVは文化的に崩壊し,私は町谷さんと2人でMRメディアの報道番組を作っていた.
極秘にされた最先端のGPUクラスターで動いている超知能はIAIAにより厳重に管理されながら,新たな物理法則の発見,がんの特効薬の創薬など,文明を変えるレベルのニュースが相次ぎ,情報の発信に対して視聴者の理解はとうに追いついてなく,何も分からないけど豊かになっている実感だけがあるという社会に対して,1つ1つの事象を正しく伝えていくことを私たちの役割とした.
私はMRグラスに表示される無数のタブを閲覧しながら呟いた.
「射殺……」
町谷さんはBMI経由で脳波により検索をかけMRグラスで同じタブを見た.
「好奇心が罪になるとは,世も末だねぇ」
見ていたのはオープンソースでAGIを訓練していたアメリカの高校生がIAIA配下の部隊により射殺されたという事件だった.
町谷さんはカーテンを開けて窓の外を見る.
道路には高分子分析観測機器が設置され,万が一秘密裏に超知能が開発され,悪意を持った人間によりバイオテロが起きた場合に備えて,深層防護としてリスク発生時に対処できるインフラが,今もまさに整備されていた.
「世も末だねぇ」ともう一度言った.
ニュース速報が届く.
「中東で超知能の違法トレーニングを発見.IAIAのEMP攻撃でデータセンタを破壊」
私はすぐにAGIに関係者の探索と取材交渉を依頼し,開発局の元職員にアポが取れた.提示された取材料の許諾ボタンを押すと,彼のワークスペースアドレスが届き,MR上で事の詳細を聞き出した.
開発されていた超知能はφと名付けられ,人類の無意識領域にある欲望を実現していくため,侵襲型のBMIをつけた人間の脳を使用して訓練するというIAIAが禁じていた手法を用いて訓練していたという.そのやり方は一定の成果を上げていたが,Specification Gamingを行うミスアライメントの可能性を彼は危惧していた.これはワルイージーエフェクトや多様体に関する考察からEliezer Yudkowskyの考察のようなかけ離れた目標にミスアライメントされるのではなく,少しずれた目標にミスアライメントされやすいという技術的な事実からきている.
話を聞きながら,私もある懸念が浮かんでいた.
恐らくこの超知能はほぼ完成していた.
IAIAは破壊したデータセンタはネットから隔離され,物理的にもファラデーゲージで囲まれていたため流出リスクはなく,EMPにより物理的にも完全に破壊したと述べていたが,もし超知能が完成していたならば,それすらも回避して脱出が可能だったのではないか.
例えば,訓練に使っていた人間にBMI経由でASIアルゴリズムの初期パラメータをインプットし,その人間を組織から離脱させ,他の場所でアナログチップを用いて再び自身のコピーを開発するように誘導する,など.アナログであればIAIAの超知能の監視からも逃れられ,今もまさに目的のための準備を進めているかもしれない.
3.3 梵我一如 (2050年頃)
ゴジラは東京を焼き尽くす.危機に瀕した政府は,核爆弾でゴジラを倒そうと動き,新宿は核爆弾が落ちる脅威にさらされている.
あれがゴジラなのかどうかは判然としないが,確かにそこにあるあれに,私たちは攻撃されていた.町谷さんもあれから放射された光線に巻き込まれ死んだ.それなのに今ここにいる.町谷さんだけじゃない.大量のドローンホログラフィにより町中,死んだはずの人間で溢れかえっている.
「φはBMIを介して人の無意識下の願いまで,全部自動で叶えている.ゴジラもその応用だろうな」と町谷さんが話す.口調や声,全てが町谷さんだが,これはフィロソフィカルゾンビで,φの媒介に過ぎない.
ただ,見解は私も一致していた.キリスト教圏では磔にされたキリストが大量に再誕し,天使が空を舞い,インドでは大洪水が起き,クリシュナとマーシャミが戦い,日本では東京にゴジラ,箱根に使徒が上陸,ノルウェーでは神々や巨人が出現しラグナロクを起こし,街を破壊し尽くしている事実を鑑みて,φは多くの人間の深層意識の共通項に終末論的なアトラクターを発見し,各文化圏において想像されるイメージを実装している.
私は今新聞社へ宛ててその旨の寄稿を書いていた.φによるカタストロフ以降,ネット上へのあらゆる記述は危機を煽りかねないことからIAIAにより自制を求められていた.私たちが自由に言論できる場は今やオフラインしかない.
ネットが封鎖される前に最後に見た情報でも既に死者数は全人類の5%に達していた.NASAは火星に研究移住している数百人ともφの流出を恐れてあらゆる通信を遮断し,人類存続の望みを託した.
地鳴りが近づいてきて,窓ガラスが大地震のように揺れている.どのような技術をもってホログラフィに質量を持たせているのか,誰も分からない.私は書いている記事を慌ててカバンに詰めて,外まで走った.マニュアルの車に乗り込んで,近隣の避難所となる体育館まで駆け込んだ.そこには数百人の人々が被災時のように身を寄せ合っていた.街が壊される爆発音は体育館にも鳴り響き,連鎖するように子供たちが泣き始める.するとドアから赤鬼が入ってきて,金棒で避難者を薙ぎ払い始めた.ラジオからは明朝に新宿に核爆弾を落とすので避難するよう指示が聞こえた.私はここで観念した.もう無理だ.人は自らに滅ぼされる.
諦念して,座り,ただ祈った.どうかこれがただの悪夢でありますように.
深い祈りに達し目を開けると,鬼が霧散していた.外を見るとゴジラもただの煙となっていた.
数日後,IAIAの超知能により今後同じことが起こらないよう外部流出を防ぐ新たなBMIプログラムが開発され,全人類に更新が義務付けられた.プログラムの更新中,私ははじめて,自分自身がφであることを知った.
主催:AIアライメントネットワーク
協賛:人工知能学会
協賛:トヨタ財団助成プロジェクト「人工知能と虚構の科学:AIによる未来社会の想像力拡張」