【開催記録】ALIGN Webinar #6 Evan Hadfield on AI and Democracy: Harnessing Collective Intelligence
ALIGNウェビナー第6回では、Collective Intelligence Project（CIP）のEvan Hadfieldさんをお迎えし、Collective Intelligence Projectのモチベーションや企業や政府と共同で手掛けている取り組みの紹介、さらにCI（collective intelligence）とAIの発展を発展させることで民主主義の変革につながるという大きなビジョンを共有いただきました（動画はこちら）。
日時：2024年6月28日（金）10:00 am-11:00 am （日本時間）
参加者：オンラインで15名ほど
主宰：AI Alignment Talk from Japan / ALIGN
以下は、Evanさんによるトークの（一部）翻訳です。
AIと民主主義：Collective Intelligenceを生かす
本日、ALIGNでAIと民主主義について、Collective Intelligence Projectを代表してお話しできることを大変嬉しく思います。私たちの活動について少しお話ししますが、特に、革新的なAIを使ってcollective intelligence（集合的知能）の力をどう活用しようとしているかについてお話ししたいと思います。
まず、私たちの組織、これまでの活動、そして現在の取り組みについて紹介します。次に、collective intelligence（CI）とは何か、それがAI研究やAIセーフティのコミュニティにどう関連するかを考えます。最後に、CIとAIの交差点で起こりつつあることについて、いくつかの考えを述べたいと思います。
Collective Intelligence Projectとは
Collective Intelligence Projectは、革新的技術の新しいガバナンスモデルを研究開発するラボです。そして今、私たちが主眼としている革新的技術とはAIです。私たちが考える良い世界とは、人々が主体性を持ち、自ら選択し、行動する能力を持つような世界です。権力の集中は、人々にそのような主体性を与えることを妨げます。大規模なシステムと集約が一部の問題解決に役立つのは事実です。しかしほとんどの場合、人々に自律性を与えるのは分散型システムだというのが、私たちの根本的な信念です。
しかし、「良い決定」を「分散的」に、かつ「効率的」に行うことは非常に困難です。私たちには良い決定を下すための優れたシステムがあります。一方では、自由市場のような、かなり優れた分散型システムもあります。さらに、政府や大企業のように非常に効率的に機能するシステムもあります。しかし、人々にとって根本的に良く、分散型で、効率的な決定を行うという、この3要素をすべて兼ね備えることは非常に難しいのです。
革新的な技術は、権力の集中を進めるとともに、多くの人々に影響する難しい意思決定を求めます。過去1世紀に発明された革新的技術として、例えば電気、避妊薬、インターネットなどを考えてみてください。AI以前でも、私たちはこうした社会・文明を大きく変えるような技術と向き合ってきました。こうした技術が登場するとき通常起こるのは、その技術にアクセスできる人々や、その技術を開発する人々への力が集中です。仮に彼らが良い意図を持っていたとしても、彼らは技術に、自分たちの偏見や思い込み、価値観を持ち込んでしまいがちです。
AIはこれまでのどの技術にも増して革新的な技術です。私たちの仮説は、Collective Intelligence（CI）と人工知能（AI）を組み合わせる実験が、もっと必要だということです。CIとは何かについては、すぐ後で説明します。
私たちはさらに、こうした実験を現実の社会の中で行う必要があると考えています。そのため私たちは、モデルやシミュレーションだけではなく、実際の人々や既存の機関と協力しています。革新的技術に社会を適応させていくには、既存の機関と協力する必要があります。より良い機関を作りたいのだとしても、効果的に変化を起こすには、まずは現存する機関と協力しなければなりません。
CIPは2年前にできたばかりの組織ですが、これまでにいくつかの注目すべき実験を行いました。
2023年初頭にOpenAIとの「アラインメント・アセンブリ」に関する協働を開始。これはLLMのどのリスクをOpenAIが何を測定し、軽減すべきかについて、米国の一般市民から意見を集めるものでした。
2023年7月、台湾のデジタル省と提携しました。当時の大臣であるオードリー・タンとは現在も私たちのチームと密接に協力しています。昨年、私たちは台湾の市民と協力して、台湾の選挙委員会がAIをどのように規制すべきかについての、同様のアラインメント・アセンブリを実施しました。
2023年10月に発表した、Anthropicとの集合的憲法AI（Collective Constitutional AI）はおそらく最も注目を集めました。後でまた触れますが、10月に私たちはAnthropicとの共同プロジェクトの結果を発表しました。
2023年10月には、Creative Commonsとも協力し、AIトレーニングを使用した作品をCreative Commonsがどのようにライセンス付与すべきかについて取り組みました。
昨年末から今年初めにかけて、新しく設立された英国AIセーフティインスティテュートと協力しています。
以上より、CIとAIの交差領域で私たちが取り組んでいることの雰囲気を感じ取っていただけたと思います。
Anthropicとの仕事についてもう少し説明したいと思います。Anthropicはまず、専門家チームと協力して、LLMのClaudeが特定の質問にどのように答えるべきかを訓練した標準モデルを作成しました。私たちはそこで、アメリカ人を統計的に代表する1000人のサンプルを集め、彼らがClaudeにどのような振る舞いを望むかを尋ねました。そこで得た入力にかなりのデータ変換を施したものを用いて、モデルを再度訓練し、Anthropicの専門家が訓練したデフォルトモデルと比較して評価しました。
アメリカの市民サンプルに示されたのはPolisというインターフェースツールでした（Polisをご存じの方もいるかもしれません）。これを通じて、AIが従うべきルールは何か尋ね、参加者は自由形式のテキストで何でも入力できるようにしました。このとき、他の人の回答を見ることができ、同意や不同意を示すこともできます。こうしてリアルタイムで非同期に豊富なデータセットを得ることができます。この結果から、人々が同意しやすいステートメントと意見が分かれやすい項目が見られました。また、大部分の項目で同意しているが、一部の項目で意見に違いがある2つのグループを発見することもできました。
1000人のアメリカ市民から収集された回答から作ったモデルを、標準的なClaudeモデルと比較しました。バイアスやステレオタイプを引き起こしやすいプロンプトに対する応答に含まれるバイアスを測るベンチマークにおいて、人々からの入力を用いて訓練されたモデルは、複数のカテゴリーの質問にわたって良い性能を示しました。さらに、他の一般的なモデル性能ベンチマークでも、性能が損なわれていないことが確かめられました。
それ以来、このプロセスを拡張しています。Anthropicとの作業を通じて確立したこのパイプライン、すなわち、市民からの入力を得て、モデルの振る舞いについての入力の一部でモデルを訓練するという流れです。現在、このプロセスをいくつかのコミュニティで実行しています。一つはAI Tamil Naduで、AI愛好家や研究者、学生のグループが、タミル語を話すチャットボットにどのような振る舞いを望むかについての入力を集めるのを手伝っています。また、アフリカのAI安全研究所であるEquianoや、ブラジルを拠点とする技術社会研究所（ITS）とも協力して、ポルトガル語特有の言語プロセスを実行しています。
Collective Intelligence（CI）とは何か？
ここで、Collective Intelligenceという考えに戻りたいと思います。
まず、私たちがいうCollective Intelligenceと、学術的なCollective Intelligence（いわゆる「集合知」）の違いを明確にしておきたいと思います。学術的には、集合知とは個人のグループが協力または調整して生まれる創発的な知能という意味です。「群衆の知恵」のような現象を、グループの人々が一緒に働いたり、あるいは意見を集めたりすることで発揮できます。一方、私たちのいうCollective Intelligenceは、それに加えて、「グループが目標を設定し、それらの共有目標を実行して最良の成果を達成する能力」を意味しています。つまり、私たちの定義は明確に政治的なものです。私たちは、Collective Intelligenceが集合的な入力に基づいて集合的なプロセスを操縦し、集合的な利益のために機能する世界を求めています。
関連する言葉に「集合的認知」があり、これは集合的な知識、信念システム、目標のことです。ある意味、Wikipediaさえも一種の集合的認知です。「集合的調整」という言葉もあります。これは特定の目標に取り組むための努力を同期させることです。ある意味では、「市場」もその一つです。「集合的協力」もあります。つまり、多くの異なる目標があったり、個々のコミュニティが他のコミュニティとは異なる目標を持っていたりしても、私たちはそれぞれが望む結果を達成するために調整し、協力します。しかし、それでも他のグループとの一定レベルの調整と協力が必要です。
人類が作り出したほぼすべての情報や知識構造は、ある意味でCollective Intelligenceだと考えることができます。様々な種類の市場、保険、土地の分配方法、政府の構造（国民国家であれ、自由民主主義であれ、君主制でさえも）は、多くの人々が協力して調整する一種の集合知を表しています。そしてデジタル時代に誕生したインターネットは明らかに、人々が協力して共有するネットワークであり、この情報ネットワークから様々なものを創発しています。
今日、人類が直面している最も重大な課題は、すべて根本的にCollective Intelligenceの課題だと思います。パンデミック、気候変動、金権政治、寡頭制、独裁制の台頭は、どれもがテクノロジーの発展によって可能になったり、直接引き起こされたりする破滅的なリスクです。これらの課題は、私たちが優先事項を設定し実行するためのより良い方法を必要としています。市場、保険、国民国家などは素晴らしい技術ですが、進歩するデジタル技術に追いついていないのです。
私たちのCollective Intelligence Projectは、既存のCollective Intelligenceシステムが解決できない、あるいは十分な速さで解決していない問題が求める必然的な革新だと信じています。
私たちは、人間が現在のCollective Intelligenceシステムを作り出したのは集団的な目標を達成するためであり、したがって、それらを作り直すことができると信じています。
革新的なAIがある今日、CIとAIの関係をどのように考えるべきでしょうか。通常、AIは、AI研究コミュニティの中でさえ、単一の人間の脳になぞらえて説明されることが多くあります。SFでも、AIは単一のユニットとして描かれることが多いです。しかし、AIは人間のグループとしても考えることができます。人間の知識のほとんどが実際には集合知的なものであることを考えると、AIの構造は、基本的にCollective Intelligenceだと言えます。つまり、集合的に作成されたデータで訓練されたニューラルネットワークです。そして、人間コミュニティの多様なサンプリングからの強化学習による人間のフィードバック（RLHF）を受けています。したがって根本的に、AIと機械学習のすべては人間のCollective Intelligence（科学的実践、科学者や一般の人々、研究者、技術者、エンジニアが協力してこれらのシステムを可能にする共有知識）によって可能になっています。
最新のモデルでは、マルチエージェントとしてAIを組み合わせることで、一度に個々のモデルを扱うよりも大幅に良い結果が得られることを、多くの研究が示しています。MicrosoftのAutoGenやcrewAIなど、非常に強力なネットワークが開発されており、他にも多くのものが登場し始めています。これらは、単一のモデルよりもはるかに良い結果を得ることができるマルチエージェントの相互調整を可能にするツールを提供しています。
そして、私たちは人々のCollective Intelligenceを活用することこそが、AIシステムをもっともよく機能させることにつながると考えています。Twitterの「コミュニティノート」から、マルチエージェントのAI、あるいはモデルを調整するための人間の判断、といったことがその例です。これらのAIシステムがもっともよく機能するとき、私たちのCollective Intelligenceは技術発展に追いつくことができ、技術とCollective Intelligenceの発展の好循環を作り出せると信じています。
これから何が起こるか？
最後に、私やCIPが近い将来に起こると考えていることについて述べます。
CIPが今実際に取り組んでいることの一つは、グローバルレベルでの集合的な入力を得ることです。ここでは、人々が価値を置くものと、人々がどのような未来を望むかについての意見を効果的に収集できるシステムを設計しようとしています。これは世界に存在しないもので、非常に難しいことです。これは間違いなくAIアライメントにとって重要なことです。ただそれだけではなく、より一般的に政府、企業、組織といったCollective Intelligenceと、人類のコンセンサス（またはそれに近いもの）との調和を測っていくうえでも重要だと考えることができます。
個人的に非常に魅力的だと思うもう一つのテーマは、「AIエージェントとともにつくるCollective Intelligence」の展開です。AIエージェントとのCollective Intelligenceというのは、複数の基盤モデルやLLMを結び付け、世界に影響を与えるツールへのアクセスを与え（単なるコンソールでも構いません）、そしてエージェントが調整し、熟考し、問題を解決する際に、これらのエージェントに見られる創発現象です。AIにおける「群衆の知恵」は、人間の群衆の知恵と同じくらい強力であることが判明しています。
私は今後数年以内に、真の超知能の最初の一瞥が、複数の基盤モデルエージェントの協調によって達成されるという確信を強めています。
下図が表現しているのは、既存のモデルでも、複数のバージョンのものを組み合わせ、さらにプロンプトや微調整されたモデルを通じて特定の機能を与え、そのエージェントのチームに特定のタスクに取り組ませると、能力が大幅に向上するということです。GPT-3.5のような性能の低いモデルでも、複数のエージェントがタスクを達成するために調整すると、GPT-4を上回る性能を発揮することができます。
これは、今日のLLMの凄さ以上に、注目すべきある種の革新的技術だと思います。エージェントのチームを協調させ、それを監督しつつ信頼して、タスクに効果的に取り組ませるという方法が、近い将来、社会で仕事が行われる基本的な方法になると思います。つまり、単に単一のエンティティにタスクを委託するのではなく、AIのチームとの監督と調整、協力の問題になるのです。
ここで、AIシミュレーションを通じて人間のCollective Intelligenceシステムについて学ぶことができます。未来学者のなかでは、この種のアイデアは「インシリコ熟議（in silico deliberation）」と呼ばれています。あなたの好み、価値観、履歴で訓練され、あなたの監督の下でファインチューンされ、あなたが望む行動するようにトレーニングされたAIモデルを想像してください。そして、そのモデルが他の人々のモデルと協働し、議論（熟議）する状況に置かれることを想像してください。
世界中には、あなたが同意したり、あるいは何らかの議論の共通の土台（コモングラウンド）を見出したりするのが非常に難しい人々がいるかもしれません。しかし、もし数百年かけて話し合えば、何らかのコンセンサスに到達できるかもしれません。これらのエージェントは、効果的にあなたに代わってその熟議とコミュニケーション、コンセンサス形成を行うことができるのです。
これは遠い未来のように聞こえるかもしれませんが、より直接的には、人間の価値観やコミュニティを代表するこの種の方法は、すでにTalk to the Cityで使用されています。ここでは、外交官、世界のリーダー、さらには組織が、これを市場調査にも使用しています。個人が集合的な入力プロセスから、LLMを通じて蒸留され、多くの人々の共有された入力を代表することができます。効果的に、コミュニティは一部の会議室や代表団で代表されることができるのです。そして、ここでの未来は非常に強力で、私たちには私たちの入力で熟議するエージェントを通じて、個人的および集合的に協調することができます。
こう考えていくと、「民主主義の特異点」（democratic singularity）といったものを想像することができます。単に技術的なシンギュラリティ、つまり進歩する技術と人工知能が自己改善しデジタル技術を改善し続けるだけでなく、私たち人々が集合的に人間のシステムを根本的により強力にすることができ、これまでは不可能だったような民主的な合意形成が可能になる地点を思い描くことができるかもしれません。
Collective Intelligence Projectは採用中で、米国外のパートナーも探しています。過去1年間の私たちの仕事の多くは、非常に米国に焦点を当てたものでしたが、私たちは米国外のチーム、パートナー、組織、政府と協力して、このようなグローバルな価値観の問題に取り組みたいと考えています。
※本記事、動画の許可のない転載を禁じます。
