AIアライメントネットワーク
設立記念シンポジウムレポート
【後編】
2024年9月9日にAIアライメントネットワーク（ALIGN：アライン）の設立記念シンポジウムが京橋エドグランartience本社内で開催され、オフラインで約80名、オンラインで約50名が出席した。ALIGNは「AIと人類の未来を先導する研究ネットワークの構築」を目指して2023年9月に設立され、半年の準備期間を経た後、2024年4月から研究およびコミュニティ形成、アウトリーチの活動を本格化させた。
同シンポジウムでは、２部構成で、研究者を中心に、企業やシンクタンク、政府関係者などをゲストに迎え、技術発展と安全性のバランスについて多様な視点から議論が行われた。とりわけ国内外のガバナンスやリスク管理、そして産官学の協力が注目され、生成AIやAGI（汎用人工知能）の進化とリスクに関わる課題についても共有された。
以下では報告書の後編として第２部について報告を行う。
プログラム
第1部：ALIGNの挑戦 ～非営利セクターから挑む分野創設～
14:30~14:55 講演：ALIGNの挑戦 髙橋恒一（ALIGN代表理事）
14:55~15:10 講演：プライバシーとAI 佐久間淳様（東京工業大学教授）
15:10~15:20 講演：AIを作る側からの視点 栗原聡様（人工知能学会会長）
15:20~15:40 特別講演「日本はどうAGIに備えるか（仮）」 平将明様（衆議院議員） 討論：小澤健祐様（AI Now）、山川宏（ALIGN理事）
2部：〈AIと人類の希望ある未来〉に向けた産官学連携
15:50~16:05 講演：次世代AIとAIリスク対策の研究動向 福島俊一様（科学技術振興機構フェロー）
16:05~16:20 講演：AIガバナンスの俯瞰 飯田正仁様（三菱総合研究所研究員）
16:20~16:25 録画登壇：AIセーフティの国内連携 村上明子様（AIセーフティ・インスティテュート所長）
16:25~16:55 パネル議論：〈AIと人類の希望ある未来〉のための産官学ネットワークに向けて
パネリスト：相澤彰子様（国立情報学研究所教授）、工藤郁子様（大阪大学特任准教授）、佐久間弘明様（東京大学／AIガバナンス協会） モデレーター：金井良太（ALIGN共同設立者）
16:55~17:00 閉会 髙橋恒一（ALIGN代表理事）
講演：次世代AIとAIリスク対策の研究動向 福島俊一様（科学技術振興機構フェロー）
休憩時間を挟み、イベント第2部の冒頭では「次世代AIとAIリスク対策の研究動向」と題し、科学技術振興機構フェローの福島俊一氏が講演を行った。
講演の中で福島氏はAI分野の動向を「次世代AIモデル」と「AIリスク対策」の2つの潮流に分けて解説した。「次世代AIモデル」は、ルールベース、機械学習、生成AIという形でAIの基本原理およびアーキテクチャが発展し続けたことで現在に至る。「AIリスク対策」は、それらが社会実装されるに伴い、AIの安全性や信頼性、AIアライメントの必要性が高まっているという潮流である。
次世代AIモデルについては、昨今発展がめざましい生成AIの中身は確率モデルに基づく予測であることから限界や課題も指摘されている。具体的には、大規模な計算資源を使うことによる資源効率の問題やハルシネーションをふくめた論理性や正確性に関する課題などである。実世界操作（身体性）や信頼性・安全性の問題もある。
これらの課題に対する取り組みを、福島氏は3つに分けて解説した。1つは現在の基盤モデルをベースに、不足点を外部連携で補うなどして、改良・強化していくことである。現在の基盤モデルがなぜこんな賢い振る舞いをするのか分かっておらず、メカニズムの解明も重要である。2つ目は、人間の知能の理解からヒントを得ること。3つ目は、知能をAI単体のみの性能を上げるだけではなく、他者や環境との関係性に着目することである。ロボットに基盤モデルを組み合わせていくことで実世界操作を可能にするという取り組みがこの1〜2年の非常に活発化している。また、コモングラウンドという考え方もある。これは人同士あるいは人とAIなどのマルチエージェントが共通目的を持って問題解決に当たるための基盤作りであり、ChatGPTのようなLLMと人間との将来的な関係構築においても示唆を与えるという見方もある。
どのようなアプローチを取るかは、AIをどう捉えるかによっても異なる。汎用性の高い道具としてのAIを目指すのか、人間のパートナーとして望ましいAIを目指していくのか、あるいは人間のようなAIをつくりたいのかによって、目指すべき方向性も異なる。従って、どのような人・AI共生社会を目指すかを考えた形で研究を発展させていくことが肝要となるだろう。
3つ目はAIの脆弱性や非制御性から生じる暴走のリスクである。これらはモデルや入力データに細工をするなど人為的に引き起こされる可能性もあるが、自動設定されるサブ目標によって生じる問題もある。例えばAIを搭載したロボットにコーヒーを買うように頼むという無難な目標を与えても、「コーヒーを買う」というタスクを「コーヒーショップに行く」「お金を払う」「コーヒーを持ち帰る」と分解した際に、そこに長蛇の列があった場合に「邪魔な人間を排除する」という不適切なサブ目標を設定して実行してしまう懸念が生じる。
こうした課題に対処していくにあたって福島氏は次の5つのケース分けを示した。
生成AI出力の倫理性確保
生成AIアプリ開発での品質管理
生成AIを用いて開発したアプリの品質管理
乱立した生成AIが良質なものかの審査
フェイクにだまされないようにする対策
それぞれのケースの概要と現時点での対策状況はこちらの図版にまとめられている。
ここまで福島氏は、起きている問題に対してボトムアップなアプローチで対処するという観点で解説した。一方で、システム開発において機械学習が実用化されたことで演繹的な開発から帰納的な開発にパラダイムが変化したことを含めて局面が変わりつつあることから、トップダウンな考え方も必要だと述べた。生成AIが導入されたことで対話的に開発するという新しいパラダイムにも突入している。それらを意識した上で、リスクを抑えるという面では個別の問題に対処していくだけではなく、マルチエージェント社会の中で適切なメカニズムデザインをしてトラスト形成をするという包括的な視点で考えていく必要があるとして、講演を締めくくった。
講演：AIガバナンスの俯瞰 飯田正仁様（三菱総合研究所研究員）
三菱総合研究所研究員の飯田正仁氏は、講演の冒頭で生成AIの光の部分と影の部分について解説した。
生成AIの光、つまりポジティブな側面については、三菱総合研究所が行ったアンケート調査で明らかになった民間企業での活用状況をもとに解説した。
スライド左側のグラフが示すように、2023年12月の時点で調査対象の企業のうち約4分の1で生成AIが活用されている。同年6月と比較しても生成AIの業務活用が進展していることは明らかだ。活用用途は情報収集や文章の要約・翻訳、議事録作成などテキスト情報に関する利用が上位に上がった。
生成AIは様々な技術進歩が見られるが、その1つが画像や音声、動画などを生成できるマルチモーダル化の進歩であり、人間拡張や世界シミュレータなどでの産業応用も期待されている。また、生成AIの技術ブレイクスルーとして自ら考え戦略を練ることで複雑な課題を解く自律的なAIエージェントも注目を集めている。このように生成AIによって汎用性や自律性を獲得した先には、汎用AI（AGI）や超知能（ASI）につながっていくと考えられている。
生成AIの影の側面として、三菱総合研究所は企業のリスクと社会的懸念をそれぞれ4つずつ、合計8つに整理した。
企業のリスク：誤情報の生成、著作権侵害、セキュリティ、人権・倫理問題
社会的な懸念：雇用への影響、情報操作、教育の悪影響、AIの暴走
AIが自律性を獲得することで、新たなリスクやAIの暴走への懸念も増すため、AIアライメントがますます重要になるだろう。
これは、企業における生成AIの活用にあたっての懸念について、国内の5つの業種に勤務する社会人約1万人を対象に行ったアンケート結果である。
右のグラフが示すように、生成AIの信頼性に関わる項目を選択した回答者は60パーセント以上となり、現時点では生成AIの業務活用時における信頼性には課題があるといえるし、企業のリスク対策も不十分だと考えられる。これらのリスク対策をすることで、生成AIの活用はより拡大する余地があると飯田氏は述べた。
次に飯田氏は、AIのガバナンスを定義した上で、各国の状況について紹介した。定義として共通している点は、リスクや懸念を抑えつつも恩恵や便益を最大化するものと捉えられていることである。
ChatGPT登場後の技術とガバナンスの状況は、いずれも3段階のフェーズで捉えることができる。技術はOpenAIやMicrosoftが先行し、GoogleやAmazon、Metaなどの米国の巨大テック企業のAIが急伸し、その後で日本の国産LLMが追随している。ガバナンスに関しては2023年5月にG7広島サミットが開催され、議長国日本の主導で広島AIプロセスが創設された。その後、日本でもルールや体制が整備されてきている。
広島AIプロセスは、2023年12月にスライド左側に示されるような内容で指針や行動規範が策定され、2024年は議長国イタリアのもとで具体的な取組みが進められている。また、OECDの加盟国や賛同国を拡大する広島AIプロセス・フレンズグループなど、グローバルな議論の枠組みとして定着しつつある。
AIガバナンス形態には各国ごとに差異がある。統治体制などによって差はあるものの、ソフトローの枠組みの国であっても、安全性や高度なAIについては国が一定の関与を示している。例えば英国では、イノベーションを重視したソフトローのガバナンスを採用しつつも、AIの安全性を研究するAIセーフティ・インスティテュートを世界に先んじて設立した。また、安全性に関するプロジェクト「セーフガーデッドAI」も進められている。米国も英国と同時期に研究機関を設立し、日本も世界で3番目にAISIを設立している。GPAIの東京センターでもAIの安全性に関わる研究が進められている。
次に、各地域ごとのAIガバナンスを紹介した。まず欧州ではEUのAI法に代表されるように、リスクベースアプローチという考え方のもとで包括的なAI規制が導入されている。
米国はイノベーションを重視するためにソフトローによるAIガバナンスを採用しているが、重点的な部分に関してはハードローによる規制も行っている。
連邦政府は、2023年政府とIT大手との間で自主的取組みの約束を取り交わした後、それをベースとした大統領令が発令されている。これにより、安全性やセキュリティに関わる部分については連邦政府への報告義務が設けられている。
連邦による規制の他に、それぞれの州では先行的にAI規制が導入されている州も多数見られる。GAFAを抱えるカリフォルニア州の最先端AIの規制法案は、世界にも大きな影響を与えるため議論の行方が注目されている。
中国は国家の主権や価値観の維持を重視しており、国内に向けては2023年に世界で初めての生成AI規制を導入した。対外的な政策は大まかに2つの方向があり、1つは自陣営の強化および干渉の回避。もう1つは、AI大国であるアメリカと対峙する政策となっている。
日本もソフトローでイノベーションを重視している。基本理念から原則、ガイドラインまでが定められており、政府のガイドライン類は2024年4月に入ってからAI事業者ガイドラインという形で整理・統合された。
日本ではAI戦略の司令塔であるAI戦略会議がAIに関する施策についての議論を行っており、AI戦略会議からの設置方針のもとで2024年2月にAIセーフティ・インスティテュートが設立された。また、AIガバナンスの統一的な指針としては、AI事業者ガイドラインが策定されている。
講演の最後で飯田氏は日本の民間企業のガバナンスの状況を解説した。図版左のグラフは、生成AIの社内利用ルールのアンケート調査結果であり、2023年の12月の時点で約半数の企業はルールを整備していることから活用と同時にルールメイキングが行われてきたことが分かる。なお、三菱総合研究所のAI事業推進の指針は図版右側の内容である。
以上のように、飯田氏は各国のAIガバナンスと民間企業のガバナンスについて詳細なデータとともに紹介をし、講演を終えた。
録画登壇：AIセーフティの国内連携 村上明子様（AIセーフティ・インスティテュート所長）
録画講演を行ったAIセーフティ・インスティテュート（AISI）の所長、村上明子氏はAIセーフティの国内連携について語った。AISIは2024年2月に、AI安全性に関する官民の取組を支援する機関として設立された。内閣府を中心に10省庁と政府の関連機関5つが連携してできており、情報処理推進機構の下に事務局がある。
AISIの使命は政府への支援および民間への支援である。政府への支援は、AIの安全性に関する調査や強化手法などの検討、基準の策定であり、（AISI自体が研究機関ではなく）研究機関に所属する研究者と連携して官を支えていくというスタンスだ。民間への支援に関しては、AIの安全性の国内のハブとして、産学における取組みの最新の情報を集約して提供し、イノベーションの促進に努める。
各国のAISIとも連携をして最新の情報を共有しながら、安全性に関する国際的な基準の策定を進めていくこともミッションの1つとなる。現時点の成果は、日米のAI関連ガイドラインの相互運用性向上をめざす「日米クロスウォーク」が挙げられる。ここでは米国のリスクフレームワークと日本の事業者ガイドラインとの比較をした上で差異をリストアップした。また、リスクフレームワークの日本語翻訳の公開も行っている。今後はAIリスクに対して研究を行うレッド・チーミングの手順書の作成。公開、評価基準の検討などを予定している。
AISIのもう1つのミッションは、AIの安全性に関する情報のハブとしてのコミュニティを形成することである。二十数名の組織から、広い意味でのAISIを構築するための第一歩として国立研究開発法人（国研）のメンバーとともにAISIパートナーシップを発表した。こうした試みを今後はAIの研究開発のブレーキではなくガードレールを構築するAIアライメントネットワークもふくめた民間にも広げていきたいと村上氏は呼びかけて講演を終えた。
パネル議論：〈AIと人類の希望ある未来〉のための産官学ネットワークに向けて
パネリスト：相澤彰子様（国立情報学研究所教授）、工藤郁子様（大阪大学特任准教授）、佐久間弘明様（東京大学／AIガバナンス協会） モデレーター：金井良太（ALIGN共同設立者）
第2部の最後にはパネル議論が行われた。登壇者は、国立情報学研究所教授の相澤彰子氏、大阪大学特任准教授の工藤郁子氏、AIガバナンス協会業務執行理事・事務局長の佐久間弘明氏、ALIGN代表理事の高橋恒一氏の4名、モデレーターはALIGN共同設立者の金井良太氏が務めた。
相澤氏は自然言語処理の研究者として、人工知能と多様性について語った。そもそも研究者をふくめて人間というものは認知バイアスの塊であり、そうしたバイアスが人間を人間たらしめている側面もある。従来の科学は、真理は説明できる美しい汎化できるモデルで説明されるべきだと考えられる傾向が強かったが、生成AIの登場により、複雑なものを複雑なまま、解釈はできるが説明ができないものを受け入れる心の準備をしなければならないというパラダイムシフトが起きていると相澤氏は述べた。人間の認知を超えた多様性を丸ごと飲み込んでいける基盤モデルは、それ自体が科学の基盤としてのプラットフォームとなり得る。
産官学ネットワークのあるべき姿については、まず前提としてAIのもたらすさまざまなリスク指摘されている一方で、そもそもこの社会がこれまで持っていた問題が、本来ならAIが解くべき問題ではないにもかかわらず、あたかもAIの問題であるかのように語られているため、今やるべきことは、AIが解けない問題に向き合うことだと指摘した。研究者にとっては新規性がないと評価されるがために研究のテーマにしづらいことや、産業界にとっては利益につながらないなどの理由で着手されない課題は多数あるが、そうしたテーマの中で公益につながるものを扱えてこそ産官学ネットワークの価値はあるだろう。
また、多様性という観点から考えると、産官学の3分類自体が単純化された世界であることも指摘した。例えば産の中には企業のみならず顧客や地域などもふくめたマルチステークホルダーが存在する。従って産官学それ自体の包含する多様性を見ていくという意味でもAIアライメントネットワークは大きな意義があると述べた。
工藤郁子氏は、情報法や公共政策が専門領域である。内閣府のAI戦略会議の下、AIに関する制度に特化して検討するAI制度研究会にも構成員として参加している彼女から見ても、AIの長期リスクはリソースを割いて検討をしにくい側面があるという。というのも、政策立案を考える立場から見ると、まだ海の物とも山のものとも判じられないものを規制することが技術的に難しいし、ともするとイノベーションの阻害につながるからだ。一方で、急激な技術革新が突然起きる可能性もあることから、長期リスクを視野に入れて検討する必要もあるというジレンマがある。
工藤氏もまた、技術の問題として語られていることの背後を考える必要性について語った。彼女が例に出したのが、クマやイノシシのような野生動物と猟銃の関係である。時に人命にも関わる自然の脅威からの安全を担保する手段のひとつが猟銃という技術である。そして猟銃は所持や運用が法律によって規制されている。野生動物と人間の間にある衝突は、本来であれば自然の問題であるにもかかわらず、法律の観点からは技術の問題として語られるのは、技術が規制作用を媒介するポイントとなるからだ。クマに法律を理解させて行動を規制することはできないが、人間が使う技術はルールを策定してコントロール可能なものとして取り扱うことができるため、人工知能もふくめた技術に話の焦点が当てられる傾向がある。理論的には仕方ない面もあるものの、そうした観点の持つ限界なども視野に入れつつ今後は議論をしていきたいと工藤氏は語った。
佐久間弘明氏が事務局長を務めるAIガバナンス協会（AIGA）は、AI開発に携わる企業や、通信業・金融業・製造業などを中心に自社のAI活用を進める企業など70社ほどの企業が参加し、AIガバナンスに関する実務課題について議論をしている業界団体である。各企業で技術や実務の知見を集める研究会を毎月開催したり、自民党のAIPTへの政策提言なども行ってきた。
AIGAでは主に次の3つのことが議論されてきた。1つ目は、法律および企業がどのような規律のもとにAIを管理するかという内規の制定もふくむルール作りである。2つ目は、組織や人材の視点である。例えば、リスク管理部門のようなトラディショナルな部門が担当するのか、それとも技術部門が担当するのかなど、組織のどのコントロールポイントにアクセスすれば最も効率的に課題が解決できるのかといった点を議論をしている。3つ目は、AIのリスクを技術的な観点でいかにして解いていくのかということである。これについては、手動統制によるAIのリスク管理は負荷が大きすぎるため、それを軽減させるための、自動でのテスティングやガードレールのようなツールの導入状況が議論されている。
このように現在産業実装が進んでいる技術についてはAIGAで扱っているが、その前提となる研究で、ALIGNと協業していきたいと述べた。
以上3人からのコメントを踏まえ、代表理事の高橋恒一がまとめのコメントとして3つの観点を示した。
1つ目は、AIアライメントはAI産業のブレーキではなくガードレールとして発展や社会実装の推進を助けるものであるということである。往々にしてアライメントというものは物事を禁止するものであると誤解されがちである。しかし実際にはその逆であり、アライメントをきちんと取れるからこそ製品化が適切な形で実現されてビジネスも進む。
2つ目は、長期リスクは実務家には扱いにくいという課題についてである。現時点ではAGIがどのような技術かが分からないように、未知の技術というものは境界条件がオープンで、どのような動作をするのかが事前に予測することは難しい。あるいは、インターネットがそうであるように、AIとAIが相互に帰納的に依存しながらインフラや社会の機能を自動化していく流れになった場合、それがシステム全体としてどのようなリスクを持つのかも自明ではない。そのように現状のままでは抽象論で終わってしまう課題を解決できる問題にしていきたいと高橋氏は語る。
最後に高橋氏はAIアライメントの学際的な展望について示した。同氏は科学的知識を自ら生み出すロボットを開発する研究をしていく中で、2014年頃にディープラーニングが出てきた時点で、この先AIの能力と自律性が向上していくと大変なことになるという恐怖感を覚えたという。しかし怖がるだけではなく、希望を持ってより良い社会を作っていかなければならない。それがAIアライメントに取り組むきっかけになった。
AIアライメントは学問としての広がりが求められる分野であり学際性が高い。例えば科学哲学の研究者との対話は必要であり、AIの自律性を研究する際には認知科学についても考えていく必要がある。社会に実装していく際にどのようなインタラクションが発生するのかを考えるには社会科学の観点も必要だ。こうしたことから、ALIG はAIと人間の関係のみを考えるに留まらず、新しい学問の体系や広がりを作る活動のハブとして発展させていきたいと述べてコメントを締めくくった。
Writer：高橋ミレイ