AI Alignment Talk from Japan No.10
ライター：泉川茉莉
こんばんは！AI Alignment Talk from Japanの泉川です。5月17日（金）にAI Alignment Networkによる”ALIGN Webinar #1”が開催されました。ゲストは米非営利団体Center for AI Safety（CAIS）の創設者/所長のDan Hendrycks氏。WebinarではAI安全性の専門家として技術研究や政策提言を行ってきたHendrycks氏がAIの破局的リスクやそれらに対する技術的・政策的アプローチについて語られました。本日はWebinarの内容（詳しくはこちらのALIGNのブログ記事をご覧ください）をもとに「危惧すべきAIのリスク」と「技術者面、政策面でどのような対策が進められているのか」理解を深めていきます。
3つのリスク
Hendrycks氏は最も危惧しているAIリスクとして
①悪意ある利用（Malicious use）
②コントロールの喪失（Loss of control）そして
③AIの開発・軍拡競争（AI arms race）を挙げています。
悪意ある利用とはAIが故意に有害な目的のために用いられる可能性を指します。具体的に生じ得る危害としては人間が意図して生物兵器が作成できるようなAIを開発するなどが挙げられます。AIがより致死性の高い兵器を開発するために利用される可能性も考えられます。悪意のある利用者の手に高度なAIが渡れば極めて深刻な被害が加わる恐れがあります。
次にコントロールの喪失について、Hendrycks氏は人間と同じくらいの能力を持つAIが大量生産できるようになった時、私たちがそれらの下す意思決定を細かく監視できなくなり、仕舞いには重要な意思決定にさえ関与できなくなる可能性があるとしました。
もう一つのリスクとして、同氏は多くのAI企業が開発スピードを優先するあまりAIの倫理性を軽視してしまう開発競争の弊害を強調しています。さらにAIの軍拡競争に触れ、「他国より早く開発しなければ自国に悪影響が生じる」との見方からAIの軍事利用の拡大が生じるとしました。各国が個々の利益を優先し、判断を下した結果として全体の安全性が低下することを「集団的行動問題」（Collective Action Problem）と説明されています。
それではこれらの重大なリスクに対してどのような技術的または政策的なアプローチが考えられるのでしょうか？Hendrycks氏のウェビナーで紹介されたAI安全性分野の動向や近年の進展をベースに、技術的と政策面のAIリスクの対応策の理解を深めていきます。
技術面の対応策
悪意ある利用の技術的対応としてWebinarで紹介されたのがアンラーニング（Unlearning）です。今年3月にCenter for AI Safetyが発表した”The WMDP Benchmark: Measuring and Reducing Malicious Use with Unlearning”では「大量破壊壁代理ベンチマーク」（Weapons of Mass Destruction Proxy benchmark）によって生物・化学・サイバーセキュリティー的に危険な知識を判断し、大規模言語モデル（LLM）から削除する手法として提案されています。この研究では多数の学術機関や技術コンサルタント、業界パートナーを集めLLMにおいて危険とされる知識を判断する基準が設定されています。学習忘却は、モデルに危険な知識の提供を拒否させる従来手法と異なり、モデル自体から危険な知識を完全に削除することから、危険な情報を再び引き出すことがより困難になるとの研究結果が示されています。
AIの開発・軍拡競争の影響として考えられるのが個々の企業や各国が個別の判断を下した結果、全体の安全性が担保できなくなる問題でした。この対処としてHenrycks氏が紹介したのが計算能力ガバナンス（Compute governance）と計算能力セキュリティ（Compute security）というアプローチです。AIモデルの訓練に必要な不可欠なGPUというチップがあります。AI開発になくてはならないこのGPUの必要性は年々増加傾向にあります。以下のグラフで示されるように、近年のLLMの訓練に必要な計算量は毎年4.2倍のスピードで増えています6。このことからGPUの需要も年々増えていると言えます。
Data from Epoch AI（横軸は年、縦軸はモデルの訓練に必要な計算能力）
計算能力ガバナンス（計算能力セキュリティとも）とはAI開発に必要不可欠なGPUに機能を追加することで、国家の安全を脅かすようなリスクを防止する試みです。計算能力ガバナンスが実現すれば、GPUの動作状況を確認したり、位置を確認することで本来の目的通りに使用されているのか確認できるようになる可能性があります。仮にGPUが密輸されたり、本来使用されるべきでないアクターに使用されていると検知された場合はGPUの機能を無効化することも考えられます。このように、データやアルゴリズム、モデルではなくハードウェアへのセキュリティを強化することで、国際的な安全性の確保が期待できます。
政策面の対応策
悪意ある利用に対する政策的なアプローチも考えられます。Hendrycks氏は強力なAIモデルをオープンソース化（ソフトウェアのソースコードを公開し、自由に使用や改良できるようにすること9）しない、またはオープンソース化することに対して厳しい基準を設けることを提案しています。AIのオープンソース化はすでにディープフェイクポルノやなりすましによる嫌がらせなどの問題を起こしています。AI開発企業がこのように悪意のある入力や出力を拒否するよう、モデルを訓練したとしても、多少の機械学習スキルがあればモデルを再訓練し、犯罪目的や嫌がらせ目的でモデルを使用することができてしまうことが明らかになっています10。
AIのオープンソース化を厳しく取り締まることで悪意のあるAI利用を防げるかもしれません。一方で、オープンソース化を制限することが政府や大手テクノロジー企業の権力集中を助長させると危惧する声もあり、政策決定者にとってもAI開発企業にとっても難しい問題となっています。
②開発を急ぐな
コントロールの喪失を防ぐための対策として、Hendrycks氏は政府がAI開発のスピードを制限すること、または一時停止することが重要との見解を示しました。現状そのようなAIの開発抑制の動きはどの程度検討・実施されているのでしょうか。
世界的に支持されているアシロマAI原則では高度なAIがもたらす世界規模の重大な変化と相応の注意、リソースを持った計画・管理の必要性が訴えられています11。しかし、このビジョンに反してAI開発企業や研究機関がAI安全性や倫理性を十分に考慮しない高速な技術開発を進めているとしてFuture of Life Instituteは昨年4月にオープンレターを公開しました1213。その内容はAI開発者に対してGPT-4よりも強力なAIシステムの訓練を少なくとも半年間停止することを求めるものでした。オープンレターに署名した1000人以上の専門家の1人であるStuart Russel氏は署名した理由について「現在、技術の進歩は非常に速い一方で、政府の動きは非常に遅い。だから、より強力なモデルの開発とリリースを一時停止し、ある意味で規制が追いつけるようにする必要がある。」と述べています14。
いくら開発が重要であってもそのために安全性を犠牲にすべきでないという点に関してStuart Russel氏は以下のように述べています。
”意図的な欺瞞や誤報の捏造といったリスクをそれをAIにやめさせるのは非常に難しいという言い訳は、かなりいい加減な言い訳だ。もし私が原子力発電のオペレーターで、「爆発を止めさせるのはかなり難しい」と言ったとしたら、私たちはそんな言い訳を認めないだろう。法律は法律であり、規則は規則であり、システムをその規則に従わせることができなければ、システムをリリースすることはできないというごくシンプルな話だ。”15
③法的責任の明確化
最後にHendrycks氏がAIの開発・軍拡競争への対応策として明示したのが責任法または賠償責任法（Liability laws）です。Center for AI Safety Action Fundが共同スポンサーとしてカリフォルニア州議会に提出されたフロンティア人工知能モデルの安全・安心なイノベーションに関する法律（SB-1047 Safe and Secure Innovation for Frontier Artificial Intelligence Models Act）ではAIが多くの人を殺したり、何十億ドルもの損害を与えたりした場合、AI開発者にも責任を問うような設計がされています16。
AIのリスクを包括的に理解し、技術と政策の両面でアプローチを考えることは政府関係者や技術者だけでなく、これからAIを利用し、影響を受ける私たちにとって非常に重要な課題となっています。今回のウェビナーは技術面・政策面ともに実践経験があり、AI安全性のトップランナーと言えるHendrycks氏にお話を伺える非常に貴重なトークでした。ALIGNのYouTubeチャンネルではウェビナー動画も公開されていますので、ご興味のある方はHendrycks氏ご自身の言葉を聞いてみることをお勧めします！
謝辞：ALIGN Webinar seriesの企画、進行を担当され、記事執筆の際にお力添えいただいたAI Alignment Network（ALIGN）の丸山隆一さんに感謝申し上げます。
Center for AI Safety "The WMDP Benchmark: Measuring and Reducing Malicious Use with Unlearning" https://www.safe.ai/blog/wmdp-benchmark (2024/3/6)
Nathaniel Li et al. "The WMDP Benchmark: Measuring and Reducing Malicious Use with Unlearning” https://arxiv.org/html/2403.03218v7 (2024/5/15)
Sastry et al. "Computing Power and the Governance of Artificial Intelligence” https://arxiv.org/pdf/2402.08797 (2024/2/14)
Heim et al. “To Govern AI, We Must Govern Compute” https://www.lawfaremedia.org/article/to-govern-ai-we-must-govern-compute (2024/3/28)
8000 Hours “Lennart Heim on the compute governance era and what has to come after” https://80000hours.org/podcast/episodes/lennart-heim-compute-governance/ (2023/6/22)
Epoch AI “Training Compute of Notable Machine Learning System Over Time” https://epochai.org/data/epochdb?startDate=2007-6-29&startDlEra=2008-6-1
IEEE Spectrum “Open-Source AI Is Uniquely Dangerous” https://spectrum.ieee.org/open-source-ai-2666932122 (2024/1/12)
IEEE Spectrum “Open-Source AI is Good for Us” https://spectrum.ieee.org/open-source-ai-good (2024/2/8)
Redhat ”オープンソースとは？をわかりやすく解説” https://www.redhat.com/ja/topics/open-source/what-is-open-source
Vox "Should we make our most powerful AI models open source to all?” https://www.vox.com/future-perfect/2024/2/2/24058484/open-source-artificial-intelligence-ai-risk-meta-llama-2-chatgpt-openai-deepfake (2024/2/2)
Future of life Institute “Asilomar AI Principles” https://futureoflife.org/open-letter/ai-principles/ (2017/8/11)
Future of life Institute ”Pause Giant AIExperiments: An Open Letter” https://futureoflife.org/open-letter/pause-giant-ai-experiments/ (2023/3/22)
Future of life Institute "Policymaking in the Pause" https://futureoflife.org/wp-content/uploads/2023/04/FLI_Policymaking_In_The_Pause.pdf（2023/4/12)
World Economic Forum "What The Letter Demanding To ‘Pause AI Experiments’ Is Really About” https://www.weforum.org/videos/what-the-letter-demanding-to-pause-giant-ai-experiments-is-really-about/
Ibid.
AI Safety Newsletter #31 “A New AI Policy Bill in California” https://newsletter.safe.ai/p/aisn-31-a-new-ai-policy-bill-in-california (2024/2/21)