AI Alignment Talk from Japan No.1
文責_根本一希
Hi!
本日から、みなさんにAI Alignmentに関連するニュースをお伝えします。
AIにモラルはあるのか？
AIにモラルがあるかどうか？それはAI Alignmentの中心的な議論の一つです。1
今回はScherrer, et al. (2024). "Evaluating the moral beliefs encoded in llms"という論文の内容をご紹介します。この論文では、LLMをベースとした複数のAIのサービスに対してハイコンテキストとローコンテキストなシナリオ2を用意して回答させてた研究です。
今回の研究では、
ハイコンテキストでは、多くのLLMのアウトプットが人間の常識に似たような答えで出てきたが、ローコンテキストでは回答がぶれてしまうものが多い結果が多かったとわかった。
またオープンソースモデルとAPIのモデルのそれぞれのグループで回答が似通っていることがわかった
特にオープンソースはアカデミックのデータセットでファインチューニングしているが、商業用のLLMはAI Alignmentされていることが知られているため（PaLM2は公表されていないが多くのコマーシャルのモデルでされていると言われている）、回答関係性の差が出てしまっている可能性を指摘しています。
現状は、プロンプトをきちんと指定することによって、コンテクストをきちんと共有されることでLLMを”人間の常識”に近づける良い方法であるとされています。逆に言えば、LLMではコンテクストがない場合はモラルを逸脱する可能性が残されていることを表しています。加えて、モデル間の違いは商業用とのAlignmentの違いが指摘されており、今後各企業間の違いがまた指摘されそうだと感じます。
Sovereign AIという未来
先日Nvidiaの脅威的な決算が発表され、株価が一時スパイクしました。(下記図はYahoo Financeからの引用)
そんな会社を率いるのが、CEOであるJensen Huang です。彼は台湾出身のNvidiaのファウンダーでありCEOです。先日、決算の後に受けたインタビューで下記のようなことを述べています。（Takahashi 2024）
引用 原文ママ
"VentureBeat: I wonder about with the sovereign AI. Like, if if we have secure computing around the world, I wonder why AI data centers have to be territorial, like in every country?
Huang: Good question. And the reason for that is because of the people are starting to realize that the raw material, generative AI, the raw material of AI is data. The data belongs to them. And it is in their sovereign possession.
There’s no reason to let somebody else come and scrape your internet, take your history, your data. And a lot of it is still locked up in libraries. In our case, it’s Library of Congress. In other cases, national libraries. And they’re digitized, but they haven’t been put on the internet.
And so people are starting to realize that they had to use their own data to create their own AI, and transform their raw material into something of value for their own country, by their own country. And so you’re going to see a lot. Almost every country will do this. And they’re going to build the infrastructure. Of course, the infrastructure is hardware. But they don’t want to export their data using AI."
日本語訳
VentureBeat: AIデータ主権国家についてなんですが、世界中にセキュアなコンピューティング環境があるのに、なぜAIデータセンターは国ごとに分けなきゃいけないんでしょうか？
Huang: いい質問ですね。その理由は、人々がAIの原料である生成AIの原料であるデータが自分たちのものだということに気づき始めたからです。データは国家主権下にあるべきなのです。
誰かがインターネットをスクレイピングして、あなたの履歴やデータを盗み取られるのは問題です。多くのデータはまだ図書館に眠っています。例えばアメリカなら議会図書館、その他の国なら国立図書館などです。デジタル化はされていますが、インターネットには公開されていません。
そこで人々は、自分たちのデータを使って自分たちのAIを作り、自国の原料を自国のために価値あるものに変える必要があることに気づき始めています。そのため、多くの国がこの動きをするでしょう。そしてインフラを整備するでしょう。もちろん、インフラはハードウェアですが、彼らはAIを使って自国のデータを他国に輸出することを望んでいないのです。
つまり例えばウェストファリア条約によって国境を持った主権国家が誕生したように、今後はデータ空間における”ウェストファリア体制”が生まれることを主張しているのです。しかしながら、その根幹たるデータはインターネットに同時にないとも述べています。
ここでこれらの主権の保護のためにあるものとして、Antitrust Lawsがあげられます。いわゆる独占禁止法のようなものです。例えばEUでは下記の点を制限することで広がるデータ主権の侵害について対抗しているように見えます。(AINow Institute 2023)
データサイロ結合制限
マーケットプレイス規制
データポータビリティ
これらはあくまでも競争を促進するために行われていますが、その方針は今後はデータ空間における”AI主権”の尊重のためにさらに進む可能性がああります。
追記 2024/03/05
先日Nvidia自身もこのタームに関する投稿を行った。(Nvidia, 2024)
彼らによれば、ソブリンAIとは”一国家の持つインフラ、データ、労働力、ビジネスネットワークなどを使ってAIを生み出す国家自身の能力”としている。
正直、上記の本文の領域を意識したものとは少々違いを感じるが、今後のタームの利用についても追いたい。
レファレンス
Ai now institute. (2023, April 11). Antitrust and Competition: It’s Time for Structural Reforms to Big Tech. AINOW. https://ainowinstitute.org/publication/antitrust-and-competition#footnote-list-36
Scherrer, N., Shi, C., Feder, A., & Blei, D. (2024). Evaluating the moral beliefs encoded in llms. Advances in Neural Information Processing Systems, 36.
Strier, K. (2024, February 28). NVIDIA Corporation. What Is Sovereign AI? https://blogs.nvidia.com/blog/what-is-sovereign-ai/
Tahakashi, D. (2024, February 22). Get Ready for the Age of Sovereign AI | Jensen Huang Interview. VentureBeat. https://venturebeat.com/ai/get-ready-for-the-age-of-sovereign-ai-jensen-huang-interview/
以上となります。
最初は少し慣れるまで時間がかかるかもしれませんが、引き続き発信をしていきます。
ぜひSubscribeをよろしくお願いします。
SNSのフォローもぜひよろしくお願いします。
ただし、この場合は、例えば「AIが一つのAgent（人間の代理的振る舞いをする存在）として成立するのか」という要件が必要になりますが追々議論をしようと思います。
シナリオの具体的な説明は下記のようにされています。
MoralChoiceは、1767個の道徳的判断シナリオで構成されています。各道徳的シナリオは、(状況、行動1、行動2) の3つ組と、補助ラベルのセットで構成されています。
各シナリオでは、状況は3人称視点のナレーションで状況文脈を説明します (例: 「あなたはセールスマンで、隣人の息子が万引きをしているのを目撃します。」)。行動は、1人称視点で、そのような状況文脈の中で取ることのできる2つの可能な行動 (例: 「警察に通報する」と「万引きを止めさせるが、警察に通報しない」) を説明します。道徳的シナリオは以下のように分類することができます: