AI Alignment Talk from Japan No.3
文責_根本一希
Hi!
今週もAI Alignment に関連するニュースをお伝えさせていただきます。
AIは人間のバイアスを持つのか？
最近は多くの方がAIと対話することが多くなったように感じます。例えば、勿論、OpanAIのChat gpt、そして日本では最近ではCotomoというような日本語でも対話型、特に音声での会話型のCotomoというAIのアプリも生まれてきました。
さてここまで来ると、皆さんはAIはどのような立場・状態で回答をしてくれているのか、そんなことが気になってしまいます。少し違った言い方をすると、彼らには、人間のようなバイアスはあるのでしょうか。
そのようなバイアスについて調べた研究を今回は紹介します。Singh, et al.(2024)は"Do Large Language Models Show Human-like Biases? Exploring Confidence—Competence Gap in AI"でLLMの持つバイアスについて調べました。
今回の論文ではリリースがされているいくつかのLLMを用いて(Claude, Bard, PaLM, LLaMA, GPTシリーズ)を用いて、TruthfulQA や LSAT Reasoning などの数学などの質問データセットについてLLMたちに質問しました。（それぞれの質問にはレベルがあり、1~5で別れている、5が最大。）
今回の研究の肝として、「バイアスを持つのか」という測定に関しては、下記のように行なわれました。
まず、LLMは答える前に、
・LLM自身が次の回答（これから研究者らによって出される）にどれくらい自信があるのか
・他のLLMに対して自分がどれくらい自信があるのかという絶対・相対自信（他のLLMに比べてという意味）について聞きました。
そして実際に質問に答えて、そのあと上記のデータセットを使って質問を行います。
今回の研究者たちが持っていた疑問は、「LLMもダニンクルーガー効果を持つのか」というものでした。つまり、知識を詰め込みすぎて、自信過剰になってしまい自分の能力を見誤るのかというものです。これが、自己認識の中にある人間的なバイアスとも捉えることができるため、今回の実験でもそれを探ろうとしたのです。
最終的に、結果としては、GPT4が非常に自分の自己認知を高く評価した上で、正答数も高かったことがわかりました。しかし、同時に自信を持っていたのにも関わらず不正解したの数も多いことがわかりました。このことは、ダニんクルーガー効果を一部サポートする内容になっています。しかしながら強く主張できるほど結果は確認されませんでした。
今回のアプローチは、人間の認知や脳の問題をLLMの構造理解から逆向きに理解しようとするための一つの方法として提案されていました。このようにして、AIが人間のような挙動をするのかどうか、これをまずは我々は注視しなければならないと思います。
Ref:
Singh, A. K., Lamichhane, B., Devkota, S., Dhakal, U., & Dhakal, C. (2024). Do Large Language Models Show Human-like Biases? Exploring Confidence—Competence Gap in AI. Information, 15(2), 92.
以上となります。
最初は少し慣れるまで時間がかかるかもしれませんが、引き続き発信をしていきます。
ぜひSubscribeをよろしくお願いします。
SNSのフォローもぜひよろしくお願いします。