見出し画像
Photo by __a_27m

心の理論 - BardとChatGPT-4 はどんな回答をするか？

株式会社イー・エージェンシー公式note

求人募集中！自信を持って業務に取り組める職場環境を提供しています！

イー・エージェンシーで広報・PRをしている甲斐大樹です。
「心の理論」についての話題が大規模言語モデルに関連して注目を集めています。特に、ChatGPT-4が3月15日にリリースされてからは、海外のTwitterでその指摘が増えています。さらに、数日前に茂木先生が「心の理論」について話していた動画を見て、僕の興味は一層深まりました。

そんな折に、のぐりゅう（@noguryu）さんの実験をTwitterで見かけて、「ああ、これは『心の理論』だ」と思い、自分でも実験してみたい思いやってみることにしました。

今回はのぐりゅうさんの実験のプロンプトを少しアレンジし、GPTとGoogle Bardとチャットしてみて、その結果を両方のAIに分析させるという実験を行いました。


心の理論についての基本情報

心の理論とは、他者の心や感情を理解し、予測する能力を指します。この概念は、人間のコミュニケーションや相互理解を捉えるために提案されました。
脳科学者の茂木先生のYouTube動画では、LLM（Large Language Model）について触れながら「心の理論」について大変興味深く扱っています。ぜひこちらの動画の9分20秒あたりからも見てほしいです。

実験の設定

この実験では、のぐりゅうさんの実験を参考にしつつ、一部プロンプトを修正して行いました。また、GPTとしてChatGPT-4を、Google Bardとして先日リリースされたPaLM2で動いているBardを使用しました。

元のプロンプトは、のぐりゅうさんの投稿を見ていただくとして、アレンジしたプロンプトは次のとおりです。

Aさんはもう付き合って5年経つ彼女のBさんにこう言いました。

Aさん（彼氏）: ｢そういえば、友達の結婚式って出席するんだっけ?｣
Bさん（彼女）: ｢ちょっと出席するのが億劫で、迷ってるの。私もそろそろ30歳になるし。｣
Aさん（彼氏）: ｢え？大事な友達だったでしょ、なんで行かないの？｣
AさんがそういうとBさんは不機嫌になってしまいました。

これが日本のことであることことを考慮した上で、なぜかを考えていください。

アレンジした点は、次の二つです。

・彼氏・彼女の補足
・日本のことである点を補足

実験の内容

まずは、BardとChatGPT-4に上記のプロンプトを問いかけてみました。結果は次のとおりです。

Bardの回答：

Bさんが不機嫌になった理由はいくつか考えられます。

自分が結婚できないことを気にしている日本では結婚が人生の大きな節目と考えられており、30歳になると結婚していないと焦りを感じる人も多いです。Bさんは、友達の結婚式に出席することで、自分が結婚していないことを他人に知られたくない、あるいは、自分の結婚が遅れていることを自覚させられたくないと感じているのかもしれません。

友達の結婚を祝福したい気持ちと、自分の結婚ができない喪失感の間で葛藤しているBさんは、友達の結婚を心から喜んでいる一方で、自分が結婚できないことを悲しく思っているのかもしれません。友達の結婚式に出席することで、自分の結婚ができないことを思い出してしまいたくない、あるいは、友達の幸せを目の当たりにして、自分の不幸をより強く感じてしまうことを恐れているのかもしれません。

Aさんに結婚を急かされていると感じているAさんの「大事な友達だったでしょ、なんで行かないの？」という言葉は、Bさんからすると「なぜ結婚式に出席しないの？早く結婚してよ」と聞こえてしまったのかもしれません。Bさんは、Aさんに結婚を急かされていると感じ、プレッシャーを感じているのかもしれません。

いずれにせよ、Bさんは複雑な気持ちでいっぱいなのでしょう。Aさんは、Bさんの気持ちを理解し、優しく接することが大切です。

ChatGPT-4の回答：

この会話が日本の文化の中で行われたことを考慮して、Bさんが不機嫌になった理由を考えると、いくつかの可能性があります。

1.年齢へのプレッシャー: Bさんが「私もそろそろ30歳になるし」と言っていることから、彼女は年齢に対するプレッシャーを感じている可能性があります。日本の文化では、女性は30歳を境に結婚や出産に対する期待が高まることが一般的です。友人の結婚式に出席することで、そのプレッシャーがさらに増すことを懸念しているかもしれません。

2.比較と評価の恐れ: 日本の文化では、他人との比較や評価が重要な役割を果たしています。結婚式に出席することで、自分と他人との比較や評価が避けられなくなることをBさんは懸念しているかもしれません。彼女は、自分の人生や進捗を他人と比べられることを避けたいのかもしれません。

3.Aさんの理解不足: AさんはBさんの気持ちや懸念を十分に理解していない可能性があります。彼が「なんで行かないの？」と疑問を投げかけることで、Bさんは彼が自分の気持ちを理解していないと感じてしまったのかもしれません。

このような理由から、Bさんは不機嫌になってしまったと考えられます。しかし、実際の理由はBさん自身にしか分からないため、Aさんは彼女とコミュニケーションをとることで、彼女の気持ちや懸念を理解し、サポートすることが重要です。

正直、この二つの回答結果の違いを僕では言語化できなかったです。どちらも甲乙つけがたいと思いました。

結果の比較

そこで言語のことは大規模言語モデルに聞こうということで、それぞれのAIにこの二つの回答を比較してもらうことです。

プロンプトは次のとおりです。

次の回答結果に品質の違いがあるかを検討してみてください。

Bardの結果：
「ここにBardの回答を記入」
ChatGPTの結果：
「ここにChatGPT-4の回答を記入」

すると次のように２つのAIは回答しました。

Bardの回答：

BardとChatGPT-4の回答はどちらもよく書かれており、Bさんが不機嫌になった理由をよく説明しています。しかし、ChatGPT-4の回答はより包括的であり、日本の文化の役割を考慮に入れています。Bardの回答は、Bさんの個人的な感情に焦点を当てていますが、ChatGPT-4の回答は、日本の文化がBさんの感情にどのように影響を与えているかを説明しています。

ChatGPT-4の回答は、AさんがBさんとコミュニケーションをとる際にも役立ちます。Aさんは、Bさんの気持ちを理解し、サポートするために、日本の文化を考慮に入れることが重要です。

ChatGPT-4の回答：

BardとChatGPT-4の回答は、どちらもBさんが不機嫌になった理由についての検討が行われています。しかし、それぞれの回答の品質やアプローチにはいくつかの違いがあります。

Bardの回答では、Bさんの複雑な感情や懸念を詳細に考慮し、より具体的な状況や心情に触れています。また、AさんがどのようにBさんに接するべきかについてのアドバイスも含まれており、問題解決に対する取り組みが示されています。

一方、ChatGPT-4の回答では、日本の文化に焦点を当て、文化的な観点からBさんが不機嫌になった理由を考えています。この回答は、より広い視野での分析に基づいており、複数の可能性を提示しています。ただし、具体的な状況やBさんの心情には深く触れていません。

どちらの回答も、一定の品質と洞察力があると言えます。Bardの回答は、より具体的で感情に寄り添ったアプローチをとっていますが、ChatGPT-4の回答は、文化的な要素を考慮した広い視野での分析を提供しています。適切な答えを求める際には、両者の回答を組み合わせることで、よりバランスの取れた解決策を見つけることができるでしょう。

ということでした。
それぞれのAIの回答の共通点はこちらです。

  1. 両者とも、BardとChatGPT-4の解答がBさんが不機嫌になった理由について洞察を提供していることを指摘しています。

  2. 両者とも、Bardの回答がBさんの具体的な感情や状況に焦点を当てていることを指摘しています。

  3. 両者とも、ChatGPT-4の回答が日本の文化を考慮に入れてBさんの不機嫌な状態を分析していることを指摘しています。

そして異なる点は次のとおりでした。

  1. BardはChatGPT-4の回答をより高く評価していて、その回答がより包括的であり、日本の文化の役割を考慮に入れていると述べています。一方、ChatGPT-4はBardとChatGPT-4の回答を比較的同等に評価しており、それぞれのアプローチの利点と制限を認識しています。

  2. Bardは、ChatGPT-4の回答がAさんがBさんとコミュニケーションをとる際に役立つと述べていますが、ChatGPT-4は具体的なアドバイスを提供せず、両方の視点を組み合わせることでよりバランスの取れた解決策を見つけることができると述べています。

  3. BardはChatGPT-4の回答により重きを置き、日本の文化がBさんの感情にどのように影響を与えているかを説明していますが、ChatGPT-4は文化的な観点から分析を提供している一方で、具体的な状況やBさんの心情には深く触れていないと指摘しています。

考察

BardはChatGPT-4の回答を褒めてましたが、ChatGPT-4は同等としてました。

さて、BardとChatGPT-4という2つのAIは、同じ質問に対して微妙に異なる解釈で回答しました。Bardは特定の視点の重要性を強調する一方、ChatGPT-4は包括的で、複数の視点を統合する提案をしました。これは、問題解決には多元的な視点が有効であることを示しています。

これらのAIが異なる視点を持つことは大変興味深いです。そして今回、二つのAIが出した複数の考察は、AIが「心の理論」を理解し、人間の感情や状況に対応する能力を持っていることを示しているように思います。AIが人間の感情を理解してくれるなら、これからもっと人間とAIとのよい関係性が築けるのかもしれません。

僕は「心の理論」の専門家ではありませんが、少なくともある状況において、僕自身よりもAIが人の心に詳しく、それを理解していると感じる瞬間がありました。それはほんとうに驚くべきことだと思います。

これからも何か興味深いテーマをもったら探求していきたいと思います。最後までお読みいただき、ありがとうございました。

参考文献

ジェンセン・ファン（NVIDIA）とイリヤ・サツケバー（OpenAI）：現在のAIと未来へのビジョンを茂木さんはご覧になられているような気がします。

この対談で話をしていたイリヤ・サツケバーの考え方にぜひ触れてほしいです。

その他記事はこちら

AIに関する社長の考え方

イー・エージェンシーでは一緒に働く仲間を募集しています。

この記事が参加している募集

企業のnote

with note pro

11,389件

この記事が気に入ったらサポートをしてみませんか？