「ChatGPTを賢くする呪文」があると報じられ、話題となっています。
この記事では、そのニュースの基になった論文での報告について、心理学の話と絡めながらご紹介していきます。

日常会話のような文章での質問に日常会話のように答えてくれ、その精度はそこそこの高さを持つChatGPTですが、苦手な質問のタイプがあります。
それは、数学のように論理的な思考を組み合わせることです。

例えば以下のような文章問題
16個のボールがある。その半分はゴルフボールで、ゴルフボールの半分は青い。青色のゴルフボールの数は幾つでしょう？
正解は4個ですが、ChatGPTは、しばしば「8個」と誤った答えを導き出してしまうことが知られています。

しかし、質問の最後に“Let's think step by step”（一歩ずつ考えよう）と指示することで、ChatGPTの正答率がぐんと上がることが、2022年に公開された論文で報告されています。
Large language models are zero-shot reasoners
この"Let's think step by step"（一歩ずつ考えよう）―通称「呪文」は、数学の文章題、論理的な推論問題、演繹（えんえき）法や帰納法といった記号推論などで有効で、数学の文章題は正答率が17.7%から78.7%に上がりました。

人間が日頃自然に行っている「目の前の問題を幾つかの段階に分けて解決する」という処理をAIは苦手としていますが、論文では、呪文が「思考の連鎖」によりこういった処理を促進したのだろうと考察されています。

論文では、実験の結果有効な呪文には他に"First,"（まず最初に）、"Let’s think about this logically.”（論理的に考えよう）、"Let’s solve this problem by splitting it into steps"（この問題を段階に分けて解こう）、"Let’s be realistic and think step by step."（一歩ずつ、現実的に考えよう）、”Let’s think like a detective step by step. ”（一歩ずつ、探偵のように考えよう）などがありました。
また、言語モデルの深さがある一定の閾値を超えていなければ、呪文の効果が上がらないことも確認されました。

「ChatGPTを賢くする呪文」のニュースの基になった論文での報告についてご紹介しました。
次回の記事では、この論文の知見と心理学の理論の関連についてご説明していきます。