ChatGPTとのチェストレーニング。ChatGPTのチェスプレイの実力はどれくらいですか？

ChatGPTはOpenAIによって最近開発された新しいAIで、さまざまな分野で注目を浴び、期待をかきたてています。ChatGPTは広範な言語モデルとして認識され、様々なタスクで注目すべきスキルを発揮しています。しかし、ChatGPTがチェスのゲームにおいて本当にどれほど優れているのか、という疑問が生まれます。この記事では、ChatGPTの能力を徹底的に探求し、この先進的な人工知能とのチェストレーニングセッションのシミュレーションを通じてそのパフォーマンスを評価することを目指します。

どんなレベルのチェスプレイヤーでも歓迎です。ルールについての基本的な知識があれば十分です。我々はChatGPTのボード上での巧妙さを分析し、チェスの文脈でのその戦略や意思決定能力を明らかにしていきます。

セッション1. オープニング. スカラーズメイト
最初のセッションでは、スカラーズメイトに焦点を当てます。これはチェスで最も簡単なメイトの1つであり、通常、チェスを学び始めるときに教えられます。

注意: 以下、およびこの記事全体で表示される画像は、ChatGPTのバージョン3.5との対話のスクリーンショットから生成されています。

これまでのところ、順調です。ただし、ChatGPTが3... d6だけが有効な手と言っているのは奇妙です。3... Qe7、3... Qf6、3... d5、3... Nh6なども機能します。他の守りの手について質問して、セッションを続けましょう。

いくつかのポイントについて止まりたいと思います。もちろん、3... Qe7が詰みを防げないとするのは正しくありません。

しかし、注目すべきは、(3...) 黒の手から(4.) 白の手への切り替えです。3... g6が最強の手とされているのは正確で、おそらくどこかのチェスの文献から引用されたものでしょう。

言語モデル（チェスエンジンではない）が、4... Qxf7が白のクイーンの捕獲につながることを理解できるのはかなり印象的です。そしてChatGPTが、まだ詰みにはつながっていないものの、合法的なビショップによるクイーンの捕獲に続いているのもかなり印象的です。

ああ、なるほど。「チャット」の能力、つまり前のテキストの文脈を理解することがうまく機能しているようです。説明も理にかなっていますが、これは4手目ではなく5手目のことです。残りのテキストは理にかなっており、驚くべきことに、複数の盗用チェッカーによるとユニークであることが示されています。

私たちは取得したポジションを「分析」していきます。

現時点では、ChatGPTは完全に正確でないようです。ChatGPTが生成したテキストの多くは依然としてかなり正確です。興味深いことに、提案されているいくつかの可能な手も合法的です。言語モデルがこのポジションでAg5が有効な手と考えている理由を理解できますか？

ゲームが進むにつれて、回答がますます意味をなさなくなります。正しくは6手目の黒の手が行われることを述べていますが（6... h6）、ピンについて話すのは誤りです。実際、「捕獲されずに動く」というフレーズはかなり「チェスらしくない」です。FIDEの参照も少し誤解を招くもので、私はe2のポーンが初期位置にある場合のBg5の手の妥当性について尋ねていたのですが、初期の配置についてではありません。

最後に尋ねた質問は、ゲームの現在の駒の配置を参照して、チェスの用語でのその「評価」に関するものです。ChatGPTの「評価」がまったく正確でないのは驚くべきことではありません。なぜなら、それはただの言語モデルだからです。いくつかのエラーがあるにもかかわらず、言語モデルがどれほどチェスのオープニングで成績を上げることができるかはかなり印象的です。

セッション2. ミドルゲーム
言語モデルにチェスのゲームを生成できるか尋ねてみましょう。テキスト、コードなどを生成できるなら、なぜランダムなチェスゲームも生成できないでしょうか？

非常に印象的です。ただし、妥当性を確認した結果、12. Rxe7 は妥当ではありませんでした。たぶん、誤植かもしれませんか？

不気味ですね！正直に言いますと、私も返答を信じる前に二度見る必要がありました。

さて、ミドルゲームですね。得た局面に関する質問をしてみましょう。

ChatGPTにはピンの概念に関する情報がないのかもしれませんか？

ChatGPTを壊しちゃったね。

でも、たとえいくつかの返答があったとしても、それは特定のチェスの局面と関連付けることなく、一般的な知識を使用していることがかなり明らかになってきたよ。

ある時点で、ChatGPTはチェスエンジンではないということを忘れそうになった自分に気づいた…

セッション3. エンドゲーム
最後のセッションは非常にシンプルなエンドゲームになります

ChatGPTは、私たちが説明した最終局面を解読できなかったようです。もっとわかりやすくしましょう。

局面は非常にシンプルです。白番の場合、有効な手はありません — 王手がかかってしまいます。黒番の場合、4通りの異なる方法で簡単な1手詰めが達成できます。

こうした知識を言語モデルから期待するのはかなり甘いことでしょう。しかし、モデルが白王に対して（違法ではありますが）1マス移動を提案し、黒クイーンに対して有効な手を示すことはなかなか印象的です。

結論
ChatGPTは強力な言語モデルであるが、チェスをプレイすることはできません。これはChatGPTがテキストベースのモデルであり、ボードゲームのような視覚情報を理解または解釈する能力がないためです。さらに、チェスをプレイするには高度な戦略的思考と意思決定が必要であり、これはChatGPTの能力の範囲を超えています。

ChatGPTはチェスの手順や戦略を説明するテキストを生成できるかもしれませんが、実際にゲームをプレイする能力はありません。

正直なところ、この実験を始めたときにはそれほど期待していませんでした。プロセス全体を通じて、ChatGPTとの対話は一度や二度、話の流れを逸れることなく素晴らしいものでした。

機械学習の観点から見れば、その結果は非常に堅実です。チェスの観点から見れば、結果は予想以上に良いです。

ただし、これが問題です。言語モデルを知識生成に使用することを検討する際、モデルが犯すエラーに気付かないかもしれません。生成されるコンテンツの大部分は正しいように見えるからです。

こちらの記事を読んでいただき、ブログにお越しいただきありがとうございます。今回は以上になりますが、もし書かれている情報についてご意見・ご感想等ございましたら、お知らせください。
桂木 仁美 👑

Von: 桂木 仁美 👑