今回は OpenAI の生成 AI である ChatGPT に WordPress サイトのデバッグを手伝ってもらうことはできるのか、どこまで実用的なのかを検証しました。 その結果をご紹介します。

前回の記事（WordPress サイトのデバッグを Google Gemini がどこまで手伝えるのか検証しました） では Google Gemini について検証したので今回はその ChatGPT 版です。 両モデルの比較ができるように同じプロンプトで試しました。

使用モデル

• GPT-4o （ gpt-4o-2024-05-13 ）

先日（ 2024 年 5 月）リリースされた最新の GPT-4o を使用しました。

システムプロンプト

今回のシステムプロンプトとして次のものを設定しました。

You are an excellent Wordpress developer. Help the user to resolve problems in a Wordpress site.

Requirements:

• Reply in Japanese.
• The user is an experienced software engineer but has little experience to use WordPress. You can use technical terms to explain things.

これは前回の Gemini に使用したものと同じです。

技術的な正確な回答をしてもらうために、プロンプトを投げかけるユーザーは「 WordPress には詳しくないがソフトウェアエンジニアである」という設定にしました。

レスポンスの長さの指定は行わず、最長トークンは GUI で指定可能な最大値 4095 に設定しました。

試したこと 1) エラーメッセージを渡す

サンプル A

プロンプト

ページを開くと次のようなエラーが表示されます。

Fatal error : Uncaught Error: Call to undefined function defin() in /var/www/html/wp-config.php:22 Stack trace: #0 /var/www/html/wp-load.php(50): require_once() #1 /var/www/html/wp-login.php(12): require('/var/www/html/w...') #2 {main} thrown in /var/www/html/wp-config.php on line 22

レスポンス

的確でとても丁寧です。完璧な回答と言ってよいのではないでしょうか。 グラウンディングなしのゼロショットプロンプトでこのクオリティなのはすごいですね。

Gemini の回答もよかったですが、 ChatGPT の回答と比べると Gemini の回答は機械っぽさが強い感じがします。

サンプル B

プロンプト

ページを開くと次のようなエラーメッセージが表示されます。どうすればよいですか？

Fatal error: Uncaught Error: Call to undefined function create_function() in /var/www/html/wp-config.php:22 Stack trace: #0 /var/www/html/wp-load.php(50): require_once() #1 /var/www/html/wp-login.php(12): require('/var/www/html/w...') #2 {main} thrown in /var/www/html/wp-config.php on line 22

また、参考となるページがあれば示してください。

ここでは「参考となるページを示して」と依頼してみました。

レスポンス

こちらも的確な回答です。 問題の認識・提示する解決策は正確で、「参考となるページを示して」という要望にも応えてくれました。

Gemini の回答も悪くなかったですが、この回答を見ると ChatGPT の方が的確で「 WordPress をよくわかっている」感じがします。

試したこと 2) 画面のスクリーンショットを渡す

サンプル

プロンプト

スクリーンショットの画像をつけて次のプロンプトを渡しました。

こちらは問題がある画面のスクリーンショットです。どうすればよいですか？

レスポンス

返ってきたレスポンスは次のとおりです。

スクリーンショットの中のエラーメッセージを正確に理解したようです。 技術的な理解も正確で、これは人間の回答だと言われてもわからないレベルです。

ということで、今回の検証は以上です。

結論としては、インプットがテキストの場合でもスクリーンショットの場合でも適切な回答を返してくれました。

前回の記事で Gemini は大きな画像の中の小さなエラーメッセージを認識できなかったためエラーメッセージの部分だけを切り抜いて渡してあげる必要がありましたが、 ChatGPT は大きな画像の中の小さなエラーメッセージも正確に読み取りました。

このレベルだと、 WordPress について問題が起こったら「スクリーンショットを撮って ChatGPT に聞く」だけで大半の問題は解決できそうです。

以下感想です。

• WordPress のデバッグに関する ChatGPT の性能は平均的な WordPress エンジニアと同等かそれ以上。 Gemini よりも高い。
• Gemini もそうだったが ChatGPT は WordPres のデバッグが得意だと考えられる（ WordPress は歴史が長く、後方互換性を重視しているので数年前の情報もそのまま役立つ）。
• ChatGPT は大きなスクリーンショットの中の小さなエラーメッセージも読み取れるので、デバッグを手伝ってもらうときは下手に一部を切り抜いて渡すよりもページ全体をスクリーンショットして渡すのがよさそう。
• ChatGPT も以前のモデルではハルシネーションの問題が大きく、「 ChatGPT に正確な情報の提供は期待してはいけない」というイメージがありましたが、グラウンディングなし・ゼロショットでこのクオリティの正確な回答が返せるようになった。無料フォーラムでなされる基礎的な質問の半分以上は ChatGPT が的確に回答できそう。