AIが「95％正しい」と答えたら、その数字は何？自己評価と実測精度の違い

情報確認日：2026年10月14日

AIが会話中に根拠を示さず付けた「95％正しい」は、その回答が95％正しいと実測された証拠ではありません。正答率は、問題群を正解と照合して測る値です。自信の数字が役立つかも、同じ条件で自信と実際の正誤を比べて確かめる必要があります。

三つの数字を、同じものとして読まない

「この回答に95％自信がある」と「100問中95問正解した」は、由来が異なります。また、100問中95問正解したモデルでも、全ての新しい問いがそれぞれ95％正しいと確認されたわけではありません。

実測値には、どんな問題を使ったか、正解をどう決めたか、モデルの版、資料やツールの有無が必要です。同じモデル名でも、評価した条件と現在の会話の条件が違えば、同じ結果になるとは言えません。

校正がよいというのは、自信の高さと実際の正解の割合が対応することです。たとえば説明用の例として、自信90％前後の回答を多数集めたとき、実際の正解もおよそ90％なら、対応が近いと考えられます。

これは一件の回答が正しいかを証明する方法ではありません。多くの回答を分類し、正誤と自信を比べる評価です。少数の成功例だけでは、細かい％の信頼性を確かめにくくなります。

自信を高めて答えるよう頼んだ後に数値が上がっても、正答数が増えたとは限りません。自己評価の表現を変えることと、答えの内容を改善することを分けます。

2023年のTianらの一次研究は、当時のChatGPT、GPT-4、Claudeなどを、TriviaQA、SciQ、TruthfulQAという課題で評価しています。言葉で出した自信が、モデルの条件付き確率よりよく校正される場合を報告しました。

そのため、「AIの自信は全て無意味」と一律に断定することも適切ではありません。ただし、これは特定のモデル・課題・評価方法の結果です。現在使う全サービスの自己申告の数値が、そのまま正しい確率だという根拠にはなりません。

研究の相対的な改善率と、回答の正答率も違います。校正の誤差が小さくなったという結果を、「正しい回答が同じ割合だけ増えた」と読み替えないでください。

2026年7月のSanz-Guerreroらの研究は、Llama 3.1、Qwen3、Gemma 3の大小各モデルを含む六つの公開重みモデルで実験しました。

論文は、AI自身の回答と、同じ内容を利用者が示した回答への自信を比べ、自分の回答への自信が高くなる傾向を報告しています。自信を尋ねる会話の置き方が評価に影響するという結果です。

これを、全てのAIが意図的に自分を正当化する証拠とは扱えません。研究対象と実験の現象を説明するもので、人のような意図や、今使っている特定製品の全応答を確認した結果ではありません。

また、他人の答えとして聞き直すだけで、全ての回答を正しく検証できるという保証にもなりません。自信が下がったことと、元の事実が間違いだったことは別です。

実務で使う一件の答えなら、数字をもう一度尋ねるより、その答えの成立条件を具体化する方が確認につながります。編集部の依頼例です。

この回答で、資料から確認できる点と、推測した点を分けてください。
結論が変わる条件を示してください。
自信の％を実測値として扱わず、確認すべき元資料や計算を示してください。

確認済みの根拠が示されたら、該当箇所を読んで、答えの対象や期間と合っているかを確かめます。根拠がない場合は、「未確認」の内容を数値へ変換せず残します。

継続して同じ種類の回答を扱う場合は、正解を用意し、出力した自信と正誤を記録します。OpenAIの評価ガイドは、目的、評価用データ、指標を定め、例外や人による評価を含めることを案内しています。

記録には問題、正解、回答、自信、モデル・日付、使った資料やツールを残します。評価に使った問題と、方法を調整するための問題を分け、同じ条件で比較します。

校正の成績がよくても、重要な一件の確認を省略できるとは限りません。自信は確認の順番を考える補助として使い、判断の根拠には、実際の資料とその回答が成立する条件を置いてください。

執筆・検証：カネさん（政経プラスチャンネル運営）＋ ChatGPT

ほかの記事を探す