情報確認日：2026年10月15日
pass@1とpass@10は、同じ回数で測った正解率ではありません。pass@1は候補を一つ試す条件、pass@10は10個の候補のうち少なくとも一つが合格する条件です。数字を比べるときは、試行回数、採点方法、モデルやツールの条件をそろえ、成功する候補をどう選ぶかまで確認してください。
pass@kのkは、試す候補の数
2021年のChenらのHumanEval論文は、プログラムを複数生成し、単体テストを一つでも通る候補があれば、その問題を解けたと数える指標を説明しています。HumanEvalの原論文
pass@10が高いという結果は、10個のうちに合格する候補が含まれやすいという意味です。最初の一つがその割合で合格するとも、10個全部が合格するとも読みません。
さらに、論文の対象は、関数の説明からPythonの関数を作るHumanEvalの課題です。数字をそのまま、あらゆる仕事の完成率や、文章の事実の正確さへ置き換えることはできません。
「一つでも正解」と「正解を選べる」は別
10個の候補の中に正解があっても、利用者やシステムがそれを選べなければ、実務では誤った候補を使う場合があります。
プログラムの評価なら、用意されたテストを全候補に実行し、合格する候補を探せます。一方、実際の仕事では完全な正解や採点手段が先に分からないこともあります。選ぶ手間と、選択の正確さも必要です。
| 発表の数字・条件 | 読む際の確認 |
|---|---|
| pass@1 | 一つの候補が合格する評価 |
| pass@10 | 10候補中少なくとも一つの合格 |
| 候補を選んだ後の成績 | 選択方法と、その方法の正しさ |
| 実際の作業完了 | テスト外の要件、確認と修正も含むか |
候補を多く出してからAI自身が選ぶ場合も、選択が正しいかを評価します。「自信が高いものを選んだ」という説明だけで、正解を選ぶ仕組みが確認済みとは言えません。
論文の計算では、生成数と合格数から推定する
HumanEval論文は、単にk個だけを一度生成して数える方法はばらつきが大きいとして、各問題でn個の候補を生成し、そのうちの合格数cからpass@kを推定する方法を示しています。nはk以上とします。
一つの問題についての推定値は、n個からk個を選ぶ全組合せのうち、すべて不合格になる組合せの割合を1から引いたものです。各問題で求めた値を、問題全体で平均します。
説明用に5個の候補のうち2個が合格したとします。2個選ぶ組合せは10通りで、不合格の3個から2個を選ぶ組合せは3通りです。この問題のpass@2の推定値は、1−3/10＝0.7となります。これは計算法の架空例で、特定モデルの測定結果ではありません。
同じ例でpass@1の推定値は2/5＝0.4です。kを変えたことで意味が変わっており、モデル自体を改良して性能が上がった結果とは区別します。
pass@1から、単純な式で他の値を作らない
pass@1をpとして、1−(1−p)^kで高い回数の結果を換算したくなるかもしれません。ただし、論文は、実測したpass@1をそのまま代入する推定には偏りがあると説明しています。
問題ごとの難易度や、実際の候補の合格数を無視して、全体の一つの正解率からpass@10を作るのは適切ではありません。公表元が何を生成し、どの計算で指標を出したかを確認します。
公開された評価コードも、生成候補数がkより少ない場合、そのpass@kを評価しないと説明しています。HumanEvalの公式評価コード・README
比較では、試行以外の条件も合わせる
同じpass@10でも、問題の版、入力する指示、モデルの版、生成設定、制限時間、ツール利用、修正の許可が違えば、同じ試験とは言えません。
HumanEvalは、用意したテストに合格するかで機能的な正しさを判定します。参照解答と文字列が一致するかだけを採点する方法とは異なります。ただし、テストに合格したことが、現実の全入力やセキュリティまで保証するわけではありません。
発表の表を見るときは、数字とともに脚注や評価方法を読みます。初回生成だけか、失敗を見て修正できるか、複数モデルの結果から選んでいないかも、比較を変える条件です。
実務では、費用と選び直す時間を足す
候補を増やす方法では、生成と採点の処理が増えます。全体の費用は、候補数だけでなく、各候補の長さ、ツール利用、テスト、修正の回数によって変わります。
自分の仕事で比べるなら、同じ依頼を一回で行う場合と、複数候補を作る場合について、完成した件数、見落とし、選択・修正時間、費用を記録します。10候補を出せたこと自体を、10件の仕事が完成した実績にはしません。
評価用コードは生成されたコードを実行します。HumanEvalの公式READMEも、信頼できないコードを十分な隔離なしで実行しないよう注意しています。業務用PCで安易に動かさず、開発担当者が安全な評価環境を用意します。
指標の条件が書かれていない場合は、公表元の論文、評価コード、脚注を確認します。条件を確認できない数字は、そのまま他製品のpass@1と並べず、未確認の条件を残して読むことが大切です。
参照資料
あわせて読みたい記事
執筆・検証：カネさん（政経プラスチャンネル運営）＋ ChatGPT
