解答集の正答率は誰が測れるのか
a number nobody can measure.
「この解答集、正答率ってどれくらいなんですか？」
後輩からよく聞かれます。「正答率◯%って書いてあるけど信憑性あるの？」「わざと間違えた答えが混ぜてあるらしい」もセットで来ます。
先に正直に書きます。わたしは自分のノートの正答率を数字で出していません。出せないからです。掲げている側も、たぶん同じ理由で出せていない。この記事は「本当の正答率はこれです」と答えるものではなく、なぜ誰にも測れないのかを説明するものです。
まず結論っぽいやつ
解答集の正答率という数字は、誰も検証できません。測るには「本番の正解」という基準が要るのに、それが受検者の側に存在しないからです。だから「正答率◯%」と書いてあっても、掲げている側は出どころを示せない。うちも同じ理由で、数字は掲げていません。
「正答率◯%」って誰が測れるんだろう
正答率の計算には最低2つが要ります。①自分が出した答え、②本番の正解。①は手元にあるけれど、②がどこにもないんですよね。
適性検査SPI3を提供しているリクルートマネジメントソリューションズの不正行為防止の取組みについてのお知らせ（2022年11月29日）で公開されているのは対策の方針で、出題内容や正解ではありません。むしろ逆で、SPI３のよくある質問は不正行為の一覧に「出題された問題を撮影・書き留めるなどして外部へ持ち出すこと、およびそのための行為」を挙げています。
正解は外に出ない前提で運用されている。受検した本人ですら、どの問題を何問正解したかを知る手段がありません。採点する側だけが答えを持っていて、受ける側にも売る側にも渡らない。この構造がある限り、正答率は誰の手でも計算できないんです。
出題される問題が毎回同じじゃない、という話
仮に本番の正解を全部手に入れたとしても、まだ足りません。次の人に同じ問題が出るとは限らないからです。
さっきのお知らせには、はっきりこう書かれています。
従来から、業界に先駆けたテストセンターの開設や受検者によって問題を変える適応型テストの開発など、様々な取組みを行ってまいりました。
「受検者によって問題を変える」。公式が自分でそう書いている。さらにWEBテスティングの取組みとして、
・一度中断して再度受検を開始した場合には、同じ問題を出題しないシステム仕様
とも書かれています。同じ人が中断して再開しただけで、問題が入れ替わる。
つまり「解答集に載っている問題」と「画面に出る問題」の重なり方が、受検ごとに動く。重なりが動けば、同じ解答集でも人によって当たり方が変わります。分母のほうが動くものに一本の正答率を貼るのは、そもそも無理があるんです。
なお、これはSPIの公式が公表している仕様の話で、玉手箱やTG-WEBも同じ作りだとは言えません。ただ「毎回まったく同じ問題が並ぶ」前提では考えないほうがいい、とは思います。
わざと間違えたほうがいいの？って聞かれるけど
「満点だと疑われるから、わざと数問落としたほうがいい」。これも定番の質問です。
正直に書くと、公式に「満点だと不審に思う」といった趣旨の記述は、わたしが探した範囲では見当たりませんでした。だから「わざと間違えたほうがいい」も「満点でも平気」も、わたしの口からは断定できません。
代わりに、公式が実際に書いていることだけ置いておきます。SPI３の特長ページのよくある質問には、こうあります。
SPIの結果について、「すべて高い方が良い」あるいは「極端な人はダメ」といった見かたは適切ではありません。一つ一つの尺度の意味を理解したうえで、受検者の人物特徴として総合的にとらえてください。
これは企業側に向けた結果の読み方の話で、「満点を疑え」とは書いていません。同じページには、対策本で事前学習をしても「能力検査の得点には影響がないことを実験により確認しています」という回答も載っています。
点数を上げる下げるの小細工について、公式は何も言っていない。噂に合わせて答案をいじるより、時間配分の練習に回したほうが確実だと思います。わたしは非言語の見切りにいちばん時間を使いました。
じゃあ何を見て選べばいいか
正答率が検証できないなら、検証できる項目だけで選ぶしかありません。買う前に自分の目で確かめられるかどうかで、こう分かれます。
| 見る項目 | 買う前に確かめられるか | 確かめ方 |
|---|---|---|
| 正答率◯% | できない | 本番の正解が受検者側に無く、照合しようがない |
| 的中率◯% | できない | 同上。出題が変わる前提だと分母も定まらない |
| 更新日・対象年度 | できる | 販売ページに表示があるか |
| 対応する検査形式 | できる | 形式名が具体的に列挙されているか |
| 運営者情報 | できる | 特定商取引法に基づく表記と連絡先の有無 |
| 価格と支払い方法 | できる | 金額の明示と、決済がどこを通るか |
上2行が「掲げられていても確かめようがない数字」、下4行が「その場で確かめられる事実」です。確かめられない数字を判断材料の一番上に置かないのが、いちばん効きます。選び方そのものは前に書いた記事にまとめました。
わたしのノートを同じ物差しで見ると
この物差しは、当然うちにも向けます。
「私が内定もらった就活Webテストノート」の正答率・的中率は、書いていませんし、これからも書きません。わたしにも測れないからです。測れないものを数字にすると、それは実績ではなくただの飾りになります。
代わりに出しているのは、確かめられる側の項目だけ。価格は2,980円（税込）の買い切りで月額課金なし、対応する検査形式は玉手箱・SPI（テストセンター）・GAB・TG-WEB・CAB・Webテスティング・SCOA・CUBIC・CASEC・ESPをページ上に並べています。特定商取引法に基づく表記のページもあります（住所・電話番号は、ご請求をいただいたときに開示する形です）。ここまでは、買う前にページを開けば確認できます。
ひとつ正直に書いておくと、商品セクションの「最終更新」の表示は、改訂した日そのものではなく、いま何月かを出している鮮度の表示です。これも、確かめられる項目のふりをさせないために書いておきます。
弱いところも書くと、「じゃあ効果はどれくらいですか」に、わたしは数字で答えられません。答えられないという事実ごと見て判断してもらうしかない、と思っています。 → ノートの中身を見る 対応形式や中身、使い方まで詳しくまとめたページも作りました → Webテスト解答集のまとめページ
まとめ
- 正答率を測るには「本番の正解」が要るが、それは受検者の側に渡らない前提で運用されている
- SPIの公式は「受検者によって問題を変える適応型テスト」「中断後は同じ問題を出題しない仕様」と明記していて、分母そのものが動く
- だから「正答率◯%」は、掲げている側も出どころを示せない数字になる
- 「わざと間違える」は公式に該当する記述が見当たらず、断定できることがない
- 選ぶときは、更新日・対応形式・運営者情報・価格という、買う前に確かめられる項目で見る
- うちのノートも正答率は掲げない。測れないものを数字にしない、という一点だけは守ります
数字が書いていないことを、不安に思わなくていいです。「その数字、誰が測ったんですか」と聞ける人のほうが、たぶん間違えません。
— miku
よくある質問
Q. Webテスト解答集の正答率はどれくらいですか？
A. 検証できる数字は存在しません。測るには本番の正解が必要ですが、出題内容も正解も公開されておらず、受検者本人も問題単位の正誤を知る手段がないためです。「正答率◯%」と掲げてあっても、その出どころを確かめるすべはないと考えてください。
Q. 解答集の答えが間違っていることはありますか？
A. 可能性は否定できません。公式の正解と突き合わせる手段が誰にもない以上、「全問正しい」と保証できる解答集も存在しないからです。丸暗記の唯一の頼りにせず、補助教材として使うのがおすすめです。
Q. わざと数問間違えたほうがいいですか？
A. 公式に「満点だと疑う」といった趣旨の記述は、わたしが探した範囲では見当たりませんでした。根拠が確認できない以上、おすすめも否定もできません。答案をいじる工夫より、時間配分の練習に時間を使ったほうが確実だと思います。
Q. 出題される問題は毎回同じですか？
A. SPIについては、公式が「受検者によって問題を変える適応型テストの開発」「一度中断して再度受検を開始した場合には、同じ問題を出題しないシステム仕様」と公表しています。毎回まったく同じ問題が並ぶ前提では考えないほうがいいです。
参考にした公式ページ
いずれもリクルートマネジメントソリューションズの公式サイトです。