解答集の正答率は誰が測れるのか

「この解答集、正答率ってどれくらいなのか」。

「正答率◯%って書いてあるけど信憑性はあるのか」「わざと間違えた答えが混ぜてあるらしい」も、セットで検索されている疑問です。

当サイトは、販売している解答ノートの正答率を数字で出していません。出せないからです。掲げている側も、おそらく同じ理由で出せていません。ここで書けるのは、なぜ誰にも測れないのかという中身だけです。

当サイトは、数え方を示せない数字は載せない方針で記事と商品ページを書いています。正答率は、その方針が一番はっきり効く例です。

正答率という数字は、誰にも検証できない

解答集の正答率という数字は、誰も検証できません。測るには「本番の正解」という基準が要るのに、それが受検者の側に存在しないからです。だから「正答率◯%」と書いてあっても、掲げている側は出どころを示せません。当サイトも同じ理由で、数字は掲げていません。

「正答率◯%」って誰が測れるんだろう

正答率の計算には最低2つが要ります。①自分が出した答え、②本番の正解。①は手元にあるけれど、②がどこにもありません。

適性検査SPI3を提供しているのは、リクルートマネジメントソリューションズです。不正行為防止の取組みについてのお知らせは2022年11月29日に公開されました。そこに載っているのは対策の方針で、出題内容や正解ではありません。むしろ逆で、SPI３のよくある質問は不正行為の一覧を載せています。そこには「出題された問題を撮影・書き留めるなどして外部へ持ち出すこと、およびそのための行為」が挙げられています。

正解は外に出ない前提で運用されている。受検した本人ですら、どの問題を何問正解したかを知る手段がありません。採点する側だけが答えを持っていて、受ける側にも売る側にも渡らない。この構造がある限り、正答率は誰の手でも計算できません。

出題される問題が毎回同じじゃない、という話

仮に本番の正解を全部手に入れたとしても、まだ足りません。次の人に同じ問題が出るとは限らないからです。

さきほどのお知らせには、はっきりこう書かれています。

従来から、業界に先駆けたテストセンターの開設や受検者によって問題を変える適応型テストの開発など、様々な取組みを行ってまいりました。

「受検者によって問題を変える」。公式が自分でそう書いています。さらにWEBテスティングの取組みとして、

・一度中断して再度受検を開始した場合には、同じ問題を出題しないシステム仕様

とも書かれています。同じ人が中断して再開しただけで、問題が入れ替わる。

つまり「解答集に載っている問題」と「画面に出る問題」の重なり方が、受検ごとに動く。重なりが動けば、同じ解答集でも人によって当たり方が変わります。分母のほうが動くものに一本の正答率を貼るのは、そもそも無理があります。

言い換えると、「正答率◯%」を出すには、①本番の正解を入手し、②同じ問題が誰にでも同じ順で出る、という2つの条件が同時に要ります。公式の説明を読む限り、どちらも成立していません。条件が2つ欠けている数字は、精度が低いのではなく、計算そのものが始まっていないということです。

なお、これはSPIの公式が公表している仕様の話で、玉手箱やTG-WEBも同じ作りだとは言えません。ただ「毎回まったく同じ問題が並ぶ」前提では考えないほうがいい、とは言えます。

わざと間違えたほうがいいのか

「満点だと疑われるから、わざと数問落としたほうがいい」。これも定番の疑問です。

正直に書くと、公式に「満点だと不審に思う」といった趣旨の記述は、探した範囲では見当たりませんでした。だから「わざと間違えたほうがいい」も「満点でも平気」も、当サイトからは断定できません。

代わりに、公式が実際に書いていることだけ置いておきます。SPI３の特長ページのよくある質問には、こうあります。

SPIの結果について、「すべて高い方が良い」あるいは「極端な人はダメ」といった見かたは適切ではありません。一つ一つの尺度の意味を理解したうえで、受検者の人物特徴として総合的にとらえてください。

これは企業側に向けた結果の読み方の話で、「満点を疑え」とは書いていません。同じページには、対策本で事前学習をしても「能力検査の得点には影響がないことを実験により確認しています」という回答も載っています。

点数を上げる下げるの小細工について、公式は何も言っていない。噂に合わせて答案をいじるより、時間配分の練習に回したほうが確実です。非言語を何秒で見切るかの決め方はSPI非言語、何秒で見切るかに整理しました。

じゃあ何を見て選べばいいか

正答率が検証できないなら、検証できる項目だけで選ぶしかありません。買う前に自分の目で確かめられるかどうかで、こう分かれます。

見る項目	買う前に確かめられるか	確かめ方
正答率◯%	できない	本番の正解が受検者側に無く、照合しようがない
的中率◯%	できない	同上。出題が変わる前提だと分母も定まらない
更新日・対象年度	できる	販売ページに表示があるか
対応する検査形式	できる	形式名が具体的に列挙されているか
運営者情報	できる	特定商取引法に基づく表記と連絡先の有無
価格と支払い方法	できる	金額の明示と、決済がどこを通るか

上2行が「掲げられていても確かめようがない数字」、下4行が「その場で確かめられる事実」です。確かめられない数字を判断材料の一番上に置かないのが、いちばん効きます。選び方そのものは前に書いた記事にまとめました。

当サイトのノートを同じ物差しで見ると

この物差しは、当然こちらにも向けます。

「就活Webテスト解答ノート」についても、正答率・的中率は掲載していません。測れないからです。測れないものを数字にすると、それは実績ではなくただの飾りになります。

代わりに出しているのは、確かめられる側の項目だけ。価格は2,980円（税込）の買い切りで、月額課金はありません。対応する検査形式は玉手箱・SPI（テストセンター）・GAB・TG-WEB・CAB・Webテスティング・SCOA・CUBIC・CASEC・ESPをページ上に並べています。特定商取引法に基づく表記のページもあります（住所・電話番号は、ご請求をいただいたときに開示する形です）。ここまでは、買う前にページを開けば確認できます。

ひとつ正直に書いておくと、商品セクションの「最終更新」の表示は、改訂した日そのものではなく、いま何月かを出している鮮度の表示です。これも、確かめられる項目のふりをさせないために書いておきます。

弱いところも書くと、「じゃあ効果はどれくらいですか」に、当サイトは数字で答えられません。言えるのは、対策にかける時間を圧縮して、ES・面接・企業研究に時間を回すための道具だ、という位置づけまでです。答えられないという事実ごと見て判断してもらうしかない、と考えています。 → ノートの中身を見る対応形式や中身、使い方まで詳しくまとめたページもあります → Webテスト解答集のまとめページ

測れない数字と、買う前に確かめられる項目

正答率を測るには「本番の正解」が要るが、それは受検者の側に渡らない前提で運用されている
SPIの公式は「受検者によって問題を変える適応型テスト」「中断後は同じ問題を出題しない仕様」と明記していて、分母そのものが動く
だから「正答率◯%」は、掲げている側も出どころを示せない数字になる
「わざと間違える」は公式に該当する記述が見当たらず、断定できることがない
選ぶときは、更新日・対応形式・運営者情報・価格という、買う前に確かめられる項目で見る
当サイトのノートも正答率は掲げない。測れないものを数字にしない、という一点は守ります

数字が書いていないことを、不安に思わなくていいです。「その数字、誰が測ったんですか」と聞ける人のほうが、たぶん間違えません。

よくある質問

Q. Webテスト解答集の正答率はどれくらいですか？

A. 検証できる数字は存在しません。測るには本番の正解が必要ですが、出題内容も正解も公開されておらず、受検者本人も問題単位の正誤を知る手段がないためです。「正答率◯%」と掲げてあっても、その出どころを確かめるすべはないと考えてください。

Q. 解答集の答えが間違っていることはありますか？

A. 可能性は否定できません。公式の正解と突き合わせる手段が誰にもない以上、「全問正しい」と保証できる解答集も存在しないからです。丸暗記の唯一の頼りにせず、補助教材として使うのがおすすめです。

Q. わざと数問間違えたほうがいいですか？

A. 公式に「満点だと疑う」といった趣旨の記述は、探した範囲では見当たりませんでした。根拠が確認できない以上、おすすめも否定もできません。答案をいじる工夫より、時間配分の練習に時間を使ったほうが確実です。

Q. 出題される問題は毎回同じですか？

A. SPIについては、公式が「受検者によって問題を変える適応型テストの開発」「一度中断して再度受検を開始した場合には、同じ問題を出題しないシステム仕様」と公表しています。毎回まったく同じ問題が並ぶ前提では考えないほうがいいです。

参考にした公式ページ

いずれもリクルートマネジメントソリューションズの公式サイトです。