해답집 정답률, 누가 잴 수 있나

a number nobody can measure.

'이 해답집, 정답률은 어느 정도예요?'

후배한테서 자주 듣는 질문이에요. '정답률 ◯%라고 쓰여 있던데 신빙성 있어요?' '일부러 틀린 답을 섞어놨대요'도 세트로 따라와요.

먼저 솔직하게 쓸게요. 저는 제 노트의 정답률을 숫자로 내놓지 않았어요. 낼 수 없기 때문이에요. 내걸고 있는 쪽도, 아마 같은 이유로 못 내고 있을 거예요. 이 글은 '진짜 정답률은 이겁니다'라고 답하는 글이 아니라, 왜 아무도 잴 수 없는가를 설명하는 글이에요.

일단 결론 비슷한 것부터

해답집의 정답률이라는 숫자는, 아무도 검증할 수 없어요. 재려면 '본시험의 정답'이라는 기준이 필요한데, 그게 응시자 쪽에는 존재하지 않기 때문이에요. 그래서 '정답률 ◯%'라고 쓰여 있어도, 내걸고 있는 쪽은 출처를 제시할 수 없어요. 저희도 같은 이유로, 숫자는 내걸지 않고 있어요.

'정답률 ◯%'는 대체 누가 잴 수 있을까

정답률 계산에는 최소 두 가지가 필요해요. ①내가 낸 답, ②본시험의 정답. ①은 손에 있지만, ②가 어디에도 없는 거예요.

적성검사 SPI3를 제공하는 리크루트 매니지먼트 솔루션즈의 부정행위 방지 대응에 관한 안내(2022년 11월 29일)에서 공개하고 있는 건 대응 방침이지, 출제 내용이나 정답이 아니에요. 오히려 반대로, SPI３ 자주 묻는 질문은 부정행위 목록에 '출제된 문제를 촬영・메모하는 등의 방법으로 외부로 반출하는 것, 및 그를 위한 행위'를 들고 있어요.

정답은 밖으로 나오지 않는 전제로 운용되고 있어요. 응시한 본인조차, 어느 문제를 몇 개 맞혔는지 알 수단이 없어요. 채점하는 쪽만 답을 갖고 있고, 응시하는 쪽에도 파는 쪽에도 건너오지 않아요. 이 구조가 있는 한, 정답률은 누구의 손으로도 계산할 수 없어요.

출제되는 문제가 매번 같지는 않다는 이야기

가령 본시험의 정답을 전부 손에 넣었다고 해도, 아직 부족해요. 다음 사람에게 같은 문제가 나온다는 보장이 없기 때문이에요.

아까 그 안내에는, 분명하게 이렇게 쓰여 있어요.

종래부터, 업계에 앞선 테스트센터 개설이나 응시자에 따라 문제를 바꾸는 적응형 테스트의 개발 등, 다양한 대응을 해왔습니다.

'응시자에 따라 문제를 바꾼다'. 공식이 스스로 그렇게 쓰고 있어요. 게다가 Webテスティング에 관한 대응으로,

・한 번 중단했다가 다시 응시를 시작한 경우에는, 같은 문제를 출제하지 않는 시스템 사양

이라고도 쓰여 있어요. 같은 사람이 중단했다가 재개했을 뿐인데, 문제가 바뀌는 거예요.

즉 '해답집에 실려 있는 문제'와 '화면에 나오는 문제'가 겹치는 방식이, 응시할 때마다 움직여요. 겹침이 움직이면, 같은 해답집이라도 사람에 따라 맞아 들어가는 정도가 달라져요. 분모 쪽이 움직이는 것에 하나의 정답률을 붙이는 건, 애초에 무리가 있는 거예요.

참고로 이건 SPI 공식이 공표하고 있는 사양에 관한 이야기고, 다마테바코나 TG-WEB도 같은 구조라고는 말할 수 없어요. 다만 '매번 완전히 같은 문제가 나열된다'는 전제로는 생각하지 않는 편이 좋다고는 생각해요.

일부러 틀리는 게 낫냐는 질문을 받는데

'만점이면 의심받으니까, 일부러 몇 문제 틀리는 게 낫다'. 이것도 단골 질문이에요.

솔직하게 쓰면, 공식에 '만점이면 수상하게 여긴다'는 취지의 기술은, 제가 찾아본 범위에서는 보이지 않았어요. 그래서 '일부러 틀리는 게 낫다'도 '만점이어도 괜찮다'도, 제 입으로는 단정할 수 없어요.

대신, 공식이 실제로 쓰고 있는 것만 놓아둘게요. SPI３의 특장 페이지의 자주 묻는 질문에는, 이렇게 있어요.

SPI 결과에 대해, '전부 높은 편이 좋다' 혹은 '극단적인 사람은 안 된다'와 같은 견해는 적절하지 않습니다. 하나하나의 척도의 의미를 이해한 뒤에, 응시자의 인물 특징으로서 종합적으로 파악해 주세요.

이건 기업 쪽을 향한 결과 읽는 법에 관한 이야기이고, '만점을 의심하라'고는 쓰여 있지 않아요. 같은 페이지에는, 대책서로 사전 학습을 해도 '능력검사 점수에는 영향이 없다는 것을 실험을 통해 확인했습니다'라는 답변도 실려 있어요.

점수를 올리고 내리는 잔재주에 대해, 공식은 아무 말도 하지 않고 있어요. 소문에 맞춰서 답안을 손보는 것보다, 시간 배분 연습으로 돌리는 편이 확실하다고 생각해요. 저는 비언어의 포기 판단에 가장 많은 시간을 썼어요.

그럼 뭘 보고 고르면 되나

정답률을 검증할 수 없다면, 검증할 수 있는 항목만으로 고르는 수밖에 없어요. 사기 전에 자기 눈으로 확인할 수 있는지 없는지로, 이렇게 나뉘어요.

보는 항목	사기 전에 확인할 수 있나	확인하는 법
정답률 ◯%	못 해요	본시험의 정답이 응시자 쪽에 없어서, 대조할 방법이 없어요
적중률 ◯%	못 해요	위와 같아요. 출제가 바뀌는 전제라면 분모도 정해지지 않아요
갱신일・대상 연도	할 수 있어요	판매 페이지에 표시가 있는지
대응하는 검사 형식	할 수 있어요	형식명이 구체적으로 열거되어 있는지
운영자 정보	할 수 있어요	특정상거래법에 근거한 표기와 연락처의 유무
가격과 결제 방법	할 수 있어요	금액이 명시되어 있는지, 결제가 어디를 거치는지

위의 2행이 '내걸려 있어도 확인할 방법이 없는 숫자', 아래 4행이 '그 자리에서 확인할 수 있는 사실'이에요. 확인할 수 없는 숫자를 판단 재료의 맨 위에 두지 않는 것이, 가장 잘 들어요. 고르는 법 자체는 전에 쓴 글에 정리해뒀어요.

제 노트를 같은 잣대로 보면

이 잣대는, 당연히 저희에게도 들이대요.

「제가 내정받은 취업 웹테스트 노트」의 정답률・적중률은, 쓰지 않고 있고, 앞으로도 쓰지 않을 거예요. 저도 잴 수 없기 때문이에요. 잴 수 없는 것을 숫자로 만들면, 그건 실적이 아니라 그냥 장식이 돼요.

대신 내놓고 있는 건, 확인할 수 있는 쪽의 항목뿐이에요. 가격은 2,980엔(세금 포함)의 일시불로 월정액 과금 없음, 대응하는 검사 형식은 다마테바코・SPI(테스트센터)・GAB・TG-WEB・CAB・Webテスティング・SCOA・CUBIC・CASEC・ESP를 페이지 위에 나열하고 있어요. 특정상거래법에 근거한 표기 페이지도 있어요(주소・전화번호는, 청구를 받았을 때 개시하는 형태예요). 여기까지는, 사기 전에 페이지를 열면 확인할 수 있어요.

하나 솔직하게 써두면, 상품 섹션의 '최종 갱신' 표시는, 개정한 날 그 자체가 아니라 지금이 몇 월인지를 내보내는 신선도 표시예요. 이것도, 확인할 수 있는 항목인 척하게 만들지 않기 위해 써둘게요.

약한 부분도 쓰면, '그럼 효과는 어느 정도인가요'에 저는 숫자로 답할 수 없어요. 답할 수 없다는 사실까지 통째로 보고 판단해주실 수밖에 없다고 생각해요. → 노트 내용 보러 가기 대응 형식이나 내용, 사용법까지 자세히 정리한 페이지도 만들었어요 → 웹테스트 해답집 총정리 페이지

정리

정답률을 재려면 '본시험의 정답'이 필요한데, 그건 응시자 쪽에 건너오지 않는 전제로 운용되고 있어요
SPI 공식은 '응시자에 따라 문제를 바꾸는 적응형 테스트' '중단 후에는 같은 문제를 출제하지 않는 사양'이라고 명기하고 있어서, 분모 자체가 움직여요
그래서 '정답률 ◯%'는, 내걸고 있는 쪽도 출처를 제시할 수 없는 숫자가 돼요
'일부러 틀린다'는 공식에 해당하는 기술이 보이지 않아서, 단정할 수 있는 게 없어요
고를 때는, 갱신일・대응 형식・운영자 정보・가격이라는, 사기 전에 확인할 수 있는 항목으로 보기
저희 노트도 정답률은 내걸지 않아요. 잴 수 없는 것을 숫자로 만들지 않는다, 이 한 가지만은 지킬게요

숫자가 쓰여 있지 않은 걸, 불안하게 생각하지 않아도 돼요. '그 숫자, 누가 쟀나요'라고 물을 수 있는 사람이, 아마 덜 틀려요.

— miku

자주 묻는 질문

Q. 웹테스트 해답집의 정답률은 어느 정도인가요?

검증할 수 있는 숫자는 존재하지 않아요. 재려면 본시험의 정답이 필요한데, 출제 내용도 정답도 공개되어 있지 않고, 응시자 본인도 문제 단위의 정오를 알 수단이 없기 때문이에요. '정답률 ◯%'라고 내걸려 있어도, 그 출처를 확인할 방법은 없다고 생각해주세요.

Q. 해답집의 답이 틀려 있는 경우도 있나요?

가능성은 부정할 수 없어요. 공식의 정답과 대조할 수단이 누구에게도 없는 이상, '전 문항이 맞다'고 보증할 수 있는 해답집도 존재하지 않기 때문이에요. 통암기의 유일한 의지처로 삼지 말고, 보조 교재로 쓰는 걸 추천해요.

Q. 일부러 몇 문제 틀리는 게 나은가요?

공식에 '만점이면 의심한다'는 취지의 기술은, 제가 찾아본 범위에서는 보이지 않았어요. 근거를 확인할 수 없는 이상, 추천도 부정도 할 수 없어요. 답안을 손보는 궁리보다, 시간 배분 연습에 시간을 쓰는 편이 확실하다고 생각해요.

Q. 출제되는 문제는 매번 같나요?

SPI에 관해서는, 공식이 '응시자에 따라 문제를 바꾸는 적응형 테스트의 개발' '한 번 중단했다가 다시 응시를 시작한 경우에는, 같은 문제를 출제하지 않는 시스템 사양'이라고 공표하고 있어요. 매번 완전히 같은 문제가 나열되는 전제로는 생각하지 않는 게 좋아요.

참고한 공식 페이지

모두 리크루트 매니지먼트 솔루션즈의 공식 사이트예요.