수능 등업 트레이닝統計

연구 노트 · 통계 해설서

수능 정답 배열은 무작위인가
— 22개 학년도 336개 배열의 통계적 해부

2005~2026학년도 홀수형 객관식 —문항 전수 · 이 페이지의 모든 수치·표·그림은 열릴 때 원자료에서 직접 계산됩니다(하드코딩 없음)

목차

이 탭은 '시뮬레이션' 탭의 전략 백테스트가 왜 통하는지를 통계학 언어로 설명하는 해설서입니다. 전략을 바로 쓰려면 '실전 지침' 탭으로, 수치를 직접 만지려면 '시뮬레이션' 탭으로 가세요.

§1데이터와 표본

무엇을 세었고 무엇을 버렸는가

분석 단위는 배열(array) — 한 학년도·한 과목의 객관식 정답 번호를 문항 순서대로 늘어놓은 문자열이다. 예컨대 2026학년도 국어는 45문항 × 1개 배열, 사회탐구는 20문항 × 9개 배열이다. 배열을 단위로 삼는 이유는 §4에서 분명해진다 — 출제기관의 균등화는 배열 안에서 일어나기 때문이다.

제외 규칙. ① 수학 단답형(주관식)은 1~999의 정수 답이라 5지선다 번호 통계에 들어갈 수 없어 제외한다. ② 복수정답·전원정답 처리 문항(원자료에서 0)은 "정답 번호가 하나"라는 전제가 깨지므로 제외한다. ③ 동일 학년도에 같은 과목이 중복 수록된 경우는 중복 제거한다.

표 1. 표본 구성. 배열 길이별로 나눈 이유는 과소산포 지수가 길이에 의존하기 때문이다(§4, §10).

컬럼: year, subject, group, exam_id, block_id, qno, ans · block_id는 문항 번호가 연속하는 구간(§5·§6·§7의 인접성 정의) · 복수정답 처리 문항은 이미 제외되어 있습니다. §12의 R 코드가 이 파일을 그대로 읽습니다.

§2귀무모형과 검정 전략

"무작위가 아니다"를 세 가지 서로 다른 뜻으로 나눠 묻기

"수능 정답 배열이 무작위냐"는 질문은 사실 세 개의 다른 질문이고, 각각 다른 귀무모형이 필요하다. 이 구분을 하지 않으면 서로 상쇄되는 두 효과를 한 검정에 밀어넣게 된다.

표 2. 세 층위의 귀무모형. M₀은 흔히 쓰지만, 균등화(M₁ 위반)와 과잉 교대(M₂ 위반)를 구별하지 못한다.

핵심은 M₂(조건부 순열검정)이다. 각 배열의 번호 개수 벡터를 그대로 고정한 채 순서만 무작위로 섞으면, 균등화 효과는 귀무분포 안으로 흡수된다. 그 위에서 남는 편차는 오직 배치 순서에 관한 것이다 — 즉 "몇 개를 썼나"와 "어디에 놓았나"를 분리해서 볼 수 있다. §5~§7이 모두 이 설계를 쓴다.

p-값 계산: χ² 적합도·독립성 검정은 자유도가 모두 짝수(4·8·16)라 생존함수를 닫힌 형태 exp(−x/2)·Σ(x/2)ⁱ/i!로 정확히 계산합니다. 순열·부트스트랩은 시드 고정(seed=20260912) 몬테카를로이며, 반복 수는 각 절에 표기했습니다.

§3분석 1 — 주변분포는 균등한가

χ² 적합도 검정 · Wilson 신뢰구간 · Benjamini–Hochberg 보정

가장 흔한 질문부터. 22년치를 다 합쳤을 때 ①~⑤가 각각 20%씩 나오는가? 답은 "거의, 그러나 완전히는 아니다"이다.

표 3. 번호별 전수 빈도. p는 20% 대비 양측 이항검정, q는 5개 검정에 대한 BH 보정값(FDR).

그림 1. 번호별 출현 비율과 Wilson 95% 신뢰구간. 점선은 균등 기대치 20%.

효과 크기를 보라. 편차는 통계적으로는 유의해도 실무적으로는 거의 무의미하다. Cramér's V = — 로, 관습적 기준(0.1 = 작음)의 5분의 1이다. "①번은 적게 나오니 ①을 피하라"는 전략의 기대 이득은 문항당 1.4%p 남짓이고, 이는 §8의 부족 번호 전략이 주는 이득에 비하면 반올림 오차다. n이 8천이면 아무 편차나 유의해진다는 것을 보여주는 교과서적 사례다.

§4분석 2 — 시험 안에서는? 과소산포의 발견

이 해설서에서 가장 중요한 절 · 분산 지수(dispersion index) · 몬테카를로 귀무분포

§3은 22년치를 합쳐서 봤다. 그런데 전략이 작동하는 무대는 시험지 한 장이다. 배열 하나하나에서 번호 개수가 얼마나 흩어져 있는지를 보면 전혀 다른 그림이 나온다. 각 배열에 대해 균등 기대치 대비 Pearson 통계량 X² = Σ(c_j − n/5)² / (n/5) 를 계산하자. 독립 균등 다항분포(M₀)라면 이 값은 근사적으로 χ²₍₄₎를 따르므로 평균 4여야 한다.

그림 2. 배열별 X² 통계량의 관측 분포(막대)와 무작위 귀무분포 χ²₍₄₎(곡선). 관측값이 0 근처에 몰려 있다 — 이것이 과소산포이며, 사람이 개수를 맞췄다는 증거다.

표 4. 배열 길이별 과소산포. 길이가 다르면 균등화의 강도도 다르다 — 50문항 구 외국어·언어영역 배열이 가장 빡빡하게 맞춰져 있고, 20문항 탐구 배열이 가장 느슨하다. 이 의존성 때문에 전체 평균 φ를 연도별로 비교할 때 함정에 빠진다(§10).

왜 이것이 결정적인가. 45문항 시험이 진짜 무작위라면 어떤 번호가 4개 이하로만 나올 확률이 —%, 14개 이상 나올 확률이 —%다. 그런데 실제 45문항 배열 —개에서 그런 일은 단 한 번도 일어나지 않았다. 관측 개수는 언제나 — 사이였다. 이것은 우연으로 설명되지 않는다 — 누군가 세어 보고 맞춘 것이다.

§5분석 3 — 과잉 교대: 사람은 반복을 못 만든다

조건부 순열검정 · Wagenaar(1972) 가설의 직접 검정

"같은 번호가 세 번 연속이면 이상하다"는 느낌 — 심리학에서는 과잉 교대(over-alternation)라 부른다. 문제는 §4에서 본 균등화 자체가 이미 반복을 줄인다는 것이다. 개수를 맞추려면 한 번호를 몰아 쓸 수 없으니까. 따라서 균등화를 통제한 뒤에도 반복이 더 적은지를 물어야 한다. 그것이 §2의 M₂ 순열검정이다.

표 5. 인접 반복 검정. "순열 기대"는 각 배열의 번호 개수를 그대로 둔 채 순서만 섞었을 때의 기대치이므로, 균등화 효과가 제거된 비교다.

그림 3. 배열별 최장 연속 길이 분포(관측). 336개 배열을 통틀어 4연속은 단 1회다.

§6분석 4 — "앞뒤 10문제를 알면 그 문제를 맞힐 수 있나"

래그 프로파일(correlogram) · 국소 정보의 도달 거리

이 프로젝트의 출발점이 된 질문이다. 인접 반복이 억제된다면(§5), 거리 k만큼 떨어진 두 문항 사이에도 그런 억제가 있을까? 각 래그 k에서 "같은 번호일 확률"을 관측값과 순열 기대치로 비교한다.

그림 4. 래그별 "같은 번호일 확률"의 순열 기대치 대비 편차(%p). 회색 띠는 ±2 표준오차. 음수 = 같은 번호가 기대보다 드묾.

표 6. 래그 프로파일 수치. q는 10개 래그에 대한 BH 보정값.

§7분석 5 — 1차 마르코프 전이행렬

"③ 다음엔 뭐가 오나" · 그리고 이 검정이 과대평가인 이유

래그 1을 방향까지 포함해 보면 5×5 전이행렬이 된다. 행 = 현재 문항의 정답, 열 = 다음 문항의 정답. 완전 무작위라면 모든 칸이 20%여야 한다.

그림 5. 행 기준 전이 확률(%). 붉은색 = 20%보다 낮음, 파란색 = 높음. 대각선만 선명하게 붉다 — 방향성 있는 선호(예: "③ 다음엔 ⑤")는 없고, 오직 "직전과 같은 번호를 피한다"만 있다.

주의 — 이 χ²는 과대평가다. 독립성 검정의 귀무분포는 "행·열 주변합만 고정"인데, 우리 데이터에는 배열별 개수 고정이라는 더 강한 제약이 이미 걸려 있다. 균등화만으로도 대각선은 얼마간 내려간다. 그래서 §5의 순열검정이 올바른 검정이고, 이 표는 편차의 모양을 보는 용도로만 읽어야 한다. 다행히 두 결론은 일치한다.

§8분석 6 — 그래서 얼마나 착취 가능한가

Leave-one-out 전수 평가 · Wilson 구간 · 배열 클러스터 부트스트랩

통계적 유의성은 전략의 가치를 말해주지 않는다. 여기서는 적중률을 직접 잰다. 설계는 leave-one-out: 배열의 한 문항을 가리고, 나머지 문항의 정답을 모두 안다고 가정한 뒤 가장 적게 나온 번호를 찍는다. 동률이면 그중 무작위 선택(기여도를 1/동률수로 계산해 편향을 없앤다). 전체 —문항을 하나도 빠짐없이 평가한 전수 조사다.

표 7. 영역별 leave-one-out 적중률. 95% 구간은 Wilson score(문항 단위)이며, 배열 단위 상관을 고려한 클러스터 부트스트랩 구간을 함께 보고한다.

그림 6. 45문항 배열에서 "앞뒤 ±w문항만 세었을 때"의 적중률. 곡선이 계속 오르다가 전체(±22)에서 멈춘다 — 세는 범위가 넓을수록 좋고, 국소 창에 특별한 정보는 없다.

수학이 왜 압도적인가. 수학 객관식은 21문항뿐이라 번호당 기대 개수가 4.2개에 불과하고, 균등화가 걸리면 "남는 자리"가 거의 확정된다. 정보이론적으로 말하면 배열이 짧을수록 개수 제약이 배열 엔트로피를 더 많이 깎는다. 실제로 배열 내 평균 엔트로피는 — bit로, 무작위 기대치 — bit보다 높다(균등화는 엔트로피를 최대치 log₂5=2.3219에 밀어붙인다).

§9분석 7 — 위치 효과 (탐색적)

시험지 앞/중/뒤에서 번호 분포가 달라지는가

각 배열을 앞·중·뒤 세 구간으로 나눠 번호 분포를 비교했다. 이것은 사전 가설이 아니라 탐색적 분석이므로, 결과는 "재현 대상"이지 "발견"이 아니다.

표 8. 배열 내 상대 위치별 번호 분포(%). χ² 독립성 검정, df=8.

§10가짜 신호 감별 — 이 데이터가 사람을 속이는 세 가지 방법

해설서의 절반은 "무엇을 믿지 말아야 하는가"다

(1) 구성 혼재 — 존재하지 않는 시간 추세. 연도별 과소산포 지수 φ를 그대로 회귀하면 강한 증가 추세가 나온다 (r=—). "최근 들어 균등화가 느슨해졌다"고 쓰고 싶어지는 결과다. 그러나 이는 표본 구성이 바뀐 탓이다 — 2012학년도부터 20문항 탐구 배열이 대거 편입되는데, 짧은 배열은 구조적으로 φ가 높다(표 4). 배열 길이를 고정하면 추세는 사라지거나 반대 방향이 된다: 45문항만 보면 r=—, 20문항만 보면 r=—. 전형적인 Simpson의 역설이며, 이 페이지가 연도 추세를 주장하지 않는 이유다.

(2) 사후선택(data snooping) — "역대 최빈 번호". §3에서 ⑤가 가장 많이 나왔다. 그러니 ⑤로 찍으면 유리할까? 아니다. ⑤를 고른 근거가 바로 그 데이터이기 때문이다. 같은 표본에서 최댓값을 고르고 같은 표본에서 성능을 재면 언제나 이긴 것처럼 보인다. 실제로 시뮬레이션 탭의 '⑤번 고정' 전략은 무작위와 구별되지 않으며, §3의 편차가 BH 보정 후 겨우 살아남는 크기(V=—)라는 사실이 그 이유를 말해준다.

(3) 다중비교 — 래그 9의 유혹. 표 6에서 래그 9는 양의 편차가 보정 후에도 살아남는다. 이것을 "9문항 주기가 있다"고 해석하고 싶어지지만, 사전 가설이 없고 구조적 설명도 없다. 20문항 배열에서 래그 9는 배열 중앙을 가로지르는 특이한 짝짓기이고, 래그가 커질수록 유효 표본이 줄어 분산도 커진다. 단일 래그의 양의 신호는 독립 표본에서 재현되기 전까지 잡음으로 취급하는 것이 맞다. 이 해설서가 전략으로 승격시킨 것은 래그 1~3의 음의 편차뿐이며, 그것조차 §8에서 "전체 카운트에 흡수된다"는 결론으로 끝난다.

§11결과 종합

모든 검정을 한 표에

표 9. 전체 검정 요약. 몬테카를로 p-값의 하한은 반복 수에 의해 결정된다 (예: 20,000회 반복에서 p < 5×10⁻⁵).

한 문장 요약. 수능 정답 배열은 주변분포는 거의 완벽하게 균등하지만(§3), 배열 내부는 무작위보다 4배 이상 덜 흩어져 있고(§4), 그 위에 인접 반복을 피하는 인간적 습관이 덧씌워져 있다(§5). 앞의 둘은 착취 가능하고(§8), 뒤의 하나는 사실상 착취 불가능하다(§6, §8) — 전체 카운트가 국소 정보를 이미 다 흡수하기 때문이다.

§12R 재현 코드

§1의 CSV를 받아 그대로 실행하면 이 페이지의 모든 수치가 재현됩니다 (R ≥ 4.1)

이 페이지 자체는 브라우저에서 순수 JavaScript로 같은 계산을 수행합니다 (χ² 생존함수는 짝수 자유도 닫힌 형태, 순열·부트스트랩은 mulberry32 시드 고정). R 결과와 소수점 둘째 자리까지 일치하며, 몬테카를로 항목만 반복 수에 따라 마지막 자리가 흔들릴 수 있습니다.

§13한계와 해석 주의

표 10. 알려진 한계와 그것이 결론에 미치는 영향.

가장 중요한 한계. 이 모든 분석은 과거 22개 학년도에 대한 기술(description)이다. 출제기관이 균등화 절차를 바꾸면 §4의 φ는 하루아침에 1.0으로 돌아갈 수 있고, 그러면 §8의 41.8%도 20%가 된다. 이 페이지는 예언이 아니라 관측 기록이다.

그리고 통계학적으로 가장 정직한 결론은 이것이다 — 이 모든 것은 "나머지를 안다"는 조건부 확률이다. 조건부의 조건을 채우는 유일한 방법은 공부이고, 선지 하나를 소거하는 것이 여기 나온 어떤 검정보다 기대값을 많이 올린다. 통계는 소거가 끝난 뒤 남은 선지들 사이에서만 쓰는 도구다.