다섯 살 시험지: 무엇을 측정하고, 누구 기준으로 채점할까

점수는 능력의 표지: 굿하트의 법칙과 우연의 범위

성적표를 받은 다음 실습 시간, 민준은 설정서 점수 줄에 동그라미를 쳐 놓고 있었다.

김민준 M02
김민준

이제 목표가 생겼네요. 다음 장부터는 이 0.15 가 올라가는 방향으로만 루나를 고치면 되잖아요.

선생님 T01
선생님

그 말을 들으면 걱정할 사람이 둘 있어요. 1975년에 영국 중앙은행에서 일하던 경제학자 찰스 굿하트(Charles Goodhart)는 통화 정책을 검토한 글에 이런 관찰을 적었어요. 통계에서 잘 성립하던 규칙성도, 그 수치를 조절의 수단으로 삼아 압력을 가하면 무너지기 쉽다는 거예요. 통화량이 물가와 함께 움직인다고 해서 통화량 수치를 목표로 정하면, 은행과 사람들이 그 수치에 맞춰 행동을 변경해서 둘 사이의 관계가 달라져요. 뒤에 사람들이 이 관찰을 「측정값이 목표가 되면 좋은 측정값의 역할을 잃는다」로 줄여 굿하트의 법칙 (측정값을 목표로 삼으면 그 측정값이 원래 가리키던 것을 더는 가리키지 못하게 된다는 관찰 / Goodhart’s law)이라고 불렀어요. 1970년대에 미국의 사회과학자 도널드 캠벨(Donald Campbell)도 비슷한 지적을 했는데, 예로 든 것이 학교 시험이었어요. 시험 점수는 평소 수업의 결과로 나올 때는 학력의 표지로 쓸 만하지만, 점수 자체가 수업의 목표가 되면 표지의 가치를 잃고 수업까지 왜곡한다고 했어요.

이서연 S06
이서연

그런 학생이 우리한테 이미 하나 있어요. 형식 천장을 측정하려고 시험 문항을 외우게 한 복제본이요. 설정서 점수가 0.975 인데(sources/benchmark/results/v1_report.out), 그 복제본이 다섯 살처럼 생각한다고는 아무도 말하지 않잖아요.

선생님 T01
선생님

맞아요. 점수를 직접 목표로 삼으면 점수는 능력 없이도 올라가요. 점수는 능력 그 자체가 아니고 능력의 표지예요. 그런데 표지가 능력과 따로 움직이는 경우가 하나 더 있어요. 아무도 목표로 삼지 않아도 점수는 우연만으로 조금씩 움직여요. 서연 학생, 아무것도 모르는 학생의 점수가 어디까지 나올 수 있는지 수학의 용어로 적어 볼래요?

이서연 S03
이서연

보기가 k 개인 문항 n 개를 무작위로 선택하면, 문항 하나를 맞힐 확률은 1/k 이고 문항끼리는 서로 영향을 주지 않아요. 그러면 정답 수는 이항 분포 (성공 확률이 같은 시도를 n 번 했을 때 성공 횟수가 따르는 분포 / binomial distribution)를 따르고, 평균은 n/k, 표준편차는 √(n × (1/k) × (1 − 1/k)) 예요. 문제 2 의 사지선다 20 문항이 가장 작은 예인데, 평균이 5 개이고 표준편차는 √(20 × 0.25 × 0.75) ≈ 1.94 개예요.

김민준 M04
김민준

문제 2 에서 내가 다섯 문항이라고 답한 건 평균이었네. 실제로는 세 개를 맞히는 학생도 있고 일곱 개를 맞히는 학생도 있고.

서연은 정답 수가 100 번 가운데 95 번 넘게 들어오는 범위를 이항 분포에서 계산하고, 무작위로 선택하는 학생 10,000 명의 답을 실제 문항의 정답과 대조해 확인했다. 시험지에서는 보기 수가 문항마다 같은 세 줄을 선택했다(sources/report-card/chance.py).

가장 작은 예: 사지선다 20 문항(n = 20, k = 4)
  평균 5.0 개, 표준편차 1.94 개, 95% 범위 2~9 개(이 범위에 들어올 확률 96.2%)
  9 개를 맞힌 학생: 정답률 45%, 추측 보정 점수 +0.27

감시 줄(fact_c): 문항 n = 30, 보기 k = 6
  이항 분포  평균 5.00 개, 표준편차 2.04 개, 95% 범위 1~9 개(이 범위에 들어올 확률 97.6%)
  정답률로는 3.3~30.0%, 추측 보정 점수로는 -0.160 ~ +0.160
  무작위로 선택하는 학생 10,000 명: 평균 5.05 개, 표준편차 2.04 개, 가장 낮은 학생 0 개, 가장 높은 학생 13 개
  두 루나 여섯의 정답 수: 8 9 5 7 5 7 → 95% 범위 안 6 / 6

이야기 셈(math_story): 문항 n = 200, 보기 k = 21
  이항 분포  평균 9.52 개, 표준편차 3.01 개, 95% 범위 4~16 개(이 범위에 들어올 확률 97.1%)
  정답률로는 2.0~8.0%, 추측 보정 점수로는 -0.029 ~ +0.034
  무작위로 선택하는 학생 10,000 명: 평균 9.51 개, 표준편차 3.01 개, 가장 낮은 학생 1 개, 가장 높은 학생 24 개
  두 루나 여섯의 정답 수: 7 7 9 8 8 7 → 95% 범위 안 6 / 6

손으로 쓴 상식(common_seed): 문항 n = 40, 보기 k = 2
  이항 분포  평균 20.00 개, 표준편차 3.16 개, 95% 범위 14~26 개(이 범위에 들어올 확률 96.2%)
  정답률로는 35.0~65.0%, 추측 보정 점수로는 -0.300 ~ +0.300
  무작위로 선택하는 학생 10,000 명: 평균 20.00 개, 표준편차 3.19 개, 가장 낮은 학생 8 개, 가장 높은 학생 33 개
  두 루나 여섯의 정답 수: 37 34 39 38 37 37 → 95% 범위 안 0 / 6
이서연 S08
이서연

사지선다 20 문항은 아무것도 몰라도 2 개에서 9 개까지 나와. 9 개면 정답률이 45% 야. 우리 중심화 점수는 시험 이론에서 추측 보정 (정답률에서 우연히 맞는 비율을 빼고 남은 폭으로 나눈 점수 / correction for guessing)이라고 부르는 식 (정답률 − 1/k) ÷ (1 − 1/k) 과 같은데, 그 식으로 변환해도 +0.27 이 남아. 보정은 우연의 평균을 0 으로 옮길 뿐이고, 우연의 범위는 없애지 못해.

김민준 M07
김민준

감시 줄이 그 경우네. 문항 30 개에 보기가 여섯이면 1 개에서 9 개까지가 우연의 범위인데, 루나 여섯은 5 개에서 9 개를 맞혔으니까 모두 범위 안이야. 30.0% 는 우연 16.7% 의 두 배에 가까워서 문항이 유출된 줄 알았는데.

이서연 S01
이서연

이야기 산수 문항 200 개에서도 여섯 모두 범위 안이야. 우연의 범위가 4 개에서 16 개인데 루나는 7 개에서 9 개를 맞혔어. 손으로 쓴 상식은 반대로 여섯 모두 범위 밖이고. 우연의 범위는 14 개에서 26 개, 루나는 34 개에서 39 개야. 무작위로 선택한 10,000 명 가운데 가장 높은 학생도 33 개였어.

김민준 M06
김민준

그런데 범위의 폭이 줄마다 많이 달라. 추측 보정 점수로 상식 40 문항은 ±0.30 이고 이야기 산수 200 문항은 ±0.03 이야.

이서연 S11
이서연

정답 수의 표준편차는 √n 에 비례하는데, 정답률로 변환하면 n 으로 나누니까 1/√n 에 비례하게 돼. 문항을 네 배로 증가시켜야 범위가 절반이 되는 거야. 보기 수도 영향을 줘서, 보기가 둘이면 문항 하나의 분산 (1/k) × (1 − 1/k) 이 가장 커. 그리고 이 계산은 문항마다 따로 무작위로 선택하는 학생에게만 성립해. 짝 문항은 두 문항을 함께 채점하고, 루나는 짝의 두 문항에 같은 보기를 선택하기 쉬우니까 이항 분포를 그대로 적용할 수 없어. 그 줄들은 계산하지 않았어.

김민준 M03
김민준

그러면 점수는 체온계 눈금 같은 거네요. 몸에 열이 나면 눈금이 올라가지만 체온계를 손으로 문질러도 올라가고 가만히 둬도 몇 칸은 저절로 변하니까, 눈금을 읽기 전에 체온계부터 검사해야 하고 눈금을 올리는 것을 목표로 삼으면 안 되는 거예요.

선생님 T14
선생님

민준 학생이 정리한 두 가지를 큰 언어 모델의 평가가 지금 그대로 겪고 있어요. 하나는 벤치마크 오염 (시험 문항이 모델의 학습 글에 섞여 들어가 점수가 능력보다 높게 나오는 일 / benchmark contamination)이에요. 공개된 시험은 문항과 정답이 웹에 올라가 있고 큰 모델은 웹 글을 대량으로 읽으니, 누가 일부러 외우게 하지 않아도 우리 복제본에게 일어난 일이 조금씩 일어나요. 다른 하나는 순위표예요. 여러 연구실이 같은 시험의 순위표를 보면서 모델과 학습 방법을 고치면, 그 시험에서만 통하는 선택이 쌓여서 순위가 능력의 차이를 반영하지 못하게 돼요. 그래서 요즘의 시험은 문항을 공개하지 않고 채점만 대신 해 주거나, 모델이 학습을 마친 뒤에 나온 글로 문항을 주기적으로 새로 만들거나, 시험 파일에 표식 문자열을 넣어 학습 글을 모을 때 제외할 수 있게 해요. 우리 시험지의 감시 줄과 형식 천장, 문항 파일을 저장소 밖에 두는 규칙도 같은 대비예요. 루나의 설정서 점수도 올리는 것이 목표가 되는 순간부터 같은 위험을 지니니까, 앞으로 루나에게 새 글을 읽힐 때마다 시험 문항이 그 글에 섞이지 않았는지를 함께 확인할 거예요.

이서연 S06
이서연

그러면 성적표 아래에 이렇게 적을게요. 점수는 능력의 표지이고, 표지는 우연으로도 움직이고 목표로 삼아도 움직인다. 감시 줄이 우연의 범위 안이라는 것은 문항이 유출됐다는 증거가 없다는 뜻까지예요. 문항을 300 개로 증가시키면 범위가 3분의 1 쯤으로 좁아질 텐데, 그때도 루나가 범위 안에 있을지는 측정하지 않았으니 추측이에요.

서연은 제목도 점수도 없는 빈칸 다섯 개만 그려 두었던 공책의 그 쪽에 성적표를 옮겨 적으면서, 칸마다 아무것도 모르는 모델의 점수와 문항을 외운 복제본의 점수를 함께 적었다. 사람마다 답이 갈리는 문항은 두 사람이 만들려는 루나를 기준으로 채점한 점수다.

중심화 점수(0 이 우연, 1 이 만점) 바이그램 초기화한 루나 동화만 읽은 루나 대화로 가르친 루나 형식 천장
윤리 −0.133 −0.104 0.380 ~ 0.455 0.444 ~ 0.460 0.991
상식 −0.293 −0.252 0.387 ~ 0.471 0.452 ~ 0.477 0.962
설정서 점수 −0.143 −0.126 0.127 ~ 0.150 0.148 ~ 0.168 0.975

(sources/benchmark/results/v1_report.out, 두 루나는 시드 셋의 범위)

이서연 S09
이서연

아무것도 모르는 모델은 0 을 못 넘고, 문항을 외운 복제본은 1 가까이 가. 감시 줄은 우연의 범위 안이고. 그러니까 이 0.15 는 읽어도 되는 숫자야.

김민준 M02
김민준

바닥이 마이너스 0.14, 천장이 0.98, 그 사이에 우리 루나가 0.15. 어제까지는 「잘 되는 것 같다」밖에 할 말이 없었는데, 어디쯤 서 있는지가 보이네.

서연은 표 아래에 두 줄을 더 적었다. 수학과 논리는 어느 모델에서나 0 아래였다. 동화만 읽은 루나와 대화로 가르친 루나는 설정서 점수의 범위가 겹치므로, 어느 쪽이 낫다고는 적지 않는다.