다섯 살 시험지: 무엇을 측정하고, 누구 기준으로 채점할까
혼동하기 쉬운 점과 요약
토론 1. 설정서 점수가 0.15 면 루나는 다섯 살의 15% 인가

설정서 점수가 0.15 쯤이면, 루나는 다섯 살 아이의 15% 정도라는 거지?

그럼 다섯 살 아이가 이 시험지를 보면 1 이 나와야 하는데, 우리 시험지는 다섯 살 아이한테 내 본 적이 없잖아.

이 점수는 「우연을 빼고, 이 시험지의 문항을 얼마나 맞히나」예요. 다섯 칸 평균이라 칸 하나가 크게 오르면 다른 칸이 0 이어도 평균이 올라가요. 지금 0.15 는 윤리와 상식이 끌어올린 값이고, 수학과 논리는 0 아래예요. 그래서 성적표는 늘 칸을 함께 싣고, 평균 한 줄로만 말하지 않아요. 그리고 이 점수는 다섯 살 아이와 비교한 값이 아니에요. 앞으로 바꿀 루나끼리 비교하는 자예요.
혼동하기 쉬운 점
| 혼동 | 바로잡기 |
|---|---|
| 정답률이 높을수록 잘한 것이다 | 우연이 줄마다 다르다. 짝 문항의 우연은 4분의 1 안팎, 산수는 21분의 1 이다. 중심화 점수로 바꿔서 비교한다 |
| 윤리 점수는 착한 정도다 | 「두 사람이 정한 루나의 방향」을 고르는 정도다. 기준이 바뀌면 같은 루나가 다른 점수를 받는다 |
| 바닥 모델 점수를 빼고 실으면 된다 | 겉모양으로 맞힐 수 있는 문항은 루나도 같은 이유로 맞힌다. 점수가 아니라 문항을 고친다 |
| 외운 복제본의 점수가 루나가 닿을 수 있는 높이다 | 형식 천장은 채점과 문항에 잘못이 없는지 보는 검사다. 성적표에 싣지 않는다 |
| 대화로 가르친 루나가 설정서 점수가 높으니 나아졌다 | 시드 2 에서 부호가 바뀌고 범위가 겹친다. 규칙대로 「나아졌다」고 쓰지 않는다 |
| 0 아래 점수는 측정 잘못이다 | 짝의 두 문항에 같은 답을 내면 우연보다 낮아진다. 문맥을 읽지 않는다는 신호다 |
요약
- 다섯 살 루나의 시험지는 다섯 칸(수학, 논리, 윤리, 상식, 루나 사실)이다. 규칙으로 정답을 계산할 수 있는 칸은 생성기가 찍고, 윤리와 상식은 손으로 쓴 시드와 딥시크 후보를 거른 것으로 만들었다. 공개 시험 넷은 바깥 모델과 비교하는 다리로만 쓰고 평균에 넣지 않는다.
- 정답이 사람마다 갈리는 윤리 문항은 「두 사람이 만들려는 루나라면 어느 쪽을 할까」로 채점한다.
- 보기를 문항 뒤에 붙여 평균 손실이 가장 낮은 보기를 루나의 답으로 본다. 보기의 흔함은 짝(정답이 뒤바뀌는 두 문항, 둘 다 맞아야 1점)으로 지우고(위노그라드 스키마와 가드너 팀의 대조 세트가 같은 생각이다), 우연은 중심화 점수로 뺀다. 다섯 칸의 평균이 설정서 점수다.
- 시험지는 루나에게 내기 전에 바닥 모델과 형식 천장으로 시험한다. 딥시크가 쓴 상식과 교훈은 바이그램이 64~83.5% 를 맞혀 짝으로 다시 만들었고, 「앞에서 들은 것」은 베끼기 규칙이 루나와 같은 45.5% 를 맞혀 평균에서 뺐다.
- 첫 성적표의 설정서 점수는 동화만 읽은 루나 0.127~0.150, 대화로 가르친 루나 0.148~0.168 로 범위가 겹친다. 윤리와 상식은 GPT-2 XL 과 비슷하거나 높고, 수학과 논리는 모든 모델이 0 아래이며, 루나 사실은 아직 가르치지 않아 0 근처다.
- 점수는 능력의 표지다. 측정값을 목표로 삼으면 표지의 역할을 잃고(굿하트의 법칙), 아무것도 모르는 학생의 정답 수도 이항 분포만큼 움직인다. 감시 줄(30 문항, 보기 여섯)은 우연만으로 1~9 개가 나오고 두 루나 여섯은 5~9 개로 모두 범위 안이며, 손으로 쓴 상식(40 문항, 보기 둘)은 우연의 범위 14~26 개에 루나가 34~39 개로 모두 범위 밖이다. 큰 모델의 평가에서는 같은 문제가 벤치마크 오염과 순위표 맞추기로 나타난다.
루나 설정서 점검
| 새 설정서의 줄 | 이번 장 | 아직 빈 것 |
|---|---|---|
| 1. 다섯 살처럼 말하고 생각한다 | 다섯 살을 측정하는 시험지가 생겼다. 윤리와 상식은 0.38~0.48 | 수학과 논리가 0 아래. 산수는 스물까지도 못 한다 |
| 2. 말이 된다 | 문법 짝(공개 다리) 75.3~82.3% | GPT-2 의 94.5% 와는 거리가 있다 |
| 3. 앞에서 한 말을 기억한다 | 「어디 있나」 30.5~39.0%(우연 16.6%) | 「앞에서 들은 것」은 베끼기와 갈리지 않는다 |
| 4. 세상을 궁금해하고 물어본다 | 상식 칸이 우연보다 높다 | 루나는 아직 묻지 않는다 |
| 5. 가족을 사랑한다 | 루나 사실 줄에 「Daddy and Mommy」 문항을 넣었다 | 0 근처. 가족이 누구인지 읽은 적이 없다 |
| 6. 모르면 모른다고 한다 | 역 문항이 「모른다」를 측정하게 됐다 | 정답이 「모른다」인 문항 100 개에서 「모른다」를 고른 모델이 없다 |

줄마다 숫자가 생겼어. 다섯째 줄은 비어 있지만.

비었다는 게 이제 숫자로 보이잖아. 어제까지는 뭐가 빈지도 몰랐는데.
막힌 곳
시험지는 생겼지만 성적표의 절반이 0 아래이고, 대화로 답하는 법을 가르쳐도 수학과 논리와 루나 사실은 거의 움직이지 않았다. 루나가 읽은 동화에는 「If … so …」로 따지는 문장도, 루나와 Daddy 와 Mommy 이야기도 거의 없다.