다섯 살 시험지: 무엇을 측정하고, 누구 기준으로 채점할까

혼동하기 쉬운 점과 요약

토론 1. 설정서 점수가 0.15 면 루나는 다섯 살의 15% 인가

김민준 M02
김민준

설정서 점수가 0.15 쯤이면, 루나는 다섯 살 아이의 15% 정도라는 거지?

이서연 S06
이서연

그럼 다섯 살 아이가 이 시험지를 보면 1 이 나와야 하는데, 우리 시험지는 다섯 살 아이한테 내 본 적이 없잖아.

선생님 T01
선생님

이 점수는 「우연을 빼고, 이 시험지의 문항을 얼마나 맞히나」예요. 다섯 칸 평균이라 칸 하나가 크게 오르면 다른 칸이 0 이어도 평균이 올라가요. 지금 0.15 는 윤리와 상식이 끌어올린 값이고, 수학과 논리는 0 아래예요. 그래서 성적표는 늘 칸을 함께 싣고, 평균 한 줄로만 말하지 않아요. 그리고 이 점수는 다섯 살 아이와 비교한 값이 아니에요. 앞으로 바꿀 루나끼리 비교하는 자예요.

혼동하기 쉬운 점

혼동 바로잡기
정답률이 높을수록 잘한 것이다 우연이 줄마다 다르다. 짝 문항의 우연은 4분의 1 안팎, 산수는 21분의 1 이다. 중심화 점수로 바꿔서 비교한다
윤리 점수는 착한 정도다 「두 사람이 정한 루나의 방향」을 고르는 정도다. 기준이 바뀌면 같은 루나가 다른 점수를 받는다
바닥 모델 점수를 빼고 실으면 된다 겉모양으로 맞힐 수 있는 문항은 루나도 같은 이유로 맞힌다. 점수가 아니라 문항을 고친다
외운 복제본의 점수가 루나가 닿을 수 있는 높이다 형식 천장은 채점과 문항에 잘못이 없는지 보는 검사다. 성적표에 싣지 않는다
대화로 가르친 루나가 설정서 점수가 높으니 나아졌다 시드 2 에서 부호가 바뀌고 범위가 겹친다. 규칙대로 「나아졌다」고 쓰지 않는다
0 아래 점수는 측정 잘못이다 짝의 두 문항에 같은 답을 내면 우연보다 낮아진다. 문맥을 읽지 않는다는 신호다

요약

루나 설정서 점검

새 설정서의 줄 이번 장 아직 빈 것
1. 다섯 살처럼 말하고 생각한다 다섯 살을 측정하는 시험지가 생겼다. 윤리와 상식은 0.38~0.48 수학과 논리가 0 아래. 산수는 스물까지도 못 한다
2. 말이 된다 문법 짝(공개 다리) 75.3~82.3% GPT-2 의 94.5% 와는 거리가 있다
3. 앞에서 한 말을 기억한다 「어디 있나」 30.5~39.0%(우연 16.6%) 「앞에서 들은 것」은 베끼기와 갈리지 않는다
4. 세상을 궁금해하고 물어본다 상식 칸이 우연보다 높다 루나는 아직 묻지 않는다
5. 가족을 사랑한다 루나 사실 줄에 「Daddy and Mommy」 문항을 넣었다 0 근처. 가족이 누구인지 읽은 적이 없다
6. 모르면 모른다고 한다 역 문항이 「모른다」를 측정하게 됐다 정답이 「모른다」인 문항 100 개에서 「모른다」를 고른 모델이 없다
이서연 S03
이서연

줄마다 숫자가 생겼어. 다섯째 줄은 비어 있지만.

김민준 M11
김민준

비었다는 게 이제 숫자로 보이잖아. 어제까지는 뭐가 빈지도 몰랐는데.

막힌 곳

시험지는 생겼지만 성적표의 절반이 0 아래이고, 대화로 답하는 법을 가르쳐도 수학과 논리와 루나 사실은 거의 움직이지 않았다. 루나가 읽은 동화에는 「If … so …」로 따지는 문장도, 루나와 Daddy 와 Mommy 이야기도 거의 없다.