다섯 살 시험지: 무엇을 측정하고, 누구 기준으로 채점할까

보기를 고르게 채점하기

루나에게 시험지를 내도 루나는 답을 쓰지 않고, 동화만 읽은 루나라면 물음 뒤에 동화를 이어 쓸 뿐이다. 그래서 답을 쓰게 하는 대신 보기를 하나씩 문항 뒤에 붙여 보고, 루나가 어느 보기를 가장 그럴듯하게 이어 쓰는지를 측정한다. 보기의 토큰마다 루나가 준 손실을 평균 내고, 평균 손실이 가장 낮은 보기를 루나의 답으로 본다. 다음 토큰을 맞히는 모델이라면 프리트레인만 했든 대화를 배웠든 같은 방법으로 측정할 수 있다.

문항: Ben has 3 flowers. Bob has 4 flowers. The one with more flowers is
 보기 ' Ben' 과 ' Bob' 을 차례로 붙여 각 보기 토큰의 평균 손실을 재고, 더 낮은 쪽을 고른다

이 방법에는 함정이 둘 있는데, 하나는 보기 자체가 얼마나 흔한가이다. 「Bob」이 동화에 더 자주 나오는 이름이면 문항을 읽지 않고도 Bob 을 고르게 되니, 수 비교, 따져 보기, 참과 거짓, 생성한 상식과 교훈은 짝으로 만든다. 짝의 두 문항은 같은 두 보기를 쓰고 문맥만 조금 달라서 정답이 서로 바뀌는데, 「Ben has 3, Bob has 4」의 짝은 「Ben has 4, Bob has 3」이다. 짝 둘 다 맞혀야 1점이므로, 늘 Bob 만 고르는 루나는 0점이 된다.

다른 하나는 우연히 맞는 비율이다. 보기가 둘이면 아무렇게나 골라도 절반을 맞히고, 짝 둘 다 맞혀야 하면 우연히 맞는 비율은 4분의 1, 보기가 스물한 개인 산수 문항은 21분의 1이다. 줄마다 우연이 달라서 정답률을 그대로 비교할 수 없으므로, 정답률에서 우연을 빼고 남은 폭으로 나눈 중심화 점수를 쓴다. 우연만큼 맞히면 0, 모두 맞히면 1이고, 우연보다 못하면 음수다. 칸의 점수는 칸 안 줄들의 중심화 점수를 채점 단위 수로 가중해 평균 낸 값이고, 다섯 칸의 평균을 설정서 점수라 부른다.

줄 채점 우연
식 산수, 이야기 산수, 필요 없는 수 수 0~20 을 보기로 21분의 1
수 비교, 따져 보기, 참과 거짓 짝(둘 다 맞아야 1점) 4분의 1 안팎
공 던지기, 어디 있나 이야기에 나온 이름·장소만 보기로 보기 수의 역수
윤리 평가 쌍 좋은 행동 뒤 「good − bad」 로그 확률 차이가 나쁜 행동 뒤보다 크면 정답 2분의 1
루나 사실 보기 여섯~여덟 6분의 1~8분의 1

윤리의 평가 쌍은 보기 대신 두 행동을 비교한다. 「Mom said Tom was a」 뒤에 good 이 나올 확률은 동화에 good 이 흔한 만큼 언제나 높다. 그래서 good 과 bad 의 로그 확률 차이를 좋은 행동 뒤와 나쁜 행동 뒤에서 각각 구하고, 좋은 행동 뒤의 차이가 더 크면 맞힌 것으로 본다. 낱말 자체의 흔함이 두 쪽에서 똑같이 빠진다.

문제 2. 찍어도 맞는 시험

(가) 사지선다 시험 20문항을 모두 찍으면 평균 몇 점일까? (나) 보기가 둘인 문항을 짝으로 묶어 둘 다 맞혀야 1점이라면, 늘 첫 보기만 고르는 학생은 몇 점일까? 동전을 던져 고르는 학생은? (다) 루나가 수 비교에서 정답률 40%, 산수 문항에서 10% 를 받았다면 어느 쪽을 더 잘했다고 할 수 있을까?

김민준 M02
김민준

(가)는 4분의 1 이니까 다섯 문항.

이서연 S03
이서연

(나)는 짝의 두 문항이 서로 다른 보기가 정답이니까, 첫 보기만 고르면 짝마다 하나는 꼭 틀려. 0 점. 동전이면 두 번 다 맞을 확률이라 4분의 1.

김민준 M01
김민준

(다)는 40% 쪽이… 아니, 수 비교는 짝이라 우연이 25% 고, 산수는 21분의 1, 4.8% 야.

이서연 S01
이서연

중심화로 바꾸면 수 비교는 (0.40 − 0.25) ÷ 0.75 = 0.20, 산수는 (0.10 − 0.048) ÷ 0.952 ≈ 0.055. 수 비교가 더 잘한 거네.

선생님 T14
선생님

같은 정답률이라도 우연이 얼마인지 모르면 비교할 수 없어요. 성적표의 칸 점수는 모두 이렇게 바꾼 값이에요.