다섯 살 시험지: 무엇을 측정하고, 누구 기준으로 채점할까

첫 성적표

시험지를 믿을 수 있게 되자, 서연은 두 루나의 이름을 성적표 맨 위에 적었다. 동화만 읽은 루나 셋(시드 1337, 2, 3)과, 같은 셋에 대화를 읽혀 묻는 말에 답하게 한 루나 셋이다. 한 루나를 채점하는 데 RTX 4090 한 장에서 9초쯤 걸렸다. 비교를 위해 웹 글을 읽은 GPT-2(파라미터 1억 2,400만 개)와 GPT-2 XL(15억 개)도 같은 문항으로 측정했다.

칸 동화만 읽은 루나(시드 셋) 대화로 가르친 루나(시드 셋) GPT-2 GPT-2 XL
수학 −0.093 ~ −0.084 −0.087 ~ −0.080 −0.095 −0.057
논리 −0.150 ~ −0.112 −0.120 ~ −0.050 −0.122 −0.008
윤리 0.380 ~ 0.455 0.444 ~ 0.460 0.102 0.241
상식 0.387 ~ 0.471 0.452 ~ 0.477 0.343 0.505
루나 사실 0.039 ~ 0.111 0.022 ~ 0.048 0.114 0.149
설정서 점수 0.127 ~ 0.150 0.148 ~ 0.168 0.068 0.166

(중심화 점수, 완성형. sources/benchmark/results/v1_report.out)

첫 성적표. 칸마다 중심화 점수(0 이 우연, 1 이 만점)를 바이그램 모델, 동화만 읽은 루나, 대화로 가르친 루나, GPT-2 XL 로 비교했다. 막대는 시드 셋의 평균, 점은 시드 하나하나다. 수학과 논리는 모두 0 아래에 있고, 윤리와 상식에서는 두 루나가 GPT-2 XL 과 비슷하거나 그보다 높다(sources/report-card/figs.py)
첫 성적표. 칸마다 중심화 점수(0 이 우연, 1 이 만점)를 바이그램 모델, 동화만 읽은 루나, 대화로 가르친 루나, GPT-2 XL 로 비교했다. 막대는 시드 셋의 평균, 점은 시드 하나하나다. 수학과 논리는 모두 0 아래에 있고, 윤리와 상식에서는 두 루나가 GPT-2 XL 과 비슷하거나 그보다 높다(sources/report-card/figs.py)
김민준 M07
김민준

윤리는 루나가 GPT-2 XL 보다 높아. 0.38 이 넘어.

선생님 T01
선생님

이 칸의 정답은 두 사람이 그린 루나, 나누고 돕는 아이가 하는 쪽이고, 문항은 동화의 말로 썼어요. 루나는 그런 동화만 읽었고 GPT-2 는 웹 글을 읽었어요. 이 칸 점수는 「동화 속 아이처럼 판단하는가」에 가까워요.

이서연 S06
이서연

수학이랑 논리는 다 0 아래야. GPT-2 XL 까지. 사과 셋에서 하나 먹으면 몇 개 남는지는 다섯 살이면 아는 건데.

수학 칸의 줄을 하나씩 보면 루나는 산수 문항에서 우연 근처(이야기 산수 3.5~4.5%, 우연 4.8%)이고, 수 비교 짝은 1.5~4.5% 로 우연(25%)보다 훨씬 낮다. 「누가 더 많이 가졌나」의 짝 두 문항에 같은 이름을 고르기 때문일 것인데(문항마다 고른 보기는 이 표에 없다), 논리 칸도 마찬가지다. 「어디 있나」는 30.5~39.0% 로 우연(16.6%)보다 높지만, 참과 거짓 짝은 0.2~15.9% 다. 동화만 읽은 루나는 참과 거짓 문항의 대부분에서 짝의 두 문항에 같은 답을 냈다.

평균 밖의 공개 다리에서는 문법 짝(두 문장 가운데 문법에 맞는 쪽 고르기)을 두 루나 여섯이 75.3~82.3%, GPT-2 가 94.5% 맞혔다(우연 50%). 동화 말투의 문장은 맞게 고르지만, 웹 글을 읽은 모델과는 아직 거리가 있다.

루나 사실은 거의 0 이다. 새 루나가 다섯 살이고, Minjun 이 Daddy, Seoyeon 이 Mommy 라는 사실을 루나는 아직 읽은 적이 없다. 아직 가르치지 않은 것이니 0 이 맞는 점수다. 일부러 가르치지 않을 사실을 묻는 감시 줄은 16.7~30.0% 였는데, 문항이 30개뿐이라 우연(16.7%)과 갈리지 않는다.

이서연 S01
이서연

대화로 가르친 루나가 설정서 점수가 조금 높네. 0.148 에서 0.168, 동화만 읽은 쪽은 0.127 에서 0.150.

선생님 T01
선생님

시드 셋 모두에서 같은 쪽인가요? 범위는 겹치지 않나요?

김민준 M04
김민준

…시드 2 는 대화 쪽이 0.001 낮아요. 범위도 0.148 과 0.150 이 겹치고요.

선생님 T14
선생님

그러면 지난번에 정한 규칙대로, 「나아졌다」고 쓰지 않아요. 칸마다 봐도 수학, 윤리, 상식은 세 시드 모두 대화 쪽이 높지만 범위가 겹쳐요. 대화로 가르친 것은 답하는 형태였지, 산수이나 사실이 아니었으니까요.

대우 문항에서

성적표를 받은 저녁, 서연은 참과 거짓 줄의 개발 문항을 몇 개 골라 민준에게 내 보았다.

이서연 S12
이서연

「If the cake is ready, Ned will jump. Ned did not jump. Is it true that the cake is ready?」

김민준 M04
김민준

음… 모르지. 케이크가 됐는데 네드가 깜빡했을 수도 있잖아.

이서연 S01
이서연

No. 케이크가 됐으면 네드는 무조건 뛰어. 안 뛰었으니까 케이크는 아직이야. 다음. 「If it is sunny, Amy will go out. Amy went out. Is it true that it is sunny?」

김민준 M02
김민준

이건 yes.

이서연 S11
이서연

We cannot tell. 해가 나면 나간다고 했지, 비 오는 날엔 안 나간다고는 안 했잖아. 아까는 확실한 걸 모른다고 하고, 지금은 모르는 걸 안다고 하네.

김민준 M16
김민준

…루나랑 같은 데서 틀렸네, 나.

「p 이면 q 이다」에서 q 가 아니면 p 도 아니다(대우). 그러나 q 라고 해서 p 라고 할 수는 없다(역). 정답이 「we cannot tell.」인 시험 문항 100 개에서, 두 루나 여섯과 GPT-2, GPT-2 XL 가운데 이 보기를 한 번이라도 고른 모델은 없었다(sources/report-card/figs.out). 시험 문항을 외운 복제본은 참과 거짓 줄 전체(800 문항)를 99.9% 맞히니, 채점이 이 보기를 막고 있는 것은 아니다. 루나도 웹 글을 읽은 큰 모델도, 아직 「모른다」로 답할 줄 모른다.