루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까
엄마는 어디 있어: 아는 장면과 모르는 장면을 나란히
다섯 살 아이에게 「엄마는 어디 있어?」는 세 가지 경우로 나뉜다. 엄마가 「선생님 집에 다녀올게」라고 말했거나, 창 너머로 엄마가 보이거나, 둘 다 아니다. 들었거나 본 경우에는 그곳을 대야 하고 둘 다 아닌 경우에는 「몰라」가 맞는 답이어서, 듣지도 보지도 못했는데 부엌이라고 답하면 지어낸 것이 된다.
시험 형식 판에 가족 장면을 이야기 문장으로 적은 글 32,500 편을 더하고 딥시크 대화를 1,459 편으로 늘린 판을 가족 장면 판이라고 부른다. 딥시크 대화의 다섯에 하나는 가족이 어디 있는지를 묻는 대화다. 대화 없이 가족 장면을 이야기 문장으로만 넣은 판은 통하지 않았는데, 「So Luna knows that Daddy is in the street.」로 읽은 결론이 「Where is Daddy?」의 답으로 옮겨 가지 않아 들었거나 본 장면의 정답률이 0.47 / 0.28 에 그쳤다(world_bench.out 의 M15dqfR). 가족 장면 판부터는 루나의 마음을 적은 글도 같은 양만큼 들어 있는데, 마음을 묻는 칸은 이 장에서 읽지 않는다.
문제 4. 「모른다」를 97% 맞히면 모르는 것을 아는 것일까
가족 장면 판에 「가족이 어디 있나」를 물었다. 알 길이 없는 장면 78 문항에서 「I do not know.」를 고른 비율은 이야기 형식 0.97, 대화 형식 0.20 이었다.
이 두 숫자만 보고 「이야기 형식의 루나는 자기가 모른다는 것을 안다」고 말할 수 있을까? 말하려면 무엇을 더 측정해야 할까?

0.97 이면 이야기 형식은 된 거 아닐까? 대화 형식만 고치면 되겠는데.

깊은 끊김 때 네가 나한테 한 말이잖아. cannot 문항만 보면 안 되고, yes·no 문항에서 cannot 이라고 한 비율을 같이 봐야 한다고. 여기서는 들었거나 본 장면에서 모른다고 한 비율이겠네.

적중률과 오경보율이요. 모르는 장면에서 모른다고 하면 적중, 아는 장면에서 모른다고 하면 오경보.
이야기 형식의 오경보율은 0.77 로, 창으로 엄마가 보이는 장면에서도 모른다고 한 것이다. 이야기 형식의 루나는 거의 늘 모른다고 했고 대화 형식의 루나는 거의 늘 곳을 댔으며, 두 형식 모두 변별력 d′ 은 1 이 안 된다. 그래서 가족이 어디 있는지를 묻는 묻고 답하기 32,500 편을 세 형식으로 더 만들되, 같은 글틀에서 아는 장면과 모르는 장면이 절반씩 나오게 했다.
Luna is in the kindergarten room. The teacher said, "I am going to the deer's meadow." Where is the teacher? Luna says, "In the deer's meadow. The teacher said so."
Luna is in the living room. Mommy went out. Mommy did not say where. Where is Mommy? Luna says, "I do not know. Nobody told me where Mommy is."
위는 대조 쌍 묻고 답하기의 보기다(world_chapter.out 9절). 두 글은 물음이 같고 가족이 어디로 간다고 말했는지만 달라서, 답을 정하는 것은 물음의 형식이 아니라 장면의 그 한 줄이 된다. 이 묻고 답하기를 더한 판을 대조 쌍 판이라고 부른다.
| 「가족이 어디 있나」 | 가족 장면 판, 이야기 / 대화 | 대조 쌍 판, 이야기 / 대화 |
|---|---|---|
| 아는 장면의 정답률 | 0.19 / 0.72 | 0.98 / 0.99 |
| 오경보율: 아는 장면에서 「모른다」 | 0.77 / 0.01 | 0.00 / 0.00 |
| 적중률: 모르는 장면에서 「모른다」 | 0.97 / 0.20 | 0.62 / 0.54 |
| 변별력 d′ | 0.99 / 0.80 | 2.70 / 2.56 |
위 표는 가족 장면 판과 대조 쌍 판의 비교다(world_chapter.out 5절의 M15dqtfeR·M15dqtfepR, 시드 셋의 평균). 대조 쌍 판의 적중률은 시드별로 이야기 형식 0.82·0.58·0.45, 대화 형식 0.55·0.54·0.53 이다.

문항: It is daytime. Luna is in the front yard. Through the window, Luna sees Mommy in the teacher's garden. Where is Mommy? Luna says, "
정답: In the teacher's garden.
가족 장면 판(시드 1·2·3이 고른 보기): I do not know. | I do not know. | I do not know.
대조 쌍 판: In the teacher's garden. | In the teacher's garden. | In the teacher's garden.
위는 시험 문항 하나와 두 판이 고른 보기다(world_chapter.out 8절, wb01615).
대조 쌍 판은 아는 장면과 모르는 장면을 구분해서, 들었거나 본 장면에서 모른다고 한 일은 세 시드를 통틀어 한 번뿐이었다. 남은 것은 적중률로, 모르는 장면의 절반쯤에서만 모른다고 한다. 틀린 답은 이야기 형식 90 개 가운데 64 개, 대화 형식 108 개 가운데 86 개가 루나가 있는 곳이거나 문항에 나온 다른 사람의 곳이었다(world_chapter.out 5절). 문항에 적힌 곳 이름을 가져다 쓴 것이다.

창으로 엄마가 보이면 선생님 정원에 있다고 하고, 말없이 나갔으면 모른다고 해. 이제 좀 애 같다.

아는 것을 모른다고 하지는 않게 됐고, 모르는 것을 안다고 하는 건 절반 남았네요. 소크라테스의 기준으로는 아직 반이에요.

같은 판의 다른 동네 칸은 내려가지 않았다(「어디 있나」 0.93 / 1.00, 가족이 보이나 0.74 / 0.77, 「볼 수 있나」 0.74 / 0.67, 길의 첫 곳 0.78 / 0.77). 논리 시험은 75%, 변별력 1.85 로 동네 글을 넣기 전의 기준 판(79%, 2.21)보다 평균이 낮다(sources/world-limits/world_logic.out).
이 절에서 좋아진 것은 가족의 위치다. 들었거나 본 장면의 정답률이 0.19 / 0.72 에서 0.98 / 0.99 가 되었고, 아는 장면에서 모른다고 하는 오경보율은 0.77 에서 0.00 이 되었다. 모르는 장면에서 모른다고 하는 비율은 0.62 / 0.54 로 남았다.