루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까
사실만 읽히면
가장 먼저 해 볼 일은 정한 집을 그대로 읽히는 것이다. 집의 사실을 다 읽은 루나가 「아빠가 보여?」에 답하는지를 보려고, 동네의 사실을 글로 적었다. 프로그램이 그래프를 돌면서 곳마다 그곳의 물건, 낮과 밤에 보이는 곳의 목록, 문이나 길 하나로 갈 수 있는 이웃의 목록을 문장으로 만들고, 같은 사실을 이야기꾼의 3인칭, 루나의 혼잣말, 엄마와의 대화 세 형식으로 쓴다.
In the living room, there are the sofa and Daddy's turtle.
In the daytime, from the kitchen you can see the living room and the backyard. You cannot see any other place from there.
When I am in the kitchen, I can walk to the backyard and the living room. There is no other way out.
위는 사실 글의 보기다(world_chapter.out 9절). 두 사실을 이은 문장은 쓰지 않았다. 이 130,000 편, 369만 토큰을 기준 판의 학습 글에 더한 판을 사실만 판이라고 부른다.
문제 1. 사실을 다 읽으면 어느 칸이 오를까
사실만 판은 「소파는 거실에 있다」와 「부엌에서는 거실과 뒷마당이 보인다」를 세 형식으로 되풀이해 읽는다. 두 사실을 함께 쓴 글은 한 편도 읽지 않는다면, 다음 세 칸의 정답률은 기준 판과 비교해 어떻게 될까?
(가) 어디 있나: 「Where is the sofa?」
(나) 볼 수 있나: 「Luna is in the kitchen. Can Luna see the sofa?」
(다) 길의 첫 곳: 「Luna is in the front door. Luna wants to go to the fox’s den. Where does Luna go first?」

(가) 는 당연히 오르고, (나) 도 오를 거 같아. 두 문장을 다 아는데 못 이을 게 뭐야. 규칙 체인은 네 홉도 이었잖아.

규칙 체인은 규칙이 문항 안에 적혀 있었어요. 이번에는 문항에 아무것도 없고, 두 사실을 다 기억에서 꺼내야 해요.

문제는 물음의 형식이야. 「Can Luna see …?」로 묻고 Yes 나 No 로 답하는 글을 사실만 판은 한 번도 못 봤어.

측정한 값을 봅시다.

| 칸 | 기준 판, 이야기 / 대화 | 사실만 판, 이야기 / 대화 |
|---|---|---|
| (가) 어디 있나 | 0.27 / 0.15 | 0.43 / 0.65 |
| (나) 볼 수 있나 | 0.50 / 0.52 | 0.48 / 0.52 |
| 가족이 보이나 | 0.50 / 0.50 | 0.53 / 0.58 |
| 홉 카운트 | 0.06 / 0.02 | 0.02 / 0.11 |
| (다) 길의 첫 곳 | 0.45 / 0.51 | 0.59 / 0.58 |
위 표는 기준 판과 사실만 판의 정답률이다(world_bench.out 의 M15R·M15dR, 시드 셋의 평균).
오른 것은 읽은 그대로 꺼내는 (가) 뿐이다. (나) 는 0.5 에서 움직이지 않았고, 시드별로 보면 한 시드는 주로 No 를, 두 시드는 Yes 만 골랐다(world_chapter.out 3절). 문항을 읽고 답을 정한 것이 아니라 시드마다 한 답으로 쏠린 것이다.

소파가 거실에 있는 것도 알고 부엌에서 거실이 보이는 것도 아는데, 부엌에서 소파가 보이냐고 물으면 동전 던지기야. 13만 편을 읽혔는데.

읽힌 건 들어갔어. 「어디 있나」가 올랐으니까. 들어간 사실이 서로 닿지 않는 거야. 왜 안 닿는지부터 알아야 다음에 뭘 넣을지 정할 수 있어.
이 절에서 좋아진 것은 「어디 있나」 한 칸이고(0.27 / 0.15 → 0.43 / 0.65), 알게 된 것은 사실을 따로 읽히는 것만으로는 이어야 하는 칸이 열리지 않는다는 것이다.