루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까

사실만 읽히면

가장 먼저 해 볼 일은 정한 집을 그대로 읽히는 것이다. 집의 사실을 다 읽은 루나가 「아빠가 보여?」에 답하는지를 보려고, 동네의 사실을 글로 적었다. 프로그램이 그래프를 돌면서 곳마다 그곳의 물건, 낮과 밤에 보이는 곳의 목록, 문이나 길 하나로 갈 수 있는 이웃의 목록을 문장으로 만들고, 같은 사실을 이야기꾼의 3인칭, 루나의 혼잣말, 엄마와의 대화 세 형식으로 쓴다.

In the living room, there are the sofa and Daddy's turtle.
In the daytime, from the kitchen you can see the living room and the backyard. You cannot see any other place from there.
When I am in the kitchen, I can walk to the backyard and the living room. There is no other way out.

위는 사실 글의 보기다(world_chapter.out 9절). 두 사실을 이은 문장은 쓰지 않았다. 이 130,000 편, 369만 토큰을 기준 판의 학습 글에 더한 판을 사실만 판이라고 부른다.

문제 1. 사실을 다 읽으면 어느 칸이 오를까

사실만 판은 「소파는 거실에 있다」와 「부엌에서는 거실과 뒷마당이 보인다」를 세 형식으로 되풀이해 읽는다. 두 사실을 함께 쓴 글은 한 편도 읽지 않는다면, 다음 세 칸의 정답률은 기준 판과 비교해 어떻게 될까?

(가) 어디 있나: 「Where is the sofa?」

(나) 볼 수 있나: 「Luna is in the kitchen. Can Luna see the sofa?」

(다) 길의 첫 곳: 「Luna is in the front door. Luna wants to go to the fox’s den. Where does Luna go first?」

김민준 M01
김민준

(가) 는 당연히 오르고, (나) 도 오를 거 같아. 두 문장을 다 아는데 못 이을 게 뭐야. 규칙 체인은 네 홉도 이었잖아.

장하은 H01
장하은

규칙 체인은 규칙이 문항 안에 적혀 있었어요. 이번에는 문항에 아무것도 없고, 두 사실을 다 기억에서 꺼내야 해요.

이서연 S01
이서연

문제는 물음의 형식이야. 「Can Luna see …?」로 묻고 Yes 나 No 로 답하는 글을 사실만 판은 한 번도 못 봤어.

선생님 T01
선생님

측정한 값을 봅시다.

칸마다 기준 판(빈 표지)에서 사실만 판(찬 표지)으로 옮겨 간 정답률. 파랑은 이야기 형식, 주황은 대화 형식, 옅은 점은 사실만 판의 시드 하나하나, 검은 세로줄은 무작위로 고르거나 한 답만 고를 때의 점수다. 길의 첫 곳은 문항마다 보기의 수가 달라 표시하지 않았다(sources/world-limits/plot_world_tables.py)
칸마다 기준 판(빈 표지)에서 사실만 판(찬 표지)으로 옮겨 간 정답률. 파랑은 이야기 형식, 주황은 대화 형식, 옅은 점은 사실만 판의 시드 하나하나, 검은 세로줄은 무작위로 고르거나 한 답만 고를 때의 점수다. 길의 첫 곳은 문항마다 보기의 수가 달라 표시하지 않았다(sources/world-limits/plot_world_tables.py)
칸 기준 판, 이야기 / 대화 사실만 판, 이야기 / 대화
(가) 어디 있나 0.27 / 0.15 0.43 / 0.65
(나) 볼 수 있나 0.50 / 0.52 0.48 / 0.52
가족이 보이나 0.50 / 0.50 0.53 / 0.58
홉 카운트 0.06 / 0.02 0.02 / 0.11
(다) 길의 첫 곳 0.45 / 0.51 0.59 / 0.58

위 표는 기준 판과 사실만 판의 정답률이다(world_bench.out 의 M15R·M15dR, 시드 셋의 평균).

오른 것은 읽은 그대로 꺼내는 (가) 뿐이다. (나) 는 0.5 에서 움직이지 않았고, 시드별로 보면 한 시드는 주로 No 를, 두 시드는 Yes 만 골랐다(world_chapter.out 3절). 문항을 읽고 답을 정한 것이 아니라 시드마다 한 답으로 쏠린 것이다.

김민준 M04
김민준

소파가 거실에 있는 것도 알고 부엌에서 거실이 보이는 것도 아는데, 부엌에서 소파가 보이냐고 물으면 동전 던지기야. 13만 편을 읽혔는데.

이서연 S05
이서연

읽힌 건 들어갔어. 「어디 있나」가 올랐으니까. 들어간 사실이 서로 닿지 않는 거야. 왜 안 닿는지부터 알아야 다음에 뭘 넣을지 정할 수 있어.

이 절에서 좋아진 것은 「어디 있나」 한 칸이고(0.27 / 0.15 → 0.43 / 0.65), 알게 된 것은 사실을 따로 읽히는 것만으로는 이어야 하는 칸이 열리지 않는다는 것이다.