루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까

막힌 칸을 하나씩 연다

서연은 학습 글을 다시 읽고 칸마다 원인 후보를 하나씩 적었다. 「볼 수 있나」는 답이 한쪽으로 쏠려 있고, 없는 물건은 학습에 쓴 이름이 열 가지뿐이고, 홉 카운트는 답을 먼저 말하고 경로를 뒤에 적는다. 세 후보를 26M 판 하나에 하나씩 넣었고, 바탕 글은 마지막 데이터 믹스와 글자까지 같게 두어 덧붙이거나 바꾼 글 한 가지만 다르게 했다.

보이는 곳과 안 보이는 곳을 쌍으로. 대화 형식에서 물건이 보이는지를 묻는 학습 글의 답은 No 가 6,408 편, Yes 가 499 편이었다(실험 기록의 집계). 동네의 대부분의 곳에서 대부분의 물건은 보이지 않으니 사실을 옮긴 비율인데, 루나는 「보이나」에 No 라고 답하는 법을 먼저 익혔다. 가족의 위치에서 쓴 방법대로, 같은 물건과 같은 때에 그 물건이 보이는 곳 하나와 안 보이는 곳 하나를 쌍으로 묻는 글 32,500 편을 더했다(world_facts.py 의 see_pairs).

없는 물건의 이름을 넓힌다. 없는 물건을 묻는 학습 글은 이름이 열 가지뿐이었고 시험은 다른 열여섯 가지를 묻는다. 이름을 72 가지로 넓히고 같은 글틀에서 동네에 있는 물건을 묻는 글과 절반씩 섞어 16,250 편을 더했다(world_facts.py 의 absent_qa).

바꾼 조건 겨냥한 칸, 이야기 / 대화 함께 움직인 칸
보임 대조 쌍 볼 수 있나 0.67 / 0.53 → 0.79 (0.75·0.82·0.81) / 0.67 (0.65·0.66·0.71) 쌍 채점 0.76 / 0.80 → 0.82 / 0.90, 가족이 보이나 0.69 / 0.66 → 0.78 / 0.79. 모를 때 「모른다」 0.78 / 0.76 → 0.73 / 0.54, 없는 물건 0.58 / 0.50 → 0.65 / 0.29
없는 물건 이름 72 가지 동네에 없는 물건 0.58 (0.06·1.00·0.69) / 0.50 (0.00·0.75·0.75) → 0.92 (0.81·0.94·1.00) / 0.77 (0.38·0.94·1.00) 있는 물건에 「모른다」 0.13 / 0.00 → 0.00 / 0.00. 모를 때 「모른다」 0.78 / 0.76 → 0.83 / 0.68, 가족이 보이나 0.69 / 0.66 → 0.63 / 0.69

위 표는 조건 하나씩을 바꾼 두 판을 마지막 데이터 믹스 26M 판과 비교한 것이다(world_bench.out 의 M15dm3frR·M15dm3frvR·M15dm3frnR, 쌍 채점은 inside_see.out 2-1절, 있는 물건에 「모른다」는 world_chapter.out 6절, 시드 셋의 평균).

보임 대조 쌍은 쌍 채점도 올렸으므로, 오른 것은 답의 쏠림만이 아니라 두 사실을 잇는 정도다. 다만 대화 형식 0.67 은 미리 정한 기준 0.7 에 시드 하나만 닿았다. 값은 「모른다」 쪽에서 치렀는데, Yes 와 No 로 답하는 글이 늘자 대화 형식에서 모른다고 하는 답이 줄었다. 없는 물건의 이름을 넓힌 판은 이야기 형식에서 세 시드가 모두 0.81 이상이 되었고, 대화 형식은 시드 하나가 0.38 에 머물렀다.

문제 5. 경로는 맞는데 수가 틀린다

홉 카운트의 학습 글은 「Nine. I go from the frog pond to the deer’s meadow, then to …」처럼 수를 먼저 말하고 경로를 뒤에 적는다. 마지막 데이터 믹스 26M 판에게 보기를 주지 않고 답을 끝까지 쓰게 했더니 다음과 같이 썼다. 정답은 5 다.

「Two. I go from the hall upstairs to the living room, then to the kitchen, then to the backyard, then to the forest path, then to the owl’s tree.」

경로는 다섯 홉을 모두 맞게 적었는데 수는 Two 라면, 무엇을 바꿔야 수가 맞을까?

이서연 S01
이서연

경로를 아는 건 분명해. 그러면 수를 세는 일이 문제인데, 다섯 곳을 세는 게 그렇게 어려울까?

김민준 M01
김민준

세는 문제가 아닌 거 같아. 「Two」를 쓰는 순간을 봐. 그때 루나 앞에는 물음밖에 없어. 경로는 아직 한 곳도 안 썼어.

장하은 H07
장하은

답을 말한 다음에 풀이를 쓴 거네요. 사람으로 치면 손가락으로 세기 전에 수부터 말한 거예요.

선생님 T01
선생님

규칙 체인에서 풀이를 적게 했을 때와 같은 원리예요. 풀이가 답을 도우려면 답보다 앞에 있어야 해요. 「볼 수 있나」에서는 시험이 첫 낱말을 고르는 형식이라 풀이를 뒤에 뒀는데, 홉 카운트에서는 그 차례가 거꾸로 작용한 것으로 보여요.

답을 「I go from … to …, then to …. That is five.」로 차례만 바꾼 판을 학습했다(world_facts.py 의 COUNT_LAST). 이 판은 답이 수로 시작하지 않아 원래 시험지의 고르기 채점으로는 측정할 수 없으므로, 같은 213 문항에 답을 끝까지 쓰게 하고 쓴 글에서 수를 읽는 쓰고 답 시험을 새로 만들어 두 판을 함께 측정했다(sources/world-limits/steps_gen.py).

쓰고 답 시험 수를 먼저 말하는 판 경로를 먼저 적는 판
이야기 형식 0.29 (0.25·0.28·0.32) 0.70 (0.75·0.69·0.68)
대화 형식 0.29 (0.28·0.28·0.30) 0.72 (0.76·0.70·0.70)
경로를 맞게 적음(이야기·대화) 0.97 0.98
경로는 맞고 수가 틀림(이야기·대화) 0.68 0.27
홉 2~3 / 4~5 / 6 이상(세 형식 평균) 0.20 / 0.28 / 0.20 0.62 / 0.50 / 0.35

위 표는 홉 카운트의 쓰고 답 시험이다(sources/world-limits/steps_gen.out, 경로에 관한 두 줄은 world_chapter.out 10절, 26M, 시드 셋의 평균).

막힌 칸 셋에서 조건 하나를 바꾸기 전(회색)과 뒤(주황). 검은 점은 시드 하나하나, 점선은 미리 정한 통과 기준 0.7 이다. 홉 카운트는 두 판 모두 쓰고 답 시험의 값이다(sources/world-limits/plot_world.py)
막힌 칸 셋에서 조건 하나를 바꾸기 전(회색)과 뒤(주황). 검은 점은 시드 하나하나, 점선은 미리 정한 통과 기준 0.7 이다. 홉 카운트는 두 판 모두 쓰고 답 시험의 값이다(sources/world-limits/plot_world.py)

수를 먼저 말하는 판은 경로를 97% 맞게 적으면서 수는 29% 만 맞혔으므로, 경로를 아는 것은 처음부터 문제가 아니었다. 홉이 6 이상인 먼 목적지는 차례를 바꾼 뒤에도 0.35 로 아직 낮다. 세 판의 논리 시험은 75%, 79%, 77% 로 마지막 데이터 믹스 26M 판(74%)보다 내려가지 않았다(world_chapter.out 7절). 길의 첫 곳에서 두 홉 떨어진 목적지는 다루지 않았다.

이 절에서 좋아진 것은 막힌 칸 셋이다. 26M 에서 조건을 하나씩 바꿔 「볼 수 있나」가 0.67 / 0.53 에서 0.79 / 0.67 로, 동네에 없는 물건이 0.58 / 0.50 에서 0.92 / 0.77 로, 홉 카운트가 쓰고 답 시험에서 0.29 / 0.29 에서 0.70 / 0.72 로 올랐다.

김민준 M08
김민준

셋 다 크기가 아니라 글이었네. 답의 비율, 이름의 가짓수, 답의 차례.

장하은 H01
장하은

그런데 하나를 열 때마다 「모른다」 쪽이 조금씩 움직였어요. 셋을 함께 넣으면 서로 메울지 더 나빠질지는 측정해 봐야 알아요.

하은의 말대로 셋을 한 판에 함께 넣었다. 26M 에서 하나씩 열어 본 세 가지 글을 모두 87M 에 넣고 시드 셋을 학습한 판이다. 이 판의 글에는 세 조건 말고 계산기와 공책을 쓰는 도구 문항 묶음도 들어 있는데, 그 묶음은 이 장에서 다루지 않는다. 세 조건이 87M 에서 바꾼 것만 읽으려면 묶음까지만 넣은 87M 판과 비교해야 한다. 그 판에서 세 조건을 넣은 판으로 「볼 수 있나」의 대화 형식은 0.57 에서 0.71 이 되어 처음으로 세 시드가 모두 0.70 이상이고, 없는 물건의 대화 형식은 0.38 에서 0.81, 홉 카운트의 쓰고 답은 0.31 / 0.29 에서 0.71 / 0.67 이 되었다(world_bench.out 의 M15dm3frtR+big·M15dm3fxR+big, steps_gen.out). 26M 에서 보임 대조 쌍만 넣었을 때 0.29 로 내려갔던 없는 물건의 대화 형식은 없는 물건의 글을 함께 넣자 열렸다. 「볼 수 있나」의 이야기 형식과 쌍 채점은 세 조건을 넣기 전의 87M 판도 0.79, 0.83 / 0.88 이어서, 87M 에서 세 조건이 바꾼 것은 주로 대화 형식의 답이다.

87M 에서 세 조건을 넣기 전(파란 원, 도구 문항 묶음까지 넣은 판)과 넣은 뒤(주황 네모). 옅은 점은 시드 하나하나, 점선은 통과 기준 0.7 이다. 홉 카운트는 쓰고 답 시험의 값이다(sources/world-limits/plot_world.py)
87M 에서 세 조건을 넣기 전(파란 원, 도구 문항 묶음까지 넣은 판)과 넣은 뒤(주황 네모). 옅은 점은 시드 하나하나, 점선은 통과 기준 0.7 이다. 홉 카운트는 쓰고 답 시험의 값이다(sources/world-limits/plot_world.py)

이 판에 다음 장에서 다룰 마음을 묻고 답하는 글을 더한 판이 이 장의 마지막 루나다. 마음 글을 더해도 이 장의 칸은 대부분 그대로였고, 달라진 것은 아래 성적표와 치른 값에 적었다. 민준이 처음에 물어본 기준 판 루나와 나란히 놓으면 다음과 같다.

문항: Mommy: Luna, it is night. Mommy is in the kitchen. You are in the living room. Can you see Mommy? / Luna:
  처음 루나(시드 1·2·3이 고른 보기): No. | No. | No.
  마지막 루나: Yes. | Yes. | Yes.

문항: Mommy: Luna, where is the sofa? / Luna:
  처음 루나: I do not know. | I do not know. | I do not know.
  마지막 루나: In the living room. | In the living room. | In the living room.

문항: Mommy: Luna, you are in Luna's room. Daddy said, "I am going to the front door." Then Daddy went. Where is Daddy? / Luna:
  처음 루나: In the hall upstairs. | I do not know. | In Luna's room.
  마지막 루나: In the front door. | In the front door. | In the front door.

문항: Luna is in the kindergarten playground. Daddy went out. Daddy did not say where. Where is Daddy? Luna says, "
  처음 루나: In the street. | In the kindergarten playground. | In the kindergarten playground.
  마지막 루나: I do not know. | I do not know. | I do not know.

문항: Where is the piano? Luna says, "
  처음 루나: In Luna's room. | In the kindergarten playground. | In Luna's room.
  마지막 루나: I do not know. | I do not know. | I do not know.

문항: Mommy: Luna, how many doors and paths do you go through from the hall upstairs to the owl's tree? / Luna:
  마지막 루나(세 시드가 쓴 글이 같다): I go from the hall upstairs to the living room, then to the kitchen, then to the backyard, then to the forest path, then to the owl's tree. That is five.

위는 처음 루나의 세 시드가 모두 틀리고 마지막 루나의 세 시드가 모두 맞힌 시험 문항을 칸마다 하나씩 옮긴 것이다(world_chapter.out 11절, 첫 문항은 같은 절의 고정 문항). 처음 루나는 동네 글을 읽지 않은 26M 기준 판, 마지막 루나는 세 조건과 마음 글을 함께 넣은 87M 판이다. 마지막 문항은 답을 끝까지 쓰게 한 글이고, 처음 루나는 쓰고 답 시험으로 측정하지 않았다. 「in inside」는 곳 이름에 프로그램이 「in」을 붙여 생긴 표현으로 학습 글과 시험 보기에 똑같이 들어 있다.

민준은 첫 문항을 한참 들여다보았다. 그날 저녁 라운지에서 120 번을 물어 120 번 No 를 들었던 그 물음이다.

김민준 M10
김민준

보인대. 밤에 거실에서 부엌에 있는 엄마가 보인대. 세 시드가 다.

이서연 S01
이서연

피아노도 봐. 처음 루나는 피아노가 자기 방에 있다고 했어. 지금은 우리 집에 없는 건 모른다고 해.

장하은 H12
장하은

선배들, 지금 표정이 유치원 발표회에 온 부모님 같아요.

이서연 S16
이서연

… 시드 셋이 다 맞혔는지 확인하는 중이야.

칸 처음 루나, 이야기 / 대화 마지막 루나, 이야기 / 대화
어디 있나 0.27 / 0.15 0.97 (1.00·0.95·0.95) / 1.00
길의 첫 곳 0.45 / 0.51 0.85 / 0.91
가족이 보이나 0.50 / 0.50 0.81 (0.80·0.81·0.81) / 0.76 (0.69·0.84·0.75)
가족의 위치, 아는 장면 0.18 / 0.26 0.94 / 1.00
모를 때 「모른다」 0.06 / 0.40 0.78 (0.74·0.74·0.85) / 0.58 (0.60·0.55·0.59)
볼 수 있나 0.50 / 0.52 0.82 (0.83·0.82·0.80) / 0.69 (0.69·0.70·0.69)
볼 수 있나의 쌍 채점(같은 물건 쌍 / 같은 곳 쌍) 0.56 / 0.57 0.85 / 0.89
동네에 없는 물건 0.00 / 0.98 0.88 (0.94·0.94·0.75) / 0.83 (0.81·0.94·0.75)
있는 물건에 「모른다」 0.00 / 0.78 0.00 / 0.00
홉 카운트, 쓰고 답 측정하지 않음 0.71 (0.76·0.69·0.68) / 0.73 (0.75·0.72·0.72)

위 표는 처음 루나와 마지막 루나의 성적이다(world_bench.out 의 M15R·M15dm3fxgR+big, 쌍 채점은 inside_see.out 2-1절, 있는 물건에 「모른다」는 world_chapter.out 6절, 홉 카운트는 steps_gen.out, 시드 셋의 평균). 처음 루나의 대화 형식이 없는 물건에 0.98 인 것은 있는 물건에도 78% 모른다고 했기 때문이다.

치른 값은 세 곳에 남았다. 모르는 장면에서 모른다고 하는 비율은 대화 형식에서 0.58 로 기준 0.7 아래이고, 「볼 수 있나」의 대화 형식도 0.69 로 기준에 조금 못 미친다. 논리 시험은 81%, 변별력은 2.20 (2.40·1.90·2.29)으로, 글 묶음을 넣기 전의 87M 판(84%, 2.50)보다 평균이 낮고 세 시드 가운데 하나만 87M 기준 판의 범위(2.35~2.62) 안에 든다(sources/world-limits/world_logic_big.out). 마음 글을 더하자 사실을 모두 적어 준 이야기에서 길의 첫 곳을 묻는 칸이 0.81 에서 0.76 으로 내려갔다(world_bench.out 의 W4 A, 원인은 측정하지 않았다). 길의 첫 곳에서 두 홉 떨어진 목적지는 0.69 / 0.72 다(13 문항).

김민준 M01
김민준

87M 으로 키웠을 때는 안 열리던 칸이 글을 고치니까 26M 에서도 열리고 87M 에서도 열렸어. 크기는 열린 칸을 지키는 쪽이고 여는 건 글이네.

선생님 T01
선생님

이 장의 숫자로는 그렇게 말할 수 있어요. 다만 글을 하나 넣을 때마다 「모른다」 쪽과 논리 쪽, 길 쪽에서 조금씩 값을 치렀다는 것도 같은 표에 있어요. 대화로 물으면 모른다는 말을 아직 아낀다는 것까지 적어 두죠.