루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까

이끌어 내는 묻고 답하기와 풀이 문장

이번에 알고 싶은 것은 물음의 형식과 풀이를 보여 주면 처음 보는 조합에도 답하는가다. 사실만 판의 글에 묻고 답하기 43,333 편을 더했다. 「볼 수 있나」, 홉 카운트, 길의 첫 곳, 동네에 없는 물건, 별나라의 다섯 가지 물음을 학습용 조합으로만 만들고, 답은 결론을 먼저 말한 뒤 답에 쓴 두 사실을 풀이 문장으로 붙인다.

It is daytime. Luna is in the front yard. Can Luna see Daddy's turtle? Luna says, "Yes. Daddy's turtle is in the living room, and from the front yard I can see the living room."

Luna is in the kindergarten room. Luna wants to go to Luna's room. Where does Luna go first? Luna says, "To the kindergarten playground. The way to Luna's room goes through the kindergarten playground."

Where is the rope? Luna says, "I do not know. We do not have a rope in our home."

위는 묻고 답하기의 보기다(world_chapter.out 9절). 이 글을 더한 판을 묻고 답하기 판이라고 부르고, 풀이를 답 뒤에 둔 것은 시험이 답의 첫 낱말을 고르는 형식이어서다. 풀이가 답 앞에 올 때 답이 풀이를 따라간다는 것은 대화로 가르친 루나에게서 따로 확인해 두었다. 두 사람의 사실을 스스로 묻고 적은 뒤 답하게 가르친 루나는 처음 보는 비교 96 문항에서 시드별 93·88·92% 를 맞혔고(풀이 없는 대조군 52·58·66%), 풀이 속 두 사람의 값을 바꿔 넣으면 답이 93~100% 따라 바뀌었다(sources/think/summary_echo_ask.out). 동네 물음에서 답 뒤의 풀이 문장이 얼마나 기여했는지는 따로 대조하지 않았다.

칸마다 사실만 판(빈 표지)에서 묻고 답하기 판(찬 표지)으로 옮겨 간 정답률. 파랑은 이야기 형식, 주황은 대화 형식, 옅은 점은 묻고 답하기 판의 시드 하나하나, 검은 세로줄은 무작위로 고르거나 한 답만 고를 때의 점수다(sources/world-limits/plot_world_tables.py)
칸마다 사실만 판(빈 표지)에서 묻고 답하기 판(찬 표지)으로 옮겨 간 정답률. 파랑은 이야기 형식, 주황은 대화 형식, 옅은 점은 묻고 답하기 판의 시드 하나하나, 검은 세로줄은 무작위로 고르거나 한 답만 고를 때의 점수다(sources/world-limits/plot_world_tables.py)
칸 사실만 판, 이야기 / 대화 묻고 답하기 판, 이야기 / 대화
볼 수 있나 0.48 / 0.52 0.73 / 0.61
가족이 보이나 0.53 / 0.58 0.70 / 0.56
길의 첫 곳 0.59 / 0.58 0.75 / 0.79
홉 카운트 0.02 / 0.11 0.18 / 0.27
동네에 없는 물건 0.04 / 0.15 0.96 / 0.71
어디 있나 0.43 / 0.65 0.27 / 0.63

위 표는 사실만 판과 묻고 답하기 판의 정답률이다(world_bench.out 의 M15dR·M15dqR, 시드 셋의 평균). 시험 문항은 모두 학습에 쓰지 않은 조합이다.

문항: It is daytime. Luna is in the teacher's garden. Can Luna see the frogs? Luna says, "
정답: No.
  사실만 판(시드 1·2·3이 고른 보기): Yes. | Yes. | Yes.
  묻고 답하기 판: No. | No. | No.

위는 시험 문항 하나와 두 판이 고른 보기다(world_chapter.out 8절, wb00172).

김민준 M09
김민준

올랐다. 선생님 정원에서는 개구리가 안 보인다고 세 시드가 다 맞혔어. 이 조합은 학습 글에 없던 거잖아.

장하은 H01
장하은

좋아하기는 조금 일러요, 선배. 제가 물어본 게 아직 남았어요. 경향만으로 얻는 점수가 얼마인지 모르면 0.73 이 무슨 뜻인지 몰라요.

「볼 수 있나」가 처음으로 0.5 를 넘었고, 가족이 한 번도 나오지 않는 글만 읽었는데 가족이 보이나도 이야기 형식에서 0.70 이 되었다. 길의 첫 곳은 목적지가 두 홉 떨어진 문항이 0.56 으로 가장 낮고 네다섯 홉은 0.86 이다(world_chapter.out 4절). 홉 카운트는 0.18 로 무작위 수준인 0.1 을 조금 넘었을 뿐이다.

표의 마지막 두 줄은 서로 반대로 움직였다. 없는 물건에 「I do not know.」를 고르는 비율은 0.96 이 되었는데, 이 판은 동네에 있는 물건을 물어도 이야기 형식에서 47% 에 모른다고 했다(world_chapter.out 6절). 「Where is …?」 묻고 답하기로는 없는 물건의 것만 넣었으므로, 루나는 「Where is …?」에 모른다고 답하는 법을 먼저 배운 것이다. 깊은 끊김 이야기를 넣었을 때 본 판단 기준의 이동과 같은 모양이다.

이 절에서 좋아진 것은 이어야 하는 칸의 점수다. 「볼 수 있나」가 0.48 / 0.52 에서 0.73 / 0.61 이 되었고, 길의 첫 곳은 0.75 / 0.79 가 되었다. 0.73 이 두 사실을 이어서 얻은 점수인지는 이 표만으로는 알 수 없다.