루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까
시험이 묻는 형식으로 가르친다
문제 3. 「어디 있나」는 왜 내려갔을까
묻고 답하기 판은 사실 글을 사실만 판과 똑같이 읽었다. 그런데 「Where is the sofa?」의 정답률은 이야기 형식에서 0.27 이고 대화 형식에서는 0.63 이다. 시험의 보기는 「In the living room.」처럼 곳마다 하나씩 19 개와 「I do not know.」다.
이야기 형식이 낮은 원인으로 가장 그럴듯한 것은?
(가) 소파의 자리를 잊었다.
(나) 자리는 아는데, 「Where is the sofa?」에 「In ….」으로 답하는 글을 읽은 적이 없다.
(다) 이야기 형식의 글을 덜 읽었다.

(가) 는 아닐 거야. 잊었으면 대화 형식도 낮아야 하는데 0.63 이니까.

그럼 (나) 인데, 대화 형식은 왜 괜찮지? … 아, 생성기를 보니까 사실 글의 대화 형식이 엄마가 「Where is the sofa?」라고 묻는 글이야. 이야기 형식으로 「Where is …?」를 묻는 글은 없는 물건의 것뿐이고.

그래서 이야기 형식에서는 있는 물건에도 절반 가까이 모른다고 한 거구나.

(나) 가 측정과 맞아요. 지식이 없는 것과, 지식은 있는데 시험이 묻는 형식으로 꺼내 본 적이 없는 것은 다른 문제예요. 형식을 본 적이 없어서 못 꺼내는 것은 그 형식의 글을 넣으면 고쳐져요.
두 가지를 함께 넣었다. 하나는 「어디 있나」의 묻고 답하기로, 답을 시험의 보기처럼 「In the yard of Haeun’s house. The blue door is in …」로 시작하게 했고, 다른 하나는 딥시크가 쓴 동네 대화다. 장면의 상태와 사실, 물음과 답의 첫말과 풀이는 프로그램이 학습용 조합에서 정해 주고 딥시크는 말씨만 맡으며, 돌아온 대화는 정해 준 사실과 답이 들어 있는지 검사해 거른다.
Mommy: It is rainy and night at home.
Daddy: We are talking now.
Luna: I am in the front yard.
Daddy: The teacher is in the street.
Mommy: At night, from the front yard you can see the street, the teacher's garden and the living room.
Mommy: Can you see the teacher?
Luna: Yes. I can see the teacher because from the front yard I can see the street.
위는 걸러 남긴 딥시크 동네 대화의 첫 편이다(world_chapter.out 9절). 요청 3,000 개에서 2,755 편이 남았고(sources/world-limits/filter_world_talk.out), 이 절의 판에는 그때까지 걸러진 1,053 편을 여덟 번씩 넣었다. 이 판을 시험 형식 판이라고 부른다.

| 칸 | 묻고 답하기 판, 이야기 / 대화 | 시험 형식 판, 이야기 / 대화 |
|---|---|---|
| 어디 있나 | 0.27 / 0.63 | 0.87 / 0.98 |
| 가족이 보이나 | 0.70 / 0.56 | 0.70 / 0.74 |
| 볼 수 있나 | 0.73 / 0.61 | 0.72 / 0.66 |
| 길의 첫 곳 | 0.75 / 0.79 | 0.78 / 0.76 |
| 동네에 없는 물건 | 0.96 / 0.71 | 0.33 / 0.17 |
위 표는 묻고 답하기 판과 시험 형식 판의 정답률이다(world_bench.out 의 M15dqR·M15dqtR, 시드 셋의 평균).
「어디 있나」가 0.87 / 0.98 이 되었다. 답의 형식과 딥시크 대화를 한 판에서 함께 넣었으므로 둘 가운데 어느 것이 얼마나 기여했는지는 구분하지 못한다. 치른 값은 표의 마지막 줄이다. 있는 물건에 모른다고 하던 47% 는 3% 로 사라졌지만 없는 물건에 모른다고 하는 비율도 0.96 에서 0.33 으로 내려갔다(world_chapter.out 6절). 묻고 답하기 판은 무엇을 물어도 모른다고 했고, 시험 형식 판은 무엇을 물어도 곳을 댄다.

논리 때와 같아요. 모른다고 하는 횟수를 늘리거나 줄일 수는 있는데, 모르는 것만 골라서 모른다고 하게 만든 건 아니에요.
이 절에서 좋아진 것은 형식이 맞지 않아 닫혀 있던 두 칸이다. 「어디 있나」가 0.27 / 0.63 에서 0.87 / 0.98 로, 가족이 보이나의 대화 형식이 0.56 에서 0.74 로 올랐다.