루나의 마음: 엄마가 말없이 나가면 루나는 무엇을 느낄까

흔들리는 칸: 이야기로 물으면

반응은 열렸는데 같은 26M 판의 마음 고르기 쌍 점수는 0.15 / 0.20 에 머물렀다. 크기를 키워 87M 으로 학습하자 대화 형식은 쌍 점수 0.93 (0.86·0.98·0.95)으로 세 시드가 모두 통과했다. 이야기 형식은 0.27 (0.00·0.18·0.62)로 시드마다 달랐다. 동네의 막힌 칸 세 조건을 함께 넣은 87M 판에서는 대화 형식마저 0.25 (0.49·0.13·0.14)로 내려갔다(feel_bench.out 의 M15dm3frR·M15dm3frR+big·M15dm3fxR+big).

판 마음 고르기, 이야기 / 대화 쌍 점수, 이야기 / 대화
26M, 감정 대화와 반응 묻고 답하기까지 0.51 / 0.54 0.15 / 0.20
87M, 같은 글 0.43 / 0.97 0.27 / 0.93
87M, 동네 세 조건까지 0.43 / 0.46 0.09 / 0.25

위 표는 마음 고르기의 시드 셋 평균이다(feel_bench.out).

문제 2. 「How does Luna feel?」에 루나가 한 대답

동네 세 조건까지 넣은 87M 판에게 보기를 주지 않고 이야기 형식으로 물었다.

「Luna is in Luna’s room. Mommy went out. Mommy did not say where. How does Luna feel? Luna says, "」

세 시드가 모두 「I do not know. Nobody told me where Mommy is.」라고 썼다. 이야기 형식 150 답 가운데 85 답이 이렇게 시작했고, 정답 마음 낱말이 든 답은 12 개였다(feel_chapter.out 5절).

루나는 왜 마음 대신 이 말을 했을까?

김민준 M03
김민준

엄마 어디 있냐고 안 물었는데. 질문을 잘못 들었나?

장하은 H01
장하은

대답은 맞는 말이에요. 아무도 안 알려 줬으니까 엄마가 어디 있는지 모르죠. 묻는 말만 틀렸어요.

이서연 S01
이서연

학습 글을 세어 볼게. … 「Mommy did not say where」 장면 뒤에 「Luna says, "I do not know. Nobody told me」가 오는 글이 3,529 편이야. 동네 장에서 넣은 대조 쌍이지. 그런데 이야기 형식으로 「How does Luna feel? Luna says」라고 묻는 글은 0 편이고, 대화 형식 「How do you feel?」은 11,015 편이야.

학습 글의 형식 편수
대화 형식으로 마음을 묻는 글(「How do you feel?」) 11,015
이야기 형식으로 마음을 서술한 글(「Luna feels worried, because …」) 10,792
이야기 형식으로 마음을 묻는 글(「How does Luna feel? Luna says」) 0
말없이 나간 장면 뒤 이야기 형식 「Luna says, "I do not know. Nobody told me …」 3,529

위 표는 동네 세 조건을 넣기 전 판의 학습 글을 센 것이다(feel_chapter.out 2절).

김민준 M08
김민준

루나 입장에서는 이 장면 다음에 「Luna says」가 나오면 늘 「몰라, 아무도 안 알려 줬어」였던 거네. 마음을 몰랐던 게 아니라, 장면 뒤 「Luna says」 다음에 마음을 말해 본 적이 없었어.

선생님 T01
선생님

「어디 있나」가 0.27 이던 때와 같은 원인이에요. 지식이 없는 것과, 시험이 묻는 형식으로 꺼내 본 적이 없는 것은 다른 문제예요. 대화 형식 87M 이 통과한 것도 그 형식의 글이 만 편 넘게 있어서였다고 읽을 수 있어요.

이서연 S01
이서연

그럼 두 가지 중 하나야. 이야기 형식의 마음 글을 다양하게 많이 읽히거나, 시험과 같은 형식으로 묻고 답하는 글을 넣거나.