루나의 마음: 엄마가 말없이 나가면 루나는 무엇을 느낄까
상태 하나만 바꾼 쌍으로 측정한다
서연은 시험지를 쌍으로 만들었다. 한 쌍의 두 장면은 상태 칸 하나만 다르고, 그 한 칸 때문에 마음이 달라진다.
Luna is in the living room. Mommy said, "I am going to the living room." How does Luna feel? Luna says, " (정답 calm)
Luna is in the living room. Mommy went out. Mommy did not say where. How does Luna feel? Luna says, " (정답 worried)
위는 시험지의 한 쌍이다(sources/world-limits/feel_chapter.out 1절). 대화 형식은 같은 장면을 「Daddy: Luna, you are in the living room. … How do you feel?」로 묻는다. 쌍 160 개를 이야기와 대화 두 형식으로 묻고, 마음(보기 여섯)과 이유(보기 다섯)를 고르게 했다. 장면은 모두 학습 글에 넣지 않은 상태 조합이다.
문제 1. 늘 「걱정돼」라고 하는 루나
시험지 이야기 형식 320 문항의 정답은 worried 160, calm 115, scared 27, happy 18 이다.
무슨 장면이든 「I feel worried.」만 고르는 루나는 문항 정답률이 얼마일까? 쌍의 두 문항을 모두 맞혀야 1 점인 쌍 점수는 얼마일까?

문항으로는 160 / 320 이니까 0.50. 무작위보다 세 배야.

쌍 점수는 0 이야. 쌍의 두 장면은 마음이 다르니까, 늘 같은 답을 하면 두 문항 가운데 하나는 꼭 틀려.

그래서 이 장의 기준은 쌍 점수예요. 장면 한 줄을 읽고 답을 바꿔야만 점수를 얻어요.
규칙표로 쓴 마음 글 32,500 편을 동네 글 판에 더하자 마음 고르기가 이야기 0.63, 대화 0.61 로 올랐다. 쌍 점수는 0.37 (0.23·0.00·0.89) / 0.30 (0.04·0.00·0.88)으로 시드 하나만 장면을 따라갔고 다른 두 시드는 거의 0 이었다(feel_bench.out 의 M15dqfeR).

시드 3 은 0.89 인데 시드 2 는 0 이야. 같은 글을 읽고 이렇게 다르면 뭘 배웠다고 해야 할지 모르겠어.