루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까
논리와 동네를 함께 써야 하는 문항
하은은 논리 없는 판의 표를 덮고 나서도 물음을 하나 더 붙들고 있었다.

다섯 살 아이는 「창밖에 아빠가 보이면 아빠가 집에 다 온 거야」처럼 둘을 한꺼번에 써요. 창으로 무엇이 보이는지는 집을 알아야 하고, 그다음은 규칙을 따라가는 거고요. 둘을 따로 물으면 다 하는 루나가, 한 물음에서 둘을 함께 써야 할 때도 할까요?
서연은 규칙 체인 문항에서 첫 사실을 지우고, 그 사실이 참인지를 동네에서 알아내게 했다. 첫 규칙의 앞마디를 「Luna can see {물건}」으로 쓰고, 루나에게 그 물건이 보이는지는 적지 않는다. 문항에는 낮인지 밤인지와 루나가 있는 곳만 있다. 「If Luna can see the tall tree, then the pan is not green. … It is night. Luna is in the street.」라면 밤에 길에서 큰 나무가 보이는지를 동네에서 꺼내야 하고, 보이면 규칙을 따라 no, 안 보이면 첫 규칙을 쓸 수 없으니 「we cannot tell」이다. 정답의 절반이 we cannot tell 이어서 늘 그 말만 해도 0.50 을 얻는다. 시험 문항 600 개는 동네 묻고 답하기가 학습에 쓰지 않은 물건 × 곳 × 때 조합으로만 만들었다.
동네 묻고 답하기와 규칙 체인을 둘 다 배운 루나에게 그대로 물으니 0.45 (0.44·0.44·0.46) 였고, 풀이에 「Luna can see」를 적은 문항은 하나도 없었다(sources/world-limits/both_bench.out 의 M15dqR). 그래서 같은 형식의 문항과 풀이를 학습용 조합으로 적은 글을 학습에 넣었고, 이 글을 풀이 글이라고 부른다. 풀이 글은 「Luna can see the tall tree so the pan is not green. Anna says no.」처럼 보이는지를 먼저 적고 규칙을 따라 답한다. 풀이 글 32,500 편을 넣자 논리 글과 동네 묻고 답하기가 있든 없든 네 판이 0.70~0.77 로 갈리지 않았다. 풀이 글이 두 재료를 스스로 가르친 것이다.

풀이 글을 500 편, 2,000 편, 8,000 편으로 줄여 보자. 채점도 둘로 나누고. 풀이 앞부분에 적은 「Luna can see」나 「Luna cannot see」가 동네와 맞는 비율이 보이나 판단, 그 판단을 맞게 적은 문항에서 답까지 맞힌 비율이 규칙 잇기야. 풀이 글이 적으면 논리 글을 읽은 판은 규칙 잇기에서, 묻고 답하기를 읽은 판은 보이나 판단에서 앞서야 해.

500 편에서도 넷이 같으면?

이 문항으로는 두 재료가 합쳐지는지를 측정할 수 없다고 적고 닫아야지.

| 칸 | 판 | 풀이 글 500 편 | 2,000 편 | 8,000 편(시드 1) | 32,500 편 |
|---|---|---|---|---|---|
| 문항 점수 | 논리 + 묻고 답하기 | 0.54 (0.56·0.55·0.49) | 0.64 (0.63·0.64·0.66) | 0.74 | 0.70 |
| 논리 + 사실만 | 0.53 (0.54·0.53·0.51) | 0.63 (0.53·0.68·0.68) | 0.79 | 0.72 | |
| 묻고 답하기만 | 0.43 (0.40·0.46·0.44) | 0.51 (0.51·0.53·0.47) | 0.73 | 0.72 | |
| 사실만 | 0.42 (0.40·0.50·0.36) | 0.52 (0.52·0.50·0.54) | 0.74 | 0.77 | |
| 규칙 잇기 | 논리 + 묻고 답하기 | 0.70 (0.83·0.73·0.55) | 0.99 (0.99·0.99·0.98) | 1.00 | 1.00 |
| 논리 + 사실만 | 0.69 (0.75·0.67·0.65) | 0.98 (0.95·0.98·1.00) | 1.00 | 1.00 | |
| 묻고 답하기만 | 0.43 (0.39·0.47·0.44) | 0.54 (0.53·0.61·0.48) | 0.99 | 1.00 | |
| 사실만 | 0.41 (0.42·0.42·0.38) | 0.55 (0.53·0.57·0.57) | 0.99 | 1.00 | |
| 보이나 판단 | 논리 + 묻고 답하기 | 0.56 (0.56·0.61·0.52) | 0.65 (0.63·0.65·0.67) | 0.75 | 0.70 |
| 논리 + 사실만 | 0.55 (0.56·0.55·0.53) | 0.63 (0.52·0.67·0.68) | 0.79 | 0.72 | |
| 묻고 답하기만 | 0.55 (0.53·0.57·0.56) | 0.64 (0.62·0.65·0.67) | 0.74 | 0.72 | |
| 사실만 | 0.56 (0.60·0.52·0.57) | 0.62 (0.56·0.64·0.66) | 0.74 | 0.77 | |
| 따로 묻는 「볼 수 있나」 | 논리 + 묻고 답하기 | 0.67 (0.67·0.68·0.66) | 0.67 (0.66·0.67·0.69) | 0.65 | 0.69 |
| 논리 + 사실만 | 0.52 (0.56·0.50·0.51) | 0.57 (0.52·0.56·0.65) | 0.51 | 0.52 | |
| 묻고 답하기만 | 0.65 (0.68·0.64·0.64) | 0.68 (0.70·0.69·0.65) | 0.70 | 0.71 | |
| 사실만 | 0.51 (0.48·0.51·0.55) | 0.53 (0.47·0.55·0.56) | 0.58 | 0.54 |
위 표는 26M 판 넷의 시드 평균과 시드별 값이다(both_bench.out 1·2절, 8,000 편은 시드 하나, 32,500 편은 시드 셋의 평균만 옮김). 판은 논리 글(규칙 체인 문항과 딥시크 이야기)이 있는지와 동네 글이 사실 + 묻고 답하기인지 사실만인지로 나뉘고, 나머지 학습 글과 스텝은 같다. 두 판씩 비교한 판정은 sources/world-limits/both_chapter.out 1·2절에 있다.
문항 점수는 풀이 글이 적을 때 논리 글을 읽은 판이 높다. 2,000 편에서 0.64·0.63 대 0.51·0.52 이고, 500 편에서도 시드 범위가 떨어져 있다. 사실만 읽은 두 판을 비교한 2,000 편 하나만은 논리 판의 한 시드가 보이나 판단을 0.52 만 맞혀 범위가 겹쳤다. 점수를 둘로 나누어 보면 무엇이 갈랐는지가 드러난다.
규칙 잇기는 예측대로 갈렸다. 동네 글이 같은 판끼리 비교한 넷 모두 논리 글을 읽은 판이 앞서고 시드 범위가 떨어져 있다(500 편 0.55~0.83 대 0.38~0.47, 2,000 편 0.95~1.00 대 0.48~0.61). 논리 글을 뺀 판은 학습 파일이 줄어 같은 스텝에서 풀이 글을 더 자주 읽었는데도 뒤졌다. 8,000 편이 되면 풀이 글만으로 넷 다 0.99~1.00 이다.
[bb00003, 보임 False, 정답 cannot] Lily wants to know if the sock is tall. Ben tells the rules. The sock is tall if Luna can see the big bed. The cat is not slow when the bus is not heavy. It is daytime. Luna is in inside the teacher's house. Ben says the bus is heavy. Ben says
논리 + 묻고 답하기 → Luna cannot see the big bed. Ben says we cannot tell
묻고 답하기만 → Luna cannot see the big bed so the sock is tall. Ben says yes
위는 풀이 글 2,000 편을 넣은 두 판(시드 1)이 같은 문항에 쓴 풀이다(both_chapter.out 4절). 두 판이 모두 보이나 판단을 맞게 적은 331 문항에서 논리 글을 읽은 판은 329 문항, 읽지 않은 판은 178 문항을 맞혔다.

「Luna cannot see the big bed」까지는 둘이 똑같아. 침대가 안 보이면 그 규칙은 못 쓰는 건데, 논리를 안 읽은 루나는 그냥 양말이 길다고 해 버려. 논리 글이 여기서는 쓰이는구나.

논리를 읽은 판은 판단을 틀리게 적은 문항에서도 그 판단을 끝까지 따라가. 그런 문항의 정답률이 0.01·0.04 야. 논리를 안 읽은 판은 판단이 맞은 문항 0.54·0.55, 틀린 문항 0.45·0.46 이라 적은 판단과 답이 따로 놀고(both_chapter.out 3절).
보이나 판단은 예측과 달랐다. 500 편에서는 네 판이 0.55~0.56 으로 늘 한 답만 적을 때의 0.50 가까이에 있었고, 2,000 편에서는 0.62~0.65 로 함께 올랐다. 묻고 답하기를 읽은 판과 사실만 읽은 판을 비교한 넷은 모두 시드 범위가 겹친다. 그런데 같은 판들에게 규칙 없이 「Can Luna see …?」만 따로 물으면 묻고 답하기 판이 0.65~0.68, 사실만 판이 0.51~0.57 이고, 넷 모두 범위가 떨어져 있다.

따로 물으면 아는 걸 문항 안에서는 안 써요. 묻고 답하기로 배운 「보인다」가 풀이 앞부분으로 넘어오지 않았어요.

내 예측은 반만 맞았네. 논리 쪽만.

두 재료가 학습 글에 어떤 형식으로 들어 있었는지 비교해 봐요. 이 문항은 규칙 체인 학습 글과 같은 글틀로 만들었어요. 규칙을 말하는 문장도, 묻는 문장도, 「so … says no」로 맺는 풀이도 같아요. 동네 묻고 답하기는 「Can Luna see …?」에 「Yes.」나 「No.」로 답하는 형식인데, 문항 안에서는 「Luna can see …」를 평서문으로 적고 규칙으로 이어 가야 해요. 형식이 같았던 논리 글은 옮겨 갔고 형식이 달랐던 묻고 답하기는 옮겨 가지 않았다고 읽을 수 있어요. 형식 때문인지는 따로 측정하지 않았으니 가설이에요. 가설이 맞다면 서연 학생이 말한 「꺼내 쓰는 법도 영역마다 따로 배운다」에서 「영역마다」는 「형식마다」에 더 가까워요.
그 가설을 한 번 시험했다. 과제 풀이 글에서 보이나 판단을 동네 묻고 답하기와 같은 형식(「we ask Luna. Can Luna see the sofa? Luna says, “No.” So …」)으로 바꾸고, 묻고 답하기를 읽은 판과 사실만 읽은 판을 다시 비교했다(풀이 글 500·2,000 편, 시드 셋). 형식이 원인이라면 이번에는 묻고 답하기를 읽은 판이 보이나 판단에서 앞서야 한다. 결과는 겹침이었다. 2,000 편에서 0.72~0.75 대 0.67~0.74, 500 편에서 0.71~0.72 대 0.64~0.72 로, 같은 시드끼리 비교한 차이가 세 시드 모두 같은 쪽이 아니었다(sources/world-limits/both_bench.out 의 qc·ac 판). 형식을 맞추는 것만으로 따로 배운 묻고 답하기가 문항 안으로 옮겨 가지는 않았다. 눈에 띈 것은 따로 있었다. 풀이를 묻고 답하기 형식으로 바꾼 두 판이 모두, 예전 풀이로 배운 판보다 보이나 판단이 높았다(500 편에서 0.52~0.61 에서 0.64~0.72 로). 이 차이의 원인은 따로 측정하지 않았다.

형식은 원인이 아니었네. 「영역마다」가 무엇인지는 아직 모르는 거야.
이 절에서 좋아진 것은 두 재료를 함께 써야 하는 문항을 가르치는 법에 대한 근거다. 그 문항의 풀이 글이 적을 때는 프리트레인의 논리 글이 문항을 배우게 했다(풀이 글 2,000 편에서 규칙 잇기가 논리 글을 읽은 판 0.99·0.98, 읽지 않은 판 0.54·0.55). 동네는 따로 배운 묻고 답하기가 문항 안으로 옮겨 가지 않았고(풀이의 형식을 맞춰도 마찬가지였다), 문항 안의 보이나 판단은 풀이 글이 늘 때만 올랐다. 26M, 이 문항, 이 동네에서 측정한 것이다.