시험지를 넓히고 나눠 읽다
선생님이 지적한 문제는 둘이었다. 하나는 시험지의 크기다. 떼어 둔 453 문항 가운데 cannot 문항은 159 개뿐이어서, 시드만 바꿔도 cannot 정답률이 5%p 쯤 흔들린다. 42% 와 47% 의 차이를 신호로 읽을 수 없다. 그래서 그날까지 떼어 둔 홑 이야기를 모두 모아 시험지를 1,511 문항(cannot 519 개)으로 넓히고, 이 묶음을 얼려 두었다(sources/logic-limits/held_v2.json). 이 장의 나머지 숫자는 모두 이 시험지에서 측정한 것이다.
다른 하나는 시험지를 읽는 법이다. 같은 판을 두 가지로 더 나눠 본다. 학습에 넣은 이야기에서 같은 시험을 보면, 틀리는 이유가 처음 보는 글로 옮기지 못해서인지 배운 글에서도 못 풀어서인지 갈린다. 그리고 답의 종류와 홉 수를 함께 나누면, 홉이 늘어 어려워지는 것과 cannot 이어서 어려워지는 것이 갈린다.

| 4,300 편을 한 번씩 넣은 판 | 홉 1 | 홉 2 | 홉 3 | 홉 4 |
|---|---|---|---|---|
| yes·no 문항 | 81 | 80 | 79 | 74 |
| cannot 문항 | 69 | 40 | 26 | 27 |
위 표는 답 × 홉 수로 나눈 정답률(%)로, 떼어 둔 이야기 1,511 문항에서 시드 셋을 합친 값이다(sources/logic-limits/form_map.out 의 e5R). 같은 판의 배운 이야기에서는 전체 71%, cannot 47% 였다.

yes·no 는 홉 4 까지 거의 평평해요. 규칙을 따라가는 건 되는 거예요. cannot 만 홉 2 부터 무너져요.

홉 1 의 cannot 은 본 사실이 곧바로 규칙 조건과 반대인 문항이에요. 홉 3·4 의 cannot 은 두세 홉을 맞게 간 뒤에, 그렇게 얻은 사실이 다음 규칙 조건과 반대인 문항이고요.
그리고 배운 이야기에서도 cannot 은 47% 였다. 처음 보는 글로 옮기지 못하는 것이 아니라 배운 글에서도 이 칸을 풀지 못한다. 막힌 칸이 「이어 가며 얻은 중간 사실이 다음 규칙 조건과 맞지 않을 때 멈추기」로 좁혀졌다.
문제 1. 홉 수가 늘면 왜 cannot 만 떨어질까
표의 yes·no 문항은 홉 1 에서 4 까지 81% 에서 74% 로, cannot 문항은 69% 에서 27% 로 내려간다. (가) 홉 4 의 yes 문항에서 루나가 해야 하는 일과 홉 4 의 cannot 문항에서 해야 하는 일을 각각 적어라. (나) cannot 문항에서 끊기는 자리가 늘 첫 홉이라면 홉 4 의 cannot 정답률은 어떻게 나올지 예측하라.

(가)는 yes 면 규칙 네 개를 차례로 쓰면 되고, cannot 이면 세 개를 쓰다가 넷째에서 멈춰야 해요.

멈출지 말지를 정하려면 셋째 홉에서 얻은 사실과 넷째 규칙의 조건을 비교해야 해. 그 사실은 문항에 적혀 있지 않고 루나가 방금 만든 거야.

(나)는요?

첫 홉에서 끊기면 본 사실과 규칙을 비교하는 거라 홉 1 과 같아요. 69% 근처가 나와야 해요. 27% 가 나온 건 중간에서 끊기는 문항이 많아서예요.

맞아요. 이 시험지에서 홉 3·4 의 cannot 문항 253 개를 끊기기 전에 맞게 이은 홉 수로 나누면, 0 이 117 개, 1 이 76 개, 2 이상이 60 개예요. 홉 4 라는 이름 아래에 첫 홉에서 끊기는 쉬운 문항이 절반 가까이 섞여 있는 거예요. 그러니 진짜 막힌 칸을 보려면 홉 수가 아니라 「끊기기 전에 이은 홉 수」로 나눠야 해요. 이 나눔은 장 끝에서 다시 써요.