이은 뒤 끊기는 이야기
문제 1. cannot 이야기를 더 넣으면 오를까
기준 판에 이야기 1,000 편을 더 섞으려 한다. 두 가지 후보가 있고 둘 다 정답은 cannot 이다.
(가) 첫 홉에서 바로 끊기는 cannot 이야기 1,000 편
(나) 한 홉 이상 맞게 이은 뒤 끊기는 깊은 끊김 이야기 1,000 편
깊은 끊김 시험지의 두 홉 이상 칸(기준 19%)은 각각 어떻게 될까? 떼어 둔 이야기의 yes·no 문항은?

둘 다 오르지. cannot 이 천 편씩 느는 거니까. (나) 가 좀 더 오르고.

(가) 는 이미 88% 인 칸을 더 채우는 거예요. 막힌 칸은 한 번이라도 이은 뒤에 멈추는 거고요.

오답의 38% 가 「이어 온 뒤 지나침」이었으니까, 이어 온 뒤 멈추는 장면을 보여 주는 건 (나) 뿐이야. 대신 cannot 을 많이 보면 yes·no 에서도 멈추기 시작할 수 있어.

둘 다 학습해 봅시다. (나) 는 1,000 편, 2,000 편, 3,000 편까지 늘려 봐요. 딥시크가 그동안 계속 쓰고 있으니까요.
| 더 섞은 이야기 | 깊은 끊김, 두 홉 이상 | 깊은 끊김, 이은 홉 1 | yes·no | yes·no 에 cannot | 떼어 둔 이야기 전체 |
|---|---|---|---|---|---|
| 없음(기준 판) | 19 | 40 | 84 | 4 | 79 |
| (가) 첫 홉에서 끊김 1,000 편 | 16 | 33 | 83 | 6 | 78 |
| (나) 깊은 끊김 1,000 편 | 46 | 43 | 74 | 12 | 73 |
| (나) 깊은 끊김 2,000 편 | 56 | 56 | 78 | 13 | 76 |
| (나) 깊은 끊김 3,000 편 | 69 | 73 | 79 | 10 | 81 |
위 표는 깊은 끊김 이야기의 편수에 따른 정답률이다(sources/logic-limits/logic_stop.out, lab_table.out 의 M15R·K15R·G15R·H15R·J15R, 시드 셋의 평균, 기준 판은 시드 여섯, %). 깊은 끊김 시험지는 350 문항, 나머지는 떼어 둔 이야기 1,511 문항이다.
(가) 는 막힌 칸을 바꾸지 않았고, (나) 는 편수를 따라 19% 에서 69% 까지 올렸다. 그 대신 yes·no 문항에도 cannot 이라고 답하는 비율이 4% 에서 10~13% 로 늘어, 1,000 편 판은 yes·no 에서 10%p 를 잃었다.

막힌 칸은 열렸는데 yes·no 가 빠졌네. 멈추라고 가르쳤더니 안 멈춰도 되는 데서까지 멈추는 거야?

그건 따로 들여다봐야겠어. 우선 이은 뒤 멈추는 장면을 보여 줘야 칸이 열린다는 건 확인했어.

편수를 4,300 편까지 늘린 판은 통하지 않았다. 깊은 칸은 67% 로 더 오르지 않았고 yes·no 는 63% 로 무너졌다. 넣는 양을 토큰의 15% 로 정해 두어서, 이야기가 늘어난 만큼 프로그램 문항이 기준 판 1,572만 토큰에서 852만 토큰으로 밀려났기 때문이다(sources/logic-limits/mix_tokens.out). 더한 이야기만큼 넣는 양을 늘려 프로그램 문항을 기준 판과 같은 양으로 지키면 같은 4,300 편에서 깊은 칸 76%, 전체 79% 가 된다(logic_stop.out). 무너진 판의 속에서 무엇이 달라졌는지는 「무너진 판의 속을 읽는다」에서 본다.