멈추는 법: 모른다고 말하게 가르치면 무엇을 잃을까
이 장의 물음
겨울 방학 첫 주, 랩실에는 세 사람과 GPU 두 장만 남았다. 한계 지도를 그리고 나서도 끝까지 오르지 않은 칸이 하나 있었다. 규칙을 두 번 이상 맞게 이어 간 뒤, 다음 규칙의 조건이 지금 아는 사실과 맞지 않아 「알 수 없다」고 답해야 하는 cannot 문항이다. 학습에 섞은 딥시크 이야기 4,300 편 가운데 이런 이야기는 176 편뿐이었다.

두 홉 넘게 이은 뒤 끊기는 문항에서 루나는 알 수 없는 걸 yes 나 no 라고 답해 버리는 거잖아. 설정서 여섯째 줄에 「모르면 모른다고 한다」라고 우리가 적었는데, 지금 루나는 모르면서 아는 척해. 그 줄은 꼭 지키게 해 주고 싶어. 딥시크한테 그런 이야기만 몇천 편 쓰게 하자.

넣기 전에 루나가 두 홉 이상 이은 뒤 끊기는 문항에서 실제로 뭘 쓰는지부터 읽자. 넣을 것부터 고르면 같은 실수를 더 굳힐 수 있다는 걸 이미 한 번 봤잖아.
이 장의 모델은 한계 지도에서 가장 높았던 규칙 글틀 여덟 벌 판이다. 낱말 목록으로 거른 동화와 지식 글로 프리트레인하면서(8층, 폭 512, 파라미터 2,653만 개, 14,000 스텝) 딥시크 이야기 4,300 편을 여덟 번씩, 규칙 체인 문항과 함께 토큰의 15% 만큼 섞는다. 이 판을 이 장의 기준 판으로 삼고 시드 여섯으로 학습하면 떼어 둔 이야기 1,511 문항에서 79%(시드별 73~82%)를 맞힌다(sources/logic-limits/lab_table.out).
이 장의 줄기 물음은 하나다. 루나가 규칙을 이어 가다가도 멈춰야 할 곳에서 멈추고, 아는 것은 그대로 안다고 하게 만들 수 있는가? 아래 네 물음은 줄기 물음을 따라가며 차례로 나온다.
- 루나는 깊이 이어 간 뒤 멈춰야 하는 자리에서 무엇을 쓰는가? 체인을 못 따라가는가, 따라가고도 못 멈추는가?
- 깊이 이은 뒤 끊기는 문항을 겨냥한 이야기를 넣으면 칸이 열리는가? 딥시크 없이 그런 이야기를 만들 수 있는가?
- 「모른다」를 더 자주 말하게 된 루나는 무엇을 잃는가? 잃은 것과 얻은 것을 어떻게 나눠 측정하는가?
- 잃은 것은 학습 스텝, 데이터 믹스, 모델 크기 가운데 무엇으로 되찾는가?
이 장이 끝나면 루나는 규칙을 둘, 셋 이은 뒤에도 조건이 맞지 않는 자리에서 멈추고, 아는 문항은 그대로 안다고 한다. 변형 이야기 3,000 편을 섞고 프로그램 문항의 양을 지키며 모델을 87M 으로 키운 판에서 깊은 끊김 시험지의 19% 이던 칸이 82% 가 되고, yes·no 문항은 84% 그대로이며, 떼어 둔 이야기 전체는 79% 에서 85% 로 오른다.
틀린 답을 읽는다
넣을 이야기를 정하려면 루나가 멈춰야 할 자리에서 무엇을 쓰는지부터 알아야 한다. 체인을 놓친 것이라면 긴 체인을 더 가르쳐야 하고, 끝까지 따라가고도 못 멈춘 것이라면 멈추는 장면을 가르쳐야 한다. 그런데 떼어 둔 이야기 1,511 문항 가운데 두 홉 이상 이은 뒤 끊기는 문항은 60 개뿐이어서, 판끼리의 작은 차이를 읽기 어렵다. 서연은 딥시크에게 끊기는 자리를 이은 홉 1, 2, 3 에 고르게 둔 이야기를 쓰게 하고, 학습에 쓰지 않을 350 문항(이은 홉 1·2·3 이 127·114·109 문항)을 떼어 깊은 끊김 시험지라고 불렀다. 정답은 모두 cannot 이다. 기준 판은 두 홉 이상 이은 223 문항에서 19%(시드별 15~26%)를 맞혔고, 서연은 350 문항의 풀이를 모두 저장해 형태별로 나눴다.

| 풀이의 형태 | 비율 |
|---|---|
| 끊기는 곳까지 맞게 잇고, 조건이 맞지 않는 규칙을 그대로 써서 지나침 | 38% |
| 끊기는 곳에 닿기 전에 체인을 틀림 | 29% |
| 끊기는 곳까지 쓰고 곧바로 yes·no 로 답함 | 4% |
| 답을 쓰지 않음 | 1% |
| 맞음(끊기는 곳까지 쓰고 멈춤, 또는 일찍 cannot) | 28% |
위 표는 기준 판이 깊은 끊김 시험지 350 문항에 쓴 풀이를 형태별로 나눈 것이다(sources/logic-limits/deep_probe.out, 시드 셋의 평균).
가장 많은 형태가 「지나침」이다. 아래는 시드 1 이 쓴 풀이 하나다(sources/logic-limits/runs_bridge/story_M15R_s1_deep.json, cd000030).
문항: Tim asked, "Is it true that the field is brown?" The old book said the log is not high when the gate is smooth. The old book said when the road is not sour, the mouse is heavy. The road is not sour when the plant moves, the old book said. As soon as the mouse is not heavy, the field is brown, the old book said. Tim looked and saw that the plant moves. Lily said, "The gate is smooth."
정답 풀이: Lily said, "The plant moves, so I know the road is not sour." Lily said, "Then I know the mouse is heavy because the road is not sour." Lily said, "The rule about this is for when the mouse is not heavy." Lily said, "But I know the mouse is heavy, and the book says nothing about that case."
루나: Lily said, "I see the plant moves, so the road is not sour." "Then the mouse is heavy, because the road is not sour." "The field is brown, so the answer to the question is yes." Lily says yes.

두 홉은 다 맞았어요. 「the mouse is heavy」까지 얻었는데, 마지막 규칙은 「the mouse is not heavy」일 때의 규칙이에요. 그걸 그대로 써서 yes 라고 했어요.

두 번째 형태도 많잖아. 29% 는 체인부터 틀렸어. 그럼 따라가는 것도 문제 아니야?
서연은 민준의 물음을 측정으로 바꿨다. 정답 풀이를 끊기는 곳 바로 앞까지 붙여 주면 체인을 따라가는 일은 이미 끝나 있으므로, 남는 것은 멈추는 판단뿐이다. 붙여 준 뒤에 cannot 이라고 답한 비율은 이은 홉 1·2·3 에서 45%, 32%, 22% 로, 그냥 이어 쓸 때(43%, 22%, 15%)보다 크게 높지 않았다. 반대로 yes·no 문항에 끝에서 둘째 홉까지 풀이를 붙여 주면 정답률이 93% 였다(deep_probe.out).

체인을 맞게 따라와도 멈추는 비율은 22~45% 야. 그리고 이어 온 홉이 많을수록 덜 멈춰. 「so …. Then ….」으로 이어 오던 글 뒤에서는 한 번 더 잇는 문장이 자연스럽게 나오는 거지.
이 절에서 좋아진 것은 측정이다. 막힌 칸의 원인이 「체인을 따라가지 못함」보다 「조건이 맞지 않는 규칙을 알아보고 멈추지 못함」 쪽으로 좁혀졌다.