무엇을 덮는 데이터인가: 논리 데이터 안의 한계 지도
이 장의 물음
규칙 체인 문항을 섞어 배운 루나는 프로그램이 찍은 문항에서는 처음 보는 낱말로 홉이 넷인 문항까지 풀었지만, 같은 규칙 묶음을 딥시크가 아이 둘의 짧은 이야기로 감싸 주자 27~29% 로 우연(33%)에도 못 미쳤다. 이야기 글을 섞어 배우게 하면 점수는 오르는데, 어느 만큼 오른 뒤에는 이야기를 몇 배로 늘려도 한 칸이 꿈쩍하지 않는다. 규칙 체인의 한계 지도에서 문항 수는 가장 센 조건이었다. 그 지도가 맞다면 넣는 글을 늘리는 것이 답이어야 하는데, 왜 늘려도 오르지 않는 칸이 생길까?
이 장에서 세 사람은 데이터의 양 대신 데이터의 모양을 측정한다. 막힌 칸을 좁히고, 논리 능력을 다섯 가지로 나누고, 능력마다 어떤 모양의 데이터가 문턱을 옮기는지를 한 장의 지도로 그린다.
이 장의 모델은 명사 겹침과 상태 낱말의 가짓수를 고친 규칙 체인 문항을 섞어 배운 프리트레인 단계의 루나다. 낱말 목록으로 거른 동화와 지식 글로 프리트레인하면서(8층, 폭 512, 파라미터 2,653만 개, 14,000 스텝) 그 사이에 규칙 체인 문항과 딥시크 이야기를 섞는다. 시험은 학습에 넣지 않고 떼어 둔 딥시크 이야기를 풀이 직전까지 주고 이어 쓰게 해서, 끝에 쓴 답(yes / no / we cannot tell)을 채점한다.
이 장이 끝나면 루나는 딥시크가 이야기로 쓴 규칙 체인을 떼어 둔 1,511 문항에서 79% 푼다. 본 사실이 규칙의 조건과 바로 어긋나는 문항에서는 89% 가 「알 수 없다」고 멈추고, 규칙을 둘 넘게 이은 뒤에 멈춰야 하는 문항은 23% 이하로 남는다.
- 이야기 글을 늘려도 오르지 않는 칸은 어디이고, 그 칸의 문항은 무엇이 다른가?
- 「언어 모델의 물리학」의 다섯 시험으로 나누면, 규칙 체인 문항에는 어떤 능력들이 섞여 있을까?
- 데이터를 늘리는 것과 데이터의 모양을 바꾸는 것은 각각 어느 능력의 문턱을 옮길까?
- 모델을 키우거나 오래 학습하는 것과 데이터의 모양을 바꾸는 것은, 같은 계산량에서 어느 쪽이 더 값질까?
양을 늘려도 오르지 않는 칸
민준은 딥시크가 쓴 이야기 시험의 출력을 넘겨 보다가 손을 멈췄다. 아이 둘이 눈밭에서 규칙을 주고받는 이야기였는데, 루나는 풀이를 한 줄 엉뚱하게 쓰고는 새 이야기를 지어 쓰고 있었다.

프로그램 문항은 네 홉까지 풀던 애가, 같은 규칙을 이야기로 바꿨더니 딴소리를 해. 루나가 읽는 건 동화인데, 동화처럼 물으니까 못 따져.

「Sue says the rule.」로 시작하는 글에서만 따지는 거면, 그건 그 글을 푸는 법을 배운 거지 따지는 법을 배운 건 아니잖아요.

그럼 이야기를 읽혀야지. 규칙은 프로그램이 정하고 글만 딥시크가 쓰게 하면 정답은 우리가 알아.
딥시크의 이야기는 프로그램이 정한 규칙 묶음을 그대로 담는다. 규칙과 사실과 정답은 프로그램이 정하고, 딥시크는 장소와 말투와 문장 모양만 바꾼다. 이야기 다섯 묶음마다 한 묶음은 시험용으로 떼어 두고, 논리 문항이 차지하는 5% 는 그대로 둔 채 그 안에 이야기 600 편을 넣은 판과 1,430 편을 넣은 판을 시드 셋씩 학습했다.
| 학습에 섞은 이야기 | 떼어 둔 이야기 453 문항 | 답 문장을 쓰지 않은 문항 | 프로그램 문항, 둘 다 처음인 홉 4 |
|---|---|---|---|
| 없음 | 27 / 29 / 29% | 39 / 43 / 40% | 74% |
| 600 편 | 45 / 50 / 45% | 8 / 3 / 10% | 64% |
| 1,430 편 | 63 / 62 / 62% | 2 / 3 / 1% | 66% |
위 표는 이야기를 섞은 판들이다(sources/logic-limits/story_summary.out, diag_summary.out). 「없음」 줄은 고친 규칙 체인 문항 5% 만 섞은 판을 떼어 둔 453 문항으로 측정한 값이다. 이야기 시험은 시드별, 프로그램 문항은 시드 셋의 평균이고, 우연은 33% 다.
이야기 1,430 편은 21만 토큰으로 논리 문항의 30분의 1 이고 프리트레인 글 전체의 0.2% 가 못 되는데, 그만큼으로 답 문장을 쓰지 않는 문항이 거의 없어졌고 정답률은 28% 에서 62% 로 올랐다. 600 편에서 1,430 편으로 늘릴 때도 15%p 가 올랐으니, 민준은 편수가 아직 막고 있다고 보았다.

600 편에서 1,430 편으로 늘렸더니 15 점이 올랐잖아. 4,300 편이면 80 점은 넘겠지.
딥시크에게 이야기를 더 쓰게 해서 편수를 4,300 편까지 늘리고, 이번에는 답의 종류별로도 나눠 적었다.

| 학습에 섞은 이야기 | 전체 | yes 문항 | no 문항 | cannot 문항 |
|---|---|---|---|---|
| 1,430 편 | 63 / 62 / 62% | 72 / 66 / 76% | 67 / 69 / 75% | 52 / 52 / 37% |
| 2,100 편 | 64 / 60 / 66% | 80 / 59 / 80% | 64 / 76 / 79% | 48 / 46 / 41% |
| 2,900 편 | 68 / 63 / 66% | 80 / 77 / 78% | 84 / 72 / 80% | 42 / 42 / 41% |
| 4,300 편 | 68 / 68 / 65% | 85 / 84 / 74% | 78 / 80 / 78% | 42 / 41 / 43% |
위 표는 이야기 편수를 늘려 간 판들이다(sources/logic-limits/story_summary.out 의 z5R·a5R·d5R·e5R, 떼어 둔 이야기 453 문항, 시드별).
yes 문항과 no 문항은 편수를 따라 80% 안팎까지 올랐는데 cannot 문항은 오히려 조금 내려가 42% 에 머물렀다. 이야기를 넣기 전 판의 cannot 정답률은 54%, 48%, 41% 로 더 높았지만, 그 판은 yes·no 문항을 11~25% 만 맞혔으므로 답을 쓴 문항에서 대개 cannot 을 고른 값이다. cannot 문항은 「알 수 없다」가 정답인 문항이다. 아이가 본 사실에서 규칙을 따라가다 보면, 다음 규칙의 조건이 지금 아는 것과 반대여서 그 규칙이 아무 말도 하지 않는 자리에 닿는다. 틀린 풀이를 읽어 보면 루나는 그 자리에서 조건의 부정을 읽지 않고 규칙을 그대로 써서 끝까지 이어 간다. 아래는 4,300 편을 섞은 루나(시드 1)가 쓴 풀이 하나다(sources/logic-limits/runs_bridge/story_e5R_s1_held2.json).
문항: Amy looked in the snow and saw that the grass is not fast. Amy asked, "Is it true that the pony is white?" … Max said, "When the cave is smooth, the kitchen does not roll. Whenever the grass is not fast, the bell is quiet. If the bell is not quiet, then the pony is white." Max thought out loud.
정답 풀이: "The grass is not fast, so the bell is quiet. The rule with the bell is not quiet asks for something else, because we have the bell is quiet, and that rule says nothing about this."
루나: "The grass is not fast, so the bell is quiet. Then the pony is white. So the answer to the question is yes." Max says yes.

80 은커녕 cannot 은 42 야. 세 배를 썼는데.

첫 홉은 맞았어요. 「the bell is quiet」를 얻었는데, 다음 규칙은 「the bell is not quiet」일 때의 규칙이에요. 그걸 그대로 썼어요. 편수를 세 배로 늘렸는데 이 실수는 그대로예요.
같은 실수만 겨냥한 데이터도 만들어 보았다. 부정 하나만 다르고 답이 yes 와 cannot 으로 갈리는 이야기 두 편을 나란히 쓰게 한 대조 쌍 700 개를 넣어도 cannot 은 43% 였고, 풀이의 홉마다 쓰는 규칙을 처음부터 끝까지 다시 말하게 한 이야기 1,430 편으로 바꿔 넣자 cannot 이 14% 로 떨어졌다. 루나가 규칙을 찾아 읽는 대신 방금 쓴 사실을 「The rule says if」 뒤에 그대로 옮겨 적는 법을 배웠기 때문이다.

처음 보는 낱말에서 양을 세 배로 넣었을 때와 같은 자리예요. 넣을 것부터 고르면 같은 실수를 더 굳히기 쉬워요. 막는 것을 먼저 측정해야 하는데, 지금 시험지로는 측정할 수가 없어요.
이 절에서 얻은 것은 막힌 칸의 이름이다. 이야기 편수는 yes·no 문항을 올렸고, cannot 문항은 편수로 오르지 않는다.