층 수의 문턱
다음으로 알고 싶은 것은 루나를 더 키워야 하느냐다. 모델의 크기를 층 수와 폭으로 나누고, 문항 수가 막지 않도록 10만 개를 준 채 층을 1, 2, 4, 8, 12 로, 폭을 128, 256, 512 로 바꾸었다.

| 층 × 폭 (파라미터) | 홉 2 | 홉 4 | 홉 6 | 홉 4 의 cannot 문항 |
|---|---|---|---|---|
| 1 × 256 (84만) | 71.1 | 61.1 | 53.8 | 22.0 |
| 2 × 256 (163만) | 90.4 | 69.9 | 63.1 | 24.1 |
| 4 × 128 (82만) | 96.3 | 95.2 | 89.5 | 81.7 |
| 4 × 256 (321만) | 99.3 | 97.6 | 95.2 | 90.9 |
| 4 × 512 (1,272만) | 97.7 | 94.5 | 91.9 | 82.2 |
| 8 × 256 (637만) | 99.7 | 98.0 | 97.5 | 91.9 |
| 12 × 256 (953만) | 99.6 | 98.3 | 97.7 | 94.1 |
층이 하나나 둘인 모델은 문항을 10만 개 주어도 홉 4 에서 61~70% 에 머물렀고, cannot 문항은 22~24% 만 맞혔다. 끝의 규칙은 읽지만 체인이 중간에 끊겼는지는 확인하지 못하는, 문제 1 의 학생과 같은 모습이다. 4층이 되면 홉 6 까지 95% 안팎으로 올라가고, 8층과 12층에서 더 얻는 것은 몇 점이다.

4층 × 128 은 파라미터가 82만 개인데 95.2 고, 1층 × 256 은 84만 개인데 61.1 이야. 파라미터 수는 거의 같아.

폭을 512 로 넓힌 건 256 보다 오히려 낮아. 층을 쌓아야 하는 일이네.
어텐션 한 층은 한 토큰에서 다른 토큰으로 정보를 한 번 옮긴다. 사실에서 출발해 규칙의 조건을 찾고, 그 규칙의 결론을 들고 다음 규칙의 조건을 찾는 일은 옮기는 일을 여러 번 잇달아 해야 하므로 층이 모자라면 중간에서 끊긴다. 다만 4층이 홉 6 까지 푸는 것을 보면 한 층이 홉 하나씩만 처리하는 것은 아니고, 각 층이 무엇을 하는지는 이 장에서 들여다보지 않았다.
서연은 두 장의 표를 나란히 놓고, 루나가 놓인 칸에 연필로 동그라미를 쳤다.

찾았어. 루나는 8층이니까 층은 남아. 모자란 건 문항이야.

그럼 우리가 따지는 문장을 넣니 빼니 한 건 처음부터 엉뚱한 데를 고친 거였네. 모델을 키울까 고민한 것도. 막고 있던 건 문항 수였어!

루나가 못 따지는 아이였던 게 아니네요. 따져 볼 문제를 몇 개 못 받아 본 아이였던 거예요.