따져 보기: 무엇이 루나의 추론을 막고 있을까

층 수의 문턱

다음으로 알고 싶은 것은 루나를 더 키워야 하느냐다. 모델의 크기를 층 수와 폭으로 나누고, 문항 수가 막지 않도록 10만 개를 준 채 층을 1, 2, 4, 8, 12 로, 폭을 128, 256, 512 로 바꾸었다.

층 수에 따른 처음 보는 쌍의 정답률(폭 256, 문항 10만 개). 왼쪽은 모든 문항, 오른쪽은 정답이 「알 수 없다」인 문항만 센 것이다. 층이 하나나 둘이면 오른쪽 값이 0.5 아래로 떨어진다(sources/logic-limits/plot_limits.py)
층 수에 따른 처음 보는 쌍의 정답률(폭 256, 문항 10만 개). 왼쪽은 모든 문항, 오른쪽은 정답이 「알 수 없다」인 문항만 센 것이다. 층이 하나나 둘이면 오른쪽 값이 0.5 아래로 떨어진다(sources/logic-limits/plot_limits.py)
층 × 폭 (파라미터) 홉 2 홉 4 홉 6 홉 4 의 cannot 문항
1 × 256 (84만) 71.1 61.1 53.8 22.0
2 × 256 (163만) 90.4 69.9 63.1 24.1
4 × 128 (82만) 96.3 95.2 89.5 81.7
4 × 256 (321만) 99.3 97.6 95.2 90.9
4 × 512 (1,272만) 97.7 94.5 91.9 82.2
8 × 256 (637만) 99.7 98.0 97.5 91.9
12 × 256 (953만) 99.6 98.3 97.7 94.1

층이 하나나 둘인 모델은 문항을 10만 개 주어도 홉 4 에서 61~70% 에 머물렀고, cannot 문항은 22~24% 만 맞혔다. 끝의 규칙은 읽지만 체인이 중간에 끊겼는지는 확인하지 못하는, 문제 1 의 학생과 같은 모습이다. 4층이 되면 홉 6 까지 95% 안팎으로 올라가고, 8층과 12층에서 더 얻는 것은 몇 점이다.

이서연 S02
이서연

4층 × 128 은 파라미터가 82만 개인데 95.2 고, 1층 × 256 은 84만 개인데 61.1 이야. 파라미터 수는 거의 같아.

김민준 M07
김민준

폭을 512 로 넓힌 건 256 보다 오히려 낮아. 층을 쌓아야 하는 일이네.

어텐션 한 층은 한 토큰에서 다른 토큰으로 정보를 한 번 옮긴다. 사실에서 출발해 규칙의 조건을 찾고, 그 규칙의 결론을 들고 다음 규칙의 조건을 찾는 일은 옮기는 일을 여러 번 잇달아 해야 하므로 층이 모자라면 중간에서 끊긴다. 다만 4층이 홉 6 까지 푸는 것을 보면 한 층이 홉 하나씩만 처리하는 것은 아니고, 각 층이 무엇을 하는지는 이 장에서 들여다보지 않았다.

서연은 두 장의 표를 나란히 놓고, 루나가 놓인 칸에 연필로 동그라미를 쳤다.

이서연 S08
이서연

찾았어. 루나는 8층이니까 층은 남아. 모자란 건 문항이야.

김민준 M08
김민준

그럼 우리가 따지는 문장을 넣니 빼니 한 건 처음부터 엉뚱한 데를 고친 거였네. 모델을 키울까 고민한 것도. 막고 있던 건 문항 수였어!

장하은 H01
장하은

루나가 못 따지는 아이였던 게 아니네요. 따져 볼 문제를 몇 개 못 받아 본 아이였던 거예요.