다섯 가지 능력으로 나눠 보기
막힌 칸을 좁히고 나니 서연에게 물음이 하나 남았다. 규칙 체인 문항 하나를 푸는 데 몇 가지 능력이 섞여 있는지 모르면, 어느 데이터가 어느 능력을 기르는지도 가를 수 없다. 서연은 캐논 층을 측정하던 날 공책에 옮겨 둔 표를 다시 폈다. 「언어 모델의 물리학」 4.1부는 한 능력만 떼어 시험하는 합성 시험 다섯 개를 두었다.
| 시험 | 측정하는 능력 | 규칙 체인 문항에서 그 능력이 쓰이는 곳 |
|---|---|---|
| Depo | 추론의 깊이 | 규칙을 홉 수만큼 차례로 따라가기 |
| Brevo | 추론의 너비 | 상관없는 규칙과 반대쪽 규칙 사이에서 지금 쓸 규칙 하나를 고르기 |
| Lano | 계층 구조 | 「B if A」, 「A means B」처럼 문장마다 다른 자리에 놓인 조건을 읽어 내기 |
| Capo | 지식 용량 | 배운 이야기를 외우는 것과 처음 보는 이야기로 옮기는 것 |
| Mano | 지식 다루기 | 규칙이 문항에 없고 가중치에만 있을 때 그것을 꺼내 쓰기 |
| (다섯에 없음) 멈춤 | 모른다고 답하기 | 지금 아는 것과 맞는 규칙이 없을 때 이어 가지 않고 멈추기 |
위 표는 「언어 모델의 물리학」 4.1부의 다섯 시험과 규칙 체인 문항의 능력을 나란히 놓은 것이다. 이 장의 문항에서는 규칙이 늘 문항 안에 적혀 있으므로 Mano 칸은 측정하지 않는다.

알렌주가 다섯 시험을 나눈 것은 구조를 비교하려는 거였어요. 한 모델 구조가 어느 능력에서 강하고 어느 능력에서 약한지를 따로 보려고요. 우리는 같은 나눔을 데이터 쪽에서 써요. 데이터의 모양 하나를 바꿨을 때 어느 능력의 칸이 움직이는지 보면, 그 모양이 어느 능력을 기르는지 알 수 있어요.

멈춤은 다섯 개에 없네요.

다섯 시험은 모두 답이 늘 있는 문제예요. 「알 수 없다」가 답인 문제는 없어요. 우리 시험지에서 막힌 칸이 바로 그 여섯째 칸이고, 앞 절의 표가 보여 주듯 깊이와 겹쳐 있어요.
능력마다 그 능력을 기를 만한 데이터의 모양이 있다. 깊이는 학습 문항의 홉 수 분포, 너비는 한 문항에 섞인 상관없는 규칙과 반대쪽 규칙의 비율, 계층 구조는 규칙을 말하는 문형의 가짓수, 용량은 서로 다른 이야기의 수와 같은 이야기를 보는 횟수, 멈춤은 cannot 문항의 비율과 끊기는 자리의 분포다. 이야기 편수만 늘린 판들은 이 가운데 용량 한 축만 움직인 실험이었다.