루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까
따로 배운 사실은 왜 이어지지 않나
사실만 판의 결과를 들고 세 사람이 찾아가자 선생님은 논문 세 편을 꺼냈다.
| 논문 | 보인 것 | 사실만 판의 결과와 |
|---|---|---|
| 알렌주·리, 「언어 모델의 물리학」 3.1부(2023) Physics of Language Models: Part 3.1, Knowledge Storage and Extraction · arXiv 2309.14316 |
지어낸 인물 10만 명의 전기를 읽힌 모델에서, 인물마다 전기가 한 편뿐이면 절반의 인물로 질의응답을 가르쳐도 나머지 절반의 정답률이 9.7% 였다. 전기를 다섯 편씩 문장 순서를 섞어 주면 96.6% 가 되었다 | 읽은 글과 물음의 형식이 다르면, 글을 외워도 물음으로 꺼내지 못한다 |
| 알렌주·리, 「언어 모델의 물리학」 3.2부(2023) Physics of Language Models: Part 3.2, Knowledge Manipulation · arXiv 2309.14402 |
사실을 꺼낼 수 있는 모델도 두 사람의 사실을 비교하거나 분류하는 물음은 중간 사실을 먼저 적지 않으면 정답률이 매우 낮았다 | 두 사실을 이어야 하는 「볼 수 있나」가 움직이지 않은 것 |
| 벤 프리스타우스키(Ben Prystawski)와 동료 연구자들(2023) Why think step by step? Reasoning emerges from the locality of experience · arXiv 2304.03843 |
변수 100 개짜리 확률 그래프에서 가까운 변수들만 함께 보여 주며 3,260만 파라미터 모델을 처음부터 학습했다. 함께 본 적 없는 두 변수의 관계는 바로 답하게 할 때보다 사이의 변수를 차례로 적게 할 때 더 정확했다 | 동네 글도 한 편에 한 곳의 사실만 적는다. 두 곳에 걸친 답은 사이의 사실을 거쳐야 한다 |
논문의 내용은 계획 문서에 정리해 둔 확인 기록에서 옮겼다(3.1부와 3.2부는 결과 번호, 2304.03843 은 초록과 본문).

세 번째 논문 모델이 루나랑 크기가 비슷하네요. 그 모델은 이었다는 거잖아요.

이었어요. 단, 사이의 변수를 차례로 적는 글을 학습에서 이미 보았고, 시험 때도 적게 했을 때예요. 사실만 판은 사이의 사실을 적는 글도, 물음의 형식도 본 적이 없어요. 아는 것과 아는 것을 꺼내 쓰는 것은 다른 능력이에요.

그럼 물음을 가르치면 되는데, 그러면 시험 문항을 미리 보여 주는 게 되지 않나요?

그래서 조합을 나눠. 「볼 수 있나」의 720 개 가운데 절반만 학습에 쓰고 시험은 나머지 절반에서 내. 시험 문항의 물건도 곳도 루나는 다 읽었지만, 그 물건을 그곳에서 묻는 조합은 처음이라 외운 답으로는 맞힐 수 없어.
이 절에서 좋아진 것은 고칠 방향이다. 이어야 하는 물음은 그 형식과 풀이를 학습용 조합으로 보여 주고, 떼어 둔 조합으로 시험한다.