루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까

따로 배운 사실은 왜 이어지지 않나

사실만 판의 결과를 들고 세 사람이 찾아가자 선생님은 논문 세 편을 꺼냈다.

논문 보인 것 사실만 판의 결과와
알렌주·리, 「언어 모델의 물리학」 3.1부(2023)
Physics of Language Models: Part 3.1, Knowledge Storage and Extraction · arXiv 2309.14316
지어낸 인물 10만 명의 전기를 읽힌 모델에서, 인물마다 전기가 한 편뿐이면 절반의 인물로 질의응답을 가르쳐도 나머지 절반의 정답률이 9.7% 였다. 전기를 다섯 편씩 문장 순서를 섞어 주면 96.6% 가 되었다 읽은 글과 물음의 형식이 다르면, 글을 외워도 물음으로 꺼내지 못한다
알렌주·리, 「언어 모델의 물리학」 3.2부(2023)
Physics of Language Models: Part 3.2, Knowledge Manipulation · arXiv 2309.14402
사실을 꺼낼 수 있는 모델도 두 사람의 사실을 비교하거나 분류하는 물음은 중간 사실을 먼저 적지 않으면 정답률이 매우 낮았다 두 사실을 이어야 하는 「볼 수 있나」가 움직이지 않은 것
벤 프리스타우스키(Ben Prystawski)와 동료 연구자들(2023)
Why think step by step? Reasoning emerges from the locality of experience · arXiv 2304.03843
변수 100 개짜리 확률 그래프에서 가까운 변수들만 함께 보여 주며 3,260만 파라미터 모델을 처음부터 학습했다. 함께 본 적 없는 두 변수의 관계는 바로 답하게 할 때보다 사이의 변수를 차례로 적게 할 때 더 정확했다 동네 글도 한 편에 한 곳의 사실만 적는다. 두 곳에 걸친 답은 사이의 사실을 거쳐야 한다

논문의 내용은 계획 문서에 정리해 둔 확인 기록에서 옮겼다(3.1부와 3.2부는 결과 번호, 2304.03843 은 초록과 본문).

김민준 M06
김민준

세 번째 논문 모델이 루나랑 크기가 비슷하네요. 그 모델은 이었다는 거잖아요.

선생님 T01
선생님

이었어요. 단, 사이의 변수를 차례로 적는 글을 학습에서 이미 보았고, 시험 때도 적게 했을 때예요. 사실만 판은 사이의 사실을 적는 글도, 물음의 형식도 본 적이 없어요. 아는 것과 아는 것을 꺼내 쓰는 것은 다른 능력이에요.

장하은 H01
장하은

그럼 물음을 가르치면 되는데, 그러면 시험 문항을 미리 보여 주는 게 되지 않나요?

이서연 S07
이서연

그래서 조합을 나눠. 「볼 수 있나」의 720 개 가운데 절반만 학습에 쓰고 시험은 나머지 절반에서 내. 시험 문항의 물건도 곳도 루나는 다 읽었지만, 그 물건을 그곳에서 묻는 조합은 처음이라 외운 답으로는 맞힐 수 없어.

이 절에서 좋아진 것은 고칠 방향이다. 이어야 하는 물음은 그 형식과 풀이를 학습용 조합으로 보여 주고, 떼어 둔 조합으로 시험한다.