루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까

논리 연습은 동네 배우기를 돕는가

묻고 답하기 판이 두 사실을 일부 잇는다는 것을 확인하자 민준이 다른 물음을 꺼냈다. 이 장의 판은 모두 규칙 체인을 네 홉까지 잇는 연습을 한 루나이므로, 동네에서 물건의 자리와 창을 잇는 일에도 그 연습이 쓰였을 수 있다.

문제 2. 논리 연습을 뺀 루나는 동네를 덜 잇는가

묻고 답하기 판에서 논리 글(규칙 체인 문항과 딥시크 이야기)을 모두 빼고, 본줄기 글과 같은 동네 글만으로 루나를 학습한다. 논리 연습이 동네 배우기를 돕는다면, 논리 글을 뺀 루나의 점수는 어느 칸에서 내려가야 하는가?

(가) 「어디 있나」처럼 기억을 그대로 꺼내는 칸 (나) 「볼 수 있나」, 길의 첫 곳처럼 이어야 하는 칸 (다) 두 종류 모두

김민준 M01
김민준

(나) 지. 네 홉을 잇는 걸 배운 애가 두 사실 잇는 걸 못 써먹을 리가 없잖아.

장하은 H01
장하은

돕는다면 (나) 에서만 내려가야 한다는 데는 같은 생각이에요. 그런데 내려갈지는 모르겠어요. 규칙 체인은 규칙이 문항에 다 적혀 있었잖아요.

이서연 S01
이서연

예측을 미리 적어 두자. 「논리가 돕는다면 이어야 하는 칸에서만 차이가 난다.」 그리고 논리 글을 빼면 학습 글이 1억 4,850만 토큰에서 1억 2,710만 토큰으로 줄어서, 같은 스텝이면 논리 없는 루나가 동네 글을 17% 쯤 더 자주 읽어. 같은 스텝 판과, 스텝을 줄여 읽는 횟수를 맞춘 판을 둘 다 돌리자.

칸 논리 있음 논리 없음, 같은 스텝 논리 없음, 같은 횟수
볼 수 있나, 이야기 0.73 (0.75·0.77·0.67) 0.78 (0.79·0.77·0.78) 0.77 (0.79·0.77·0.74)
볼 수 있나, 대화 0.61 (0.61·0.57·0.65) 0.65 (0.59·0.69·0.68) 0.66 (0.66·0.64·0.68)
쌍 채점, 같은 물건 쌍 / 같은 곳 쌍 0.80 / 0.88 0.81 / 0.86 0.78 / 0.86
볼 수 있나, 사실을 문항에 다 적어 줌 0.70 0.73 0.73
길의 첫 곳, 이야기 0.75 (0.79·0.73·0.73) 0.78 (0.76·0.80·0.77) 0.77 (0.74·0.79·0.79)
길의 첫 곳, 대화 0.79 (0.79·0.79·0.79) 0.86 (0.90·0.87·0.81) 0.81 (0.79·0.87·0.79)
홉 카운트, 이야기 / 대화 0.18 / 0.27 0.23 / 0.26 0.17 / 0.27
가족이 보이나, 이야기 / 대화 0.70 / 0.56 0.75 / 0.53 0.72 / 0.55
어디 있나, 이야기 / 대화 0.27 / 0.63 0.25 / 0.58 0.37 / 0.43
논리 시험(떼어 둔 이야기) 0.74 (0.79·0.73·0.71) 0.17 (0.17·0.16·0.17) 0.17 (0.17·0.16·0.17)

위 표는 논리 글이 있는 묻고 답하기 판과 없는 두 판이다(world_bench.out 의 M15dqR·M0dqR·M0dqR+ep, 쌍 채점은 inside_see.out 2-1절, 논리 시험은 sources/world-limits/world_nologic.out, 26M, 시드 셋의 평균과 시드별 값). 같은 횟수 판은 12,000 스텝이다(sources/logic-limits/luna_surface.py 의 mix_world_only 와 ep).

김민준 M04
김민준

안 내려갔네. 규칙 체인은 하나도 못 푸는 루나가 동네는 똑같이 해.

이서연 S01
이서연

시드별 값이 겹쳐. 범위가 떨어진 건 길의 첫 곳 대화 형식에서 같은 스텝 판이 높은 것 하나인데, 읽는 횟수를 맞춘 판은 다시 겹치니까 동네 글을 더 자주 읽은 효과와 구분이 안 돼.

판정은 책의 규칙대로 「겹침」이다. 논리 연습을 한 루나가 동네를 더 잘 잇는다는 근거는 없고, 논리 없는 판의 평균이 조금 높은 칸이 많지만 논리 연습이 방해한다고도 쓰지 않는다. 속도 같아서, 세 판 모두 탐침이 층 5 에서 오르고 가장 높은 AUC 가 0.86, 0.86, 0.85 다(inside_see.out 1·2절).

선생님 T14
선생님

두 가지 잇기가 이름만 같았다고 읽어요. 규칙 체인에서 연습한 것은 문항에 적혀 있는 규칙을 차례로 잇는 일이고, 동네에서 필요한 것은 문항에 없는 두 사실을 가중치에서 꺼내 잇는 일이에요. 왜 옮겨 가지 않았는지는 측정하지 않았으니 가설이에요. 측정한 것은 차이가 없었다는 것이고, 그것도 26M 한 크기, 이 규칙 체인 글, 이 동네에서만이에요.

이서연 S11
이서연

「아는 것과 꺼내 쓰는 것은 다르다」에 한 줄이 더 붙네요. 꺼내 쓰는 법도 영역마다 그 영역의 물음으로 따로 배운다.

이 절에서 좋아진 것은 데이터에 대한 판단의 근거다. 이 크기와 이 글에서는 논리 연습이 동네 배우기의 전제가 아니었으므로, 남은 문제의 원인은 동네 물음의 글에서 먼저 찾는다.