루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까

아직 막힌 칸과 모델 크기

대조 쌍 판까지 오면서 「어디 있나」, 길의 첫 곳, 가족이 보이나, 들었거나 본 가족의 위치가 열렸다. 열리지 않은 칸은 넷이다.

막힌 칸 대조 쌍 판, 이야기 / 대화 알게 된 것
볼 수 있나, 대화 형식 0.74 / 0.67 대화 형식은 no 문항의 94% 를 맞히고 yes 문항은 40% 만 맞힌다. 애매하면 No 를 고른다
동네에 없는 물건 0.33 / 0.38 가족의 위치와 달리 대조 쌍을 넣어도 열리지 않았다
홉 카운트 0.21 / 0.24 무작위 수준 0.1 을 조금 넘는다
길의 첫 곳, 두 홉 0.62 / 0.64 먼 목적지(네다섯 홉 0.90 / 0.86)보다 가까운 목적지가 낮다

위 표는 대조 쌍 판에서 막힌 칸이다(world_bench.out 의 M15dqtfepR, world_chapter.out 3·4절, 시드 셋의 평균). 학습에 쓰지 않은 퀴즈 형식에서는 모르는 장면에 한 번도 모른다고 하지 않았다.

김민준 M02
김민준

논리 때 변별력 평균이 제일 높았던 건 87M 이었잖아. 87M 으로 키우면 이것도 열리지 않을까?

이서연 S01
이서연

그때도 평균이 높았을 뿐이야. 시드 범위가 26M 기준 판과 겹쳐서 변별력을 올렸다고 판정한 조건은 없었어. 그래도 측정은 해 보자.

마지막 데이터 믹스를 26M 과 87M(12층, 폭 768)에 똑같이 넣어 시드 셋씩 학습했다. 마지막 데이터 믹스는 대조 쌍 판의 글에 딥시크 동네 대화 2,755 편 전부와, 이 장에서 다루지 않는 마음과 행동의 글을 더한 것이다. 글이 늘어난 26M 판은 대조 쌍 판보다 「볼 수 있나」와 가족이 보이나가 조금 낮은데, 원인을 따로 대조하지 않았으므로 아래의 비교는 크기만 다른 두 판 사이에서만 읽는다.

같은 데이터 믹스로 학습한 26M 판(파란 원)과 87M 판(주황 네모). 옅은 점은 시드 하나하나, 점선은 미리 정한 통과 기준 0.7(홉 카운트에는 기준을 정하지 않았다). 위의 세 칸과 모를 때 「모른다」는 두 크기 모두 기준을 넘고, 가족이 보이나는 87M 에서 넘는다. 아래 세 칸은 87M 에서도 막혀 있다(sources/world-limits/plot_world.py)
같은 데이터 믹스로 학습한 26M 판(파란 원)과 87M 판(주황 네모). 옅은 점은 시드 하나하나, 점선은 미리 정한 통과 기준 0.7(홉 카운트에는 기준을 정하지 않았다). 위의 세 칸과 모를 때 「모른다」는 두 크기 모두 기준을 넘고, 가족이 보이나는 87M 에서 넘는다. 아래 세 칸은 87M 에서도 막혀 있다(sources/world-limits/plot_world.py)
칸 26M, 이야기 / 대화 87M, 이야기 / 대화 87M 에서
가족이 보이나 0.69 / 0.66 0.75 / 0.73 평균이 두 형식 모두 0.7 을 넘음. 형식마다 시드 하나는 0.7 아래
볼 수 있나 0.67 / 0.53 0.80 / 0.55 대화 형식 막힘
동네에 없는 물건 0.58 / 0.50 0.50 / 0.40 막힘. 시드별 0.81·0.56·0.12 / 0.56·0.44·0.19
홉 카운트 0.15 / 0.24 0.20 / 0.26 막힘
길의 첫 곳, 두 홉 0.72 / 0.59 0.67 / 0.69 막힘
논리 시험(떼어 둔 이야기) 0.74 0.84 87M 기준 판 0.83 과 같은 수준
논리 시험의 변별력 d′ 1.71 2.50 87M 기준 판 2.51 과 같은 수준

위 표는 마지막 데이터 믹스의 26M 판과 87M 판이다(world_bench.out 의 M15dm3frR·M15dm3frR+big, 두 홉은 world_chapter.out 4절, 논리는 7절과 world_logic.out, 시드 셋의 평균). 87M 판은 RTX 4090 한 장에서 시드 하나의 학습에 약 43 분이 걸린다(run_m5fr.log).

크기가 바꾼 것은 이미 열린 칸의 수위와 논리 시험이다. 이 장의 26M 판 다섯은 논리 시험이 74~76%, 변별력이 1.7~1.9 로 기준 판(79%, 2.21)보다 평균이 낮았다. 시드별 값이 기준 판의 범위와 겹치는 판이 많아 판마다 내려갔다고 판정할 수는 없고, 평균이 내려가지 않은 판도 있다(가족 장면과 마음 장면만 더한 판 80%, 2.15, sources/logic-limits/logic_stop.out). 87M 에서는 마지막 데이터 믹스를 모두 넣고도 87M 기준 판과 평균이 같다. 크기가 바꾸지 못한 것은 막힌 칸이어서, 87M 판도 대화 형식의 yes 문항을 10% 만 맞혔다.

김민준 M05
김민준

세 배 넘게 키웠는데 대화로 물으면 여전히 안 보인대. 처음에 내가 물어봤을 때랑 똑같이 No 만 해.

선생님 T14
선생님

논리 때 본 것과 같은 모양이에요. 크기는 이미 열린 칸의 수위를 올리고 논리 시험의 평균도 지켰지만, 데이터가 열지 못한 칸을 대신 열어 주지는 않았어요.

이 절에서 좋아진 것은 한계의 위치다. 막힌 네 칸은 87M 시드 셋에서도 열리지 않았으므로, 원인을 크기가 아니라 글에서 찾는다.