혼동하기 쉬운 점과 요약
토론 1. 「Minjun is Luna’s Daddy」라고 답하는 루나는 민준을 아빠로 아는가

이제 루나가 나를 아빠로 아는 거지?

그럼 「Where does Luna’s Daddy live?」에는 뭐라고 해? 그건 안 가르쳤잖아.
[10 x 10 x 10, 시드 1] Where does Luna's Daddy live? → Minjun, Minjun, Luna's Daddy, has a pet turtle. Luna thought, 'If my Daddy has a pet turtle, so he can take care of it.
[10 x 10 x 10, 시드 1] What did Luna's Mommy eat this morning? → Luna's Mommy, Seoyeon, loves to eat strawberries. Luna thought, if my Mommy loves to eat strawberries, so she will smil

우리가 확인한 건 「학습 글에 없던 형태로 물어도, 읽은 사실로 답한다」예요. 거기까지는 분명히 됐어요. 그런데 모르는 걸 물으면 루나는 아는 사실 가운데 가까운 걸 말해요. 안 가르친 물음 넷에 「모른다」고 한 건 천 가지 조건에서 0~25% 였어요. 이 데이터에는 「모른다」고 말하는 장면이 없으니까요. 「안다」는 말을 쓰려면 모르는 것을 모른다고 하는 것까지 함께 봐야 해요. 설정서 여섯째 줄이 그 자리예요.
혼동하기 쉬운 점
| 혼동 | 바로잡기 |
|---|---|
| 사실 하나를 천 번 읽히면 된다 | 같은 이야기를 천 번 읽힌 루나는 바로 묻기 13~25%, 거꾸로 묻기 0% 였다. 같은 양을 서로 다른 천 편으로 읽힌 루나는 38~75%, 33~46% 였다 |
| 다양하게 = 문장을 바꿔 쓰기 | 말하는 법만 열 가지로 바꾼 루나보다 장면과 쓰임까지 바꾼 루나가 시드 셋 모두에서 높았다. 사실이 이야기에서 하는 일까지 바꾼다 |
| 정답률이 오르면 가족에 관한 물음을 아무거나 맞힌다 | 아껴 둔 사실 줄은 3.3~16.7%(우연 16.7%)였으니, 읽은 사실만 배웠다 |
| 이야기는 언제 읽혀도 같다 | 단계별로 쌓는 이 실험에서는 답하는 법을 배운 루나에게 읽혔다. 거꾸로 하면 8~17% 로 떨어졌고, 「모르면 모른다」 대화를 빼도 21~33% 까지만 돌아왔다 |
| 시험 물음과 같은 낱말이 들어 있으면 누출이다 | 이름 같은 낱말은 겹쳐야 한다. 토큰 여덟 개가 연속으로 같은 조각만 막았다 |
요약
- 같은 사실을 「말하는 법 10 × 장면 10 × 쓰임 10」 = 1,000 가지 이야기로 쓰게 하는 주문서를 만들었다. 쓰임 축은 비트겐슈타인의 언어 놀이(『철학적 탐구』 §7·§23·§43)에서 왔고, 말하는 법에는 거꾸로 말하기와 묻고 답하기를 넣었다.
- 「뜻은 쓰임에 있다」를 서연은 「글에서 배우는 것은 낱말의 좌표가 아니라 낱말 사이의 거리표」로 다시 적었다. 임베딩 전체를 돌리면 좌표는 모두 바뀌어도 거리표는 그대로였고, 거리표만으로 좌표를 다시 만들 수 있었으며, 따로 학습한 동화 GPT 셋은 좌표의 상관이 0.00 인데 거리표의 상관은 0.96~0.97 이었다. 사실 이야기 천 가지를 읽은 루나의 입력 임베딩에서는 Daddy–turtle 의 코사인 유사도가 0.18 에서 0.22 로 조금 올랐다.
- 연구실 서버의 딥시크에게 사실 열두 개 × 1,000 조합을 주문해, 거르기 뒤 11,618 편이 남았다(사실마다 945~989 편). 시험 문장과 토큰 여덟 개 연속으로 겹친 이야기는 없었다. 이 데이터세트에 「킨더테일즈」라는 이름을 붙였다.
- 묻는 말에 대답하기를 배운 루나에게 토큰 수를 맞춘 네 조건으로 읽히자(1,000 스텝, RTX 4090 에서 38~39 초), 학습 글에 없던 형태의 대화 물음 정답률은 바로 묻기 0% → 13~25% → 29~50% → 38~75%, 거꾸로 묻기 0% → 0% → 25~29% → 33~46% 로, 시드 셋 모두 같은 순서로 올랐다(열 가지와 천 가지의 바로 묻기 범위는 겹친다).
- 시험지의 루나 사실 칸은 0.039~0.066 에서 0.467~0.537 로, 설정서 점수는 0.144~0.154 에서 0.238~0.258 로 올랐다. 가르치지 않은 사실은 우연 근처에 머물렀고, 동화의 바이트당 비트는 0.001 안쪽에서 움직였다.
- 둘 가운데 고르는 물음은 반반 찍기와 같았고, 안 가르친 것을 물으면 아는 사실로 답했다.
루나 설정서 점검
| 새 설정서의 줄 | 이번 장 | 아직 빈 것 |
|---|---|---|
| 2. 말이 된다 | 사실 이야기를 읽고도 동화 바이트당 비트가 0.001 안쪽 | |
| 5. 가족을 사랑한다 | 가족이 누구인지, 무엇을 좋아하는지 답한다(바로 묻기 38~75%, 거꾸로 33~46%) | 「Daddy or Mommy?」처럼 둘을 비교하는 물음은 반반 |
| 6. 모르면 모른다고 한다 | 안 가르친 것을 물으면 아는 사실로 답한다(「모른다」 0~25%) |

다섯째 줄, 드디어 숫자가 생겼어.

…가족이 누군지 아는 거랑 사랑하는 건 다르지만.
서연은 다섯째 줄 옆에 「누구인지는 안다」라고 적었다.
막힌 곳
루나는 이제 가족을 묻는 말에 답하지만, 말투는 질문 답변을 처음 배울 때의 「Assistant」 말투이고 두 사람을 「Daddy」, 「Mommy」라고 부르지는 않는다. 둘 가운데 고르는 물음(「Daddy or Mommy?」)은 네 조건 모두 반반 찍기와 같았다.