동화 속의 우리: 루나에게 우리 이야기를 가르치려면 몇 편을 써야 할까

혼동하기 쉬운 점과 요약

토론 1. 모델이 쓴 글로 배운 루나는 그 모델을 흉내 낼 뿐인가

바꿔 쓴 글은 모두 딥시크가 썼다. 그러면 그 글로 배운 루나가 아는 것은 「민준과 서연의 사실」인가, 「딥시크가 그 사실을 말하던 말버릇」인가?

김민준 M01
김민준

말버릇이겠죠. 「Looking up at stars is fun for Minjun」 같은 문장을 그대로 배웠을 테니까요.

선생님 T14
선생님

말버릇도 함께 배워요. 그래서 원래 글을 섞어 두는 것이 중요하고, 우리는 동화를 28 줄 섞었어요. 다만 말버릇만 배운 것은 아니에요. 새 문형은 딥시크가 쓴 문장에 없는 것을 골랐고 시험 문장이 든 57 편은 뺐는데도 51.7% 를 맞혔어요. 한 문형 300 편도 같은 딥시크가 썼는데 30.0% 였고요. 같은 모델이 쓴 두 데이터가 갈렸으니, 사실을 꺼내 쓰는 능력은 같은 사실이 얼마나 여러 모양으로 나왔느냐에 달려 있어요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
같은 글을 많이 되풀이해 읽히면 사실을 안다고 봄 1 세 편을 되풀이한 루나는 학습 문형 90%, 새 문형 30.0% 였다. 문장을 외웠을 뿐이다
이야기를 다양하게 하면 사실도 잘 꺼낸다고 봄 본문 이야기 300 편도 사실 문장이 한 문형이면 30.0% 였다. 사실을 말하는 문장이 달라야 한다
다른 사람의 답을 고른 것은 순전히 나빠진 것이라고 봄 2 바뀜 26.7% 는 사실 낱말이 이 이야기와 상관있다는 것을 배운 결과다. 누구의 것인지가 덜 붙었다
글이 많은 데이터가 늘 더 많이 읽힌다고 봄 3 스텝과 줄 수가 같으면 읽은 토큰은 204만 8천으로 같다. 크기는 되풀이 횟수만 바꾼다
이름을 토큰 하나로 넣으면 사실도 더 잘 배운다고 봄 본문 바꿔 쓴 글에서 새 문형 정답률은 51.0% 에서 47.0% 였다. 없어진 것은 틀린 철자 1~2% 다. 사실은 문장에서 배운 것으로 보인다
모델이 쓴 글로 배우면 그 모델의 말버릇만 배운다고 봄 토론 1 같은 모델이 쓴 두 데이터가 30.0% 와 51.7% 로 갈렸다

요약

동화 GPT 를 1,000 스텝 이어서 학습하며 배치의 8분의 1 에 민준과 서연의 사실 열 가지를 담은 글을 섞었다. 손으로 쓴 세 편을 한 번씩만 읽히면 사실은 하나도 남지 않았고(새 문형 7.5%), 되풀이해 읽히면 글을 외워 학습 문형 물음은 90% 를 맞혔지만 새 문형 물음은 30.0% 였다. 큰 모델(연구실 서버의 DeepSeek-V4.1-Flash)에게 사실을 바꿔 쓰고 형식 열 가지와 순서 섞기를 더해 쓰게 한 글 369 편을 읽히자 루나는 후보 여덟 가운데 51.7% 를 맞혔다. 같은 모델이 글감만 바꾸고 사실은 한 문형 그대로 넣은 300 편은 30.0% 에 머물렀으니, 늘려야 했던 것은 이야기가 아니라 사실을 말하는 문장의 다양성이었다. 그동안 동화 실력(바이트당 비트 0.4259 → 0.4311)은 거의 그대로였다.

민준과 서연의 이름을 토큰 하나로 어휘에 직접 넣어도 바꿔 쓴 글에서 새 문형 정답률은 51.0% 에서 47.0% 였고, 없어진 것은 남아 있던 1~2% 의 틀린 철자였다. 글 없이 토큰만 넣은 루나는 이름을 쓰지 않았다. 어디에 쓰는지 보여 주는 글 없이 낱말만 더해서는 배울 기회가 없는 것으로 추정한다.

알렌주와 리(2023)는 같은 현상을 지어낸 사람 10 만 명의 전기로 측정해, 한 사람에 전기 한 편이면 9.7%, 다른 문형 다섯 벌에 순서 섞기를 더하면 96.6% 라고 보고했고, 바꿔 쓴 글로 배운 모델은 사실을 이름 토큰 자리에 모아 둔다는 것을 보였다. 우리 루나는 사실을 이야기와 묶어 배웠지만 누구의 사실인지는 덜 배웠다(바뀜 26.7%). 모델이 쓴 글만 거듭 읽히면 분포의 꼬리가 사라질 수 있으므로(슈마일로프 팀, 2024), 원래 글을 섞어 두었다.

루나 설정서 점검

설정서의 줄 이번에 남은 것
1. 말이 된다 두 사람의 이름을 거의 틀리지 않고 쓴다(시드 0 에서 Seoyeon 0/78 → 86/88) 문장 하나하나가 학습 글의 사실 문장을 그대로 끼워 넣은 듯 어색하다
4. 묻는 말에 대답한다 학습 글에 없던 문장으로 물어도 후보 여덟 가운데 사실 열 가지의 절반 정도를 맞게 고른다(51.7%) 누구의 사실인지 헷갈림(바뀜 26.7%). 대화로 가르친 루나에게도 이 내용을 채워 주는 일은 남았다

서연은 설정서 넷째 줄 옆에 「반쯤」이라고 적었다.

막힌 곳

우리가 던진 물음 40 개는 모두 「Minjun’s pet was a」처럼 이름을 주고 사실을 묻는 쪽이었고, 이 장에서 측정한 한계는 누구의 사실인지 가리는 일(바뀜 26.7%)이다.