동화 속의 우리: 루나에게 우리 이야기를 가르치려면 몇 편을 써야 할까
혼동하기 쉬운 점과 요약
토론 1. 모델이 쓴 글로 배운 루나는 그 모델을 흉내 낼 뿐인가
바꿔 쓴 글은 모두 딥시크가 썼다. 그러면 그 글로 배운 루나가 아는 것은 「민준과 서연의 사실」인가, 「딥시크가 그 사실을 말하던 말버릇」인가?

말버릇이겠죠. 「Looking up at stars is fun for Minjun」 같은 문장을 그대로 배웠을 테니까요.

말버릇도 함께 배워요. 그래서 원래 글을 섞어 두는 것이 중요하고, 우리는 동화를 28 줄 섞었어요. 다만 말버릇만 배운 것은 아니에요. 새 문형은 딥시크가 쓴 문장에 없는 것을 골랐고 시험 문장이 든 57 편은 뺐는데도 51.7% 를 맞혔어요. 한 문형 300 편도 같은 딥시크가 썼는데 30.0% 였고요. 같은 모델이 쓴 두 데이터가 갈렸으니, 사실을 꺼내 쓰는 능력은 같은 사실이 얼마나 여러 모양으로 나왔느냐에 달려 있어요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 같은 글을 많이 되풀이해 읽히면 사실을 안다고 봄 | 1 | 세 편을 되풀이한 루나는 학습 문형 90%, 새 문형 30.0% 였다. 문장을 외웠을 뿐이다 |
| 이야기를 다양하게 하면 사실도 잘 꺼낸다고 봄 | 본문 | 이야기 300 편도 사실 문장이 한 문형이면 30.0% 였다. 사실을 말하는 문장이 달라야 한다 |
| 다른 사람의 답을 고른 것은 순전히 나빠진 것이라고 봄 | 2 | 바뀜 26.7% 는 사실 낱말이 이 이야기와 상관있다는 것을 배운 결과다. 누구의 것인지가 덜 붙었다 |
| 글이 많은 데이터가 늘 더 많이 읽힌다고 봄 | 3 | 스텝과 줄 수가 같으면 읽은 토큰은 204만 8천으로 같다. 크기는 되풀이 횟수만 바꾼다 |
| 이름을 토큰 하나로 넣으면 사실도 더 잘 배운다고 봄 | 본문 | 바꿔 쓴 글에서 새 문형 정답률은 51.0% 에서 47.0% 였다. 없어진 것은 틀린 철자 1~2% 다. 사실은 문장에서 배운 것으로 보인다 |
| 모델이 쓴 글로 배우면 그 모델의 말버릇만 배운다고 봄 | 토론 1 | 같은 모델이 쓴 두 데이터가 30.0% 와 51.7% 로 갈렸다 |
요약
동화 GPT 를 1,000 스텝 이어서 학습하며 배치의 8분의 1 에 민준과 서연의 사실 열 가지를 담은 글을 섞었다. 손으로 쓴 세 편을 한 번씩만 읽히면 사실은 하나도 남지 않았고(새 문형 7.5%), 되풀이해 읽히면 글을 외워 학습 문형 물음은 90% 를 맞혔지만 새 문형 물음은 30.0% 였다. 큰 모델(연구실 서버의 DeepSeek-V4.1-Flash)에게 사실을 바꿔 쓰고 형식 열 가지와 순서 섞기를 더해 쓰게 한 글 369 편을 읽히자 루나는 후보 여덟 가운데 51.7% 를 맞혔다. 같은 모델이 글감만 바꾸고 사실은 한 문형 그대로 넣은 300 편은 30.0% 에 머물렀으니, 늘려야 했던 것은 이야기가 아니라 사실을 말하는 문장의 다양성이었다. 그동안 동화 실력(바이트당 비트 0.4259 → 0.4311)은 거의 그대로였다.
민준과 서연의 이름을 토큰 하나로 어휘에 직접 넣어도 바꿔 쓴 글에서 새 문형 정답률은 51.0% 에서 47.0% 였고, 없어진 것은 남아 있던 1~2% 의 틀린 철자였다. 글 없이 토큰만 넣은 루나는 이름을 쓰지 않았다. 어디에 쓰는지 보여 주는 글 없이 낱말만 더해서는 배울 기회가 없는 것으로 추정한다.
알렌주와 리(2023)는 같은 현상을 지어낸 사람 10 만 명의 전기로 측정해, 한 사람에 전기 한 편이면 9.7%, 다른 문형 다섯 벌에 순서 섞기를 더하면 96.6% 라고 보고했고, 바꿔 쓴 글로 배운 모델은 사실을 이름 토큰 자리에 모아 둔다는 것을 보였다. 우리 루나는 사실을 이야기와 묶어 배웠지만 누구의 사실인지는 덜 배웠다(바뀜 26.7%). 모델이 쓴 글만 거듭 읽히면 분포의 꼬리가 사라질 수 있으므로(슈마일로프 팀, 2024), 원래 글을 섞어 두었다.
루나 설정서 점검
| 설정서의 줄 | 이번에 | 남은 것 |
|---|---|---|
| 1. 말이 된다 | 두 사람의 이름을 거의 틀리지 않고 쓴다(시드 0 에서 Seoyeon 0/78 → 86/88) | 문장 하나하나가 학습 글의 사실 문장을 그대로 끼워 넣은 듯 어색하다 |
| 4. 묻는 말에 대답한다 | 학습 글에 없던 문장으로 물어도 후보 여덟 가운데 사실 열 가지의 절반 정도를 맞게 고른다(51.7%) | 누구의 사실인지 헷갈림(바뀜 26.7%). 대화로 가르친 루나에게도 이 내용을 채워 주는 일은 남았다 |
서연은 설정서 넷째 줄 옆에 「반쯤」이라고 적었다.
막힌 곳
우리가 던진 물음 40 개는 모두 「Minjun’s pet was a」처럼 이름을 주고 사실을 묻는 쪽이었고, 이 장에서 측정한 한계는 누구의 사실인지 가리는 일(바뀜 26.7%)이다.