주문서를 조립하다: 같은 주문을 300 번 보내면 이야기는 몇 가지가 올까
혼동하기 쉬운 점과 요약
토론 1. 다양하게 쓴 글이면 루나에게 더 좋은 글인가
민준은 mix 의 1,032 편이 plain 의 229 편보다 낫다는 것이 숫자로 확인되었으니, 이 방법으로 수만 편을 만들어 루나의 프리트레인에 넣자고 한다. 다양성이 높은 글을 넣으면 루나는 더 잘 배울까?

킨더테일즈 때도 봤잖아. 한 편을 되풀이한 루나보다 서로 다른 천 편을 읽은 루나가 잘했어. 다양할수록 좋은 거야.

그때는 가르칠 사실이 정해져 있었고, 그 사실을 여러 방법으로 말한 글이 다양했던 거야. 여기 글은 무엇을 가르치는지가 없어. 교훈 20 가지, 주제 20 가지로 퍼져 있을 뿐이지.

심플스토리즈 공개 데이터가 그 예 아닐까요? 다양성은 높았는데 우리 기준으로는 낱말이 넓어서 0.02% 만 남았어요. 다양성을 올리는 요소가 다른 기준을 깎을 수 있어요.

우리는 낱말 목록을 줬으니까 그건 막았잖아.

낱말은 막았어요. 남은 물음은 두 가지예요. 하나는 이 글을 넣으면 프리트레인의 다른 글이 그만큼 빠진다는 거예요. 루나가 읽는 토큰 수는 정해져 있고, 지금의 데이터 믹스 위에서 해 온 대조 실험은 모두 그 믹스를 기준으로 삼고 있어요. 믹스를 바꾸면 앞의 대조를 다시 측정해야 해요. 다른 하나는 다양한 글이 루나의 시험지 점수를 올리는지를 우리가 측정한 적이 없다는 거예요. 이 장에서 측정한 것은 글이 서로 얼마나 다른가이고, 그 글로 학습한 모델이 무엇을 더 잘하는가는 다른 실험이에요. 그래서 이 글은 학습에 넣지 않았어요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 곳 | 바로잡는 법 |
|---|---|---|
| 같은 주문서를 여러 번 보내도 모델이 무작위로 쓰니까 서로 다른 글이 온다고 봄 | 문제 1 | 글자까지 같은 글은 0 편이었지만, 첫 낱말은 18 가지뿐이었고 가장 가까운 편과의 코사인 유사도가 0.85 이상인 편이 78.5% 였다 |
| 「쉬운 낱말로」라고 적으면 쉬운 낱말로 쓴다고 봄 | 공개 데이터를 우리 기준으로 측정하면 | 말로만 제한한 심플스토리즈 공개 데이터는 낱말 목록 안에 다 드는 편이 0.02% 였고, 목록을 주문서에 적은 우리 글은 96.4~99.5% 였다 |
| 자카드 중복 검사를 통과하면 중복이 없다고 봄 | 문제 2 | plain 에서 코사인 유사도 0.85 이상인 9,839 쌍 가운데 자카드 0.3 이상은 7 쌍이었다. 낱말 조각 검사는 베낀 글을 찾고, 문장 임베딩은 같은 내용을 다른 말로 쓴 글을 찾는다 |
| 쏠린 데이터도 거르면 된다고 봄 | 네 단계로 거른다 | plain 은 네 단계 뒤 19.1% 가 남았고, 남은 229 편의 31.4% 는 여전히 0.85 이상으로 닮은 편이 있었다 |
| 요소를 넣으면 쏠림이 없어진다고 봄 | 요소를 넣어도 남는 쏠림 | 전치사로 시작하라고 시킨 요청의 16.7% 는 네 편이 같은 낱말로 시작했고, 교훈 장치를 시킨 편의 14.2% 는 「They learned that」이나 「The moral is」로 끝났다 |
요약
타이니스토리즈는 주문서를 조립한 코드를 공개하지 않았고, 심플스토리즈(arXiv 2504.09184)는 그 코드를 데이터와 함께 공개했다. 심플스토리즈의 주문서는 고정된 글틀에 교훈, 주제, 문체, 이야기 장치, 문법 요소, 첫 낱말의 품사와 첫 글자, 문단 수를 요청마다 무작위로 선택해 넣고, 한 요청에 여러 편을 쓰게 하면서 서로 다르게 시작하라고 지시한다.
공개 데이터를 우리 기준으로 측정하면 다양성은 논문의 주장대로였다. 「once upon a time」이 든 편이 0.7% 로 타이니스토리즈의 59.8% 와 크게 달랐다. 그러나 낱말을 「very basic words」라는 말로만 제한한 결과, 루나의 낱말 목록 3,050 개 안에 다 드는 편은 0.02% 였다. 그래서 방법만 가져오고, 낱말 목록은 주문서에 그대로 적었다.
같은 주문서를 300 번 보낸 plain 과 요소를 넣은 주문서 300 개를 보낸 mix 를 비교했다. 낱말 목록 안에 다 드는 편은 99.5% 와 96.4% 로 둘 다 높았고, 서로 다른 첫 세 낱말은 192 가지와 1,056 가지로 차이가 컸다. plain 은 낱말 조각의 자카드로 보면 중복이 7 쌍뿐이었지만, 문장 임베딩의 코사인 유사도로 보면 0.85 이상인 쌍이 9,839 개였고 1,200 편 가운데 770 편이 한 묶음으로 이어졌다. mix 는 같은 측정에서 1 쌍이었다. 길이, 낱말 목록, 자카드 중복, 첫 두 낱말의 네 단계로 거른 뒤 plain 은 19.1%, mix 는 87.8% 가 남았다.
요소를 넣은 주문서에도 요소가 만든 쏠림이 남았다. 첫 낱말을 전치사로 시킨 요청의 16.7% 는 네 편이 같은 낱말로 시작했고, 교훈 장치를 시킨 편의 14.2% 는 정해진 형식의 교훈 문장으로 끝났으며, 낱말이 목록 밖인 주제 네 가지는 주제 낱말이 한 편에도 나오지 않았다.
이 장에서 받은 글은 루나의 학습에 넣지 않았다. 프리트레인의 데이터 믹스를 바꾸면 그 믹스를 기준으로 해 온 대조 실험을 다시 측정해야 하기 때문이다. 이 장의 결과는 주문서를 만드는 방법과 받은 글을 점검하는 방법이다.
막힌 곳
- 요소가 만든 쏠림의 수정. 한 요청의 편마다 첫 글자를 다르게 주는 것, 주제 목록을 낱말 목록 안의 말로 다시 쓰는 것은 후보로만 적었고 측정하지 않았다.
- 문체 요소와 낱말의 폭. 심플스토리즈 공개 데이터에서 다양성과 낱말의 폭이 함께 컸는데, 문체 요소가 낱말을 넓혔는지는 조건을 나눠 측정하지 않았다.
- 다양한 글과 루나의 점수. 서로 다른 글을 읽은 루나가 시험지에서 무엇을 더 잘하는지는 이 장에서 다루지 않았다.
- 논문과 코드의 차이. 글쓴이 관점을 넣는 비율이 논문 부록(33%)과 공개 코드(절반)에서 다르다. 공개 데이터가 어느 값으로 만들어졌는지 확인하지 못했다.