주문서를 조립하다: 같은 주문을 300 번 보내면 이야기는 몇 가지가 올까
이 장의 물음
하은은 타이니스토리즈의 데이터 카드와 논문을 번갈아 열어 놓고 한참을 뒤졌다. 루나가 처음 읽은 동화 271만 편을 GPT-4 에게 주문할 때, 주문서를 만든 스크립트를 찾고 있었다. 이야기마다 쓴 주문서는 전체 묶음 파일(tinystories_all_data.tar.gz)에 메타데이터로 들어 있었지만, 그 주문서를 만든 코드와 낱말 목록은 공개 자료에서 찾지 못했다.

낱말 셋과 이야기 특징을 무작위로 넣었다는 설명은 논문에 있고, 이야기마다 쓴 주문서도 남아 있어요. 그런데 그 주문서를 만든 코드와 낱말 목록은 못 찾겠어요. 어떤 목록에서 무엇을 어떤 확률로 선택했는지는 남은 주문서들을 보고 추측해야 해요.

우리 주문서는 다 남아 있잖아. 킨더테일즈는 말하는 법, 장면, 쓰임을 열 가지씩 조합했고, 동네 대화는 장면의 상태를 프로그램이 정해 줬고.

정해 준 건 내용이야. 이야기를 어떤 낱말로 시작할지, 어떤 문체로 쓸지는 한 번도 정해 준 적이 없어. 그건 딥시크가 알아서 했지.

그 부분까지 주문서에 넣은 데이터세트가 있어요. 심플스토리즈라는 데이터세트인데, 주문서를 조립하는 코드를 함께 공개했어요. 방법을 읽어 보고, 같은 방법으로 딥시크에게 주문해서 받은 글이 얼마나 서로 다른지 측정해 봅시다.
이 장의 실습은 루나를 학습하지 않는다. 딥시크에게 보내는 주문서(프롬프트)를 두 가지 방법으로 만들어 300 번씩 보내고, 돌아온 이야기 2,375 편을 측정하고 거르는 데까지가 범위다. 받은 글은 루나의 학습 글에 넣지 않았는데, 그 이유는 요약에서 다시 적는다.
- 타이니스토리즈 뒤에 나온 심플스토리즈는 주문서를 어떻게 조립하는가?
- 심플스토리즈의 공개 데이터는 우리 낱말 목록으로 거르면 얼마나 남는가?
- 요소를 넣지 않은 주문과 요소를 무작위로 넣은 주문은 돌아온 글에서 무엇이 다른가?
- 낱말이 겹치는지를 보는 중복 검사로 잡히지 않는 쏠림은 어떻게 찾는가?
- 요소를 넣어도 남는 쏠림은 무엇인가?
이 장이 끝나면 주문서를 요소로 조립하는 스크립트 하나와, 받은 글의 쏠림을 네 가지 방법으로 측정하고 네 단계로 거르는 스크립트가 생긴다. 두 주문 방법은 거르기 뒤에 남는 편의 비율에서 네 배 넘게 차이가 났다.
심플스토리즈: 주문서를 조립하는 스크립트
심플스토리즈(SimpleStories)는 레나르트 핑케(Lennart Finke)와 동료 여덟 명이 2025 년 4 월에 arXiv 에 올린 「Parameterized Synthetic Text Generation with SimpleStories」(arXiv 2504.09184)의 데이터세트다. 영어와 일본어로 각각 약 200만 편이고, 영어 학습 파일은 2,115,696 편이다. 우리가 내려받은 조각의 이야기는 모두 gpt-4o-mini-2024-07-18 이 썼다(sources/nlptools/simplestories_check.out). 데이터세트의 라이선스는 MIT 다.
논문이 타이니스토리즈의 문제로 든 것 가운데 세 가지가 이 장과 닿는다. 이야기의 59% 에 「Once upon a time」이 글자 그대로 들어 있다는 것, 이야기마다 어떤 조건으로 만들었는지 칸으로 나눈 꼬리표가 없다는 것(주문서 글은 메타데이터에 남아 있다), 그리고 전부가 공개되어 있지는 않다는 것이다. 논문은 마지막 문제에 대해 이렇게 적었다.
Unlike the original TinyStories work, we open-source our story generation and model training code to enable the community to create variations of the datasets and model architectures.
심플스토리즈의 주문서는 고정된 글틀에 빈칸이 있고, 요청을 보낼 때마다 프로그램이 목록에서 값을 무작위로 선택해 빈칸을 채운다. 논문의 부록 A 에 실린 글틀에서 요소가 들어가는 문장을 옮기면 다음과 같다. 중괄호 안이 요청마다 바뀌는 값이다.
Write {12} short stories ({2} paragraphs each) using very basic words. Do not number each story or write a headline. Make the stories diverse by fully exploring the theme, but each story should be self-contained. … In particular, never start two stories the same way!
Each story should be about {Responsibility}, include {secret societies}, be {lyric} in its writing style and ideally feature {inner monologue}. The most important thing is to write an engaging easy story, but where it makes sense, demonstrate the use of {progressive aspect}. Write from the perspective of {someone curious}. …
Complex story structure is great, but please remember to only use very simple words! If you can, start the story with {a noun} that begins with the letter {p}.
빈칸에 들어가는 요소와 그 가짓수는 아래 표와 같다.
| 요소 | 논문이 부르는 이름 | 가짓수 | 보기 |
|---|---|---|---|
| 교훈 | Theme | 63 | Kindness, Courage, Honesty |
| 주제 | Topic | 48 | talking animals, hidden treasures |
| 문체 | Style | 23 | playful, fable-like, minimalist |
| 이야기 장치 | Narrative Feature | 26 | dialogue, a twist ending |
| 문법 요소 | Grammar Feature | 31, 이야기의 50% 에만 넣음 | past tense, wh-questions |
| 글쓴이 관점 | Author Persona | 23, 33% 에만 넣음 | a poet, a child |
| 첫 낱말의 품사 | 4 | 명사, 형용사, 부사, 전치사 | |
| 첫 낱말의 첫 글자 | 참고 코퍼스의 글자 빈도에 따라 선택 | ||
| 문단 수 | 1~9 | 고르게 선택 |
위 표는 심플스토리즈가 주문서에 넣는 요소다. 가짓수는 우리가 내려받은 공개 데이터의 꼬리표에서 서로 다른 값을 센 것이고(simplestories_check.out), 비율과 문단 수는 논문 부록 A 의 설명에서 옮겼다. 논문 부록 A 의 목록을 프로그램으로 세어도 이야기 장치 26, 문법 요소 31, 글쓴이 관점 23 으로 같은 값이 나온다. 논문과 저자들이 공개한 생성 코드가 다른 곳도 있는데, 글쓴이 관점을 넣는 비율은 논문이 33%, 우리가 읽은 코드가 절반이었다. 이 장의 실습은 이 비율에 의존하지 않는다.
요소 말고도 글틀에는 다양성을 위한 장치가 세 가지 들어 있다. 첫째는 요청 하나에 이야기 여러 편을 한꺼번에 쓰게 하고 「never start two stories the same way!」라고 적는 것이다. 한 응답 안의 이야기들은 모델이 앞에 쓴 이야기를 보면서 쓰기 때문에, 다르게 쓰라는 지시가 통한다. 둘째는 표의 아래쪽 두 줄로, 첫 낱말의 품사와 첫 글자를 정해 주는 것이다. 언어 모델은 앞 토큰을 조건으로 다음 토큰을 내므로, 첫 토큰이 다르면 그 뒤의 글 전체가 다른 조건에서 쓰인다. 논문은 샘플링 온도를 높여도 특정 표현이 지나치게 자주 나오는 문제가 남아서 첫 낱말에 제약을 두었다고 설명한다. 셋째는 등장인물의 이름을 정해 준 목록에서만 선택하게 하는 것이다.

킨더테일즈 주문서랑 뼈대는 같네. 우리는 축 셋을 조합했고 여기는 요소 여덟아홉 개를 조합한 거고.

다른 점은 첫 낱말이야. 우리는 내용의 축만 정했지 글이 시작하는 방법은 정한 적이 없어. 요소가 내용, 문체, 시작의 세 층으로 나뉘어 있네.

낱말은 어떻게 제한했어요? 타이니스토리즈는 서너 살 낱말이라고 했잖아요.

글틀에 「very basic words」, 「very simple words」로 쓰라는 말이 있고 그것뿐이에요. 낱말 목록을 주지도 않고, 받은 글을 낱말 목록으로 거르는 코드도 우리가 읽은 파일에는 없었어요. 중복을 지우는 코드도 찾지 못했고요. 그게 어떤 결과를 내는지는 공개 데이터를 측정해 보면 알 수 있어요.
이 절에서 좋아진 것은 주문서를 보는 방법이다. 주문서를 글틀과 요소 목록과 선택 확률로 나눠 볼 수 있게 되었고, 우리 생성기에 없던 요소인 문체와 첫 낱말이 무엇인지 알게 되었다.