주문서를 조립하다: 같은 주문을 300 번 보내면 이야기는 몇 가지가 올까

같은 주문 300 번과 조립한 주문 300 번

요소를 넣는 것이 실제로 무엇을 바꾸는지 보려면 요소를 넣지 않은 주문과 나란히 측정해야 한다. 주문서를 두 가지로 만들었다. 두 조건 모두 한 요청에 이야기 네 편을 쓰게 하고, 낱말 목록 전체와 공통 규칙을 똑같이 적는다. 다른 것은 요소뿐이다.

plain 조건의 주문서는 300 번 모두 같은 글이다(sources/simplestories/gen_simple.py --dry-run 의 출력, 낱말 목록은 줄였다).

Write 4 short stories for small children (about 60 to 140 words each).

Rules:
- Do not number the stories and do not write a headline.
- Very easy words for small children, short sentences. English only. No lists, no markdown, no emojis.
- If you need names, either do not give characters a name, or choose from: Mia, Tom, Lily, Ben, Sam, Amy, Max, Sue, Anna, Tim, Lucy, Bob, Leo, Jack, Emma.
- Work fast: decide once and write once. A program checks the stories afterwards, so do not check your own work and do not count words.
- Use ONLY words from the word list below (in exactly the forms listed), plus the given names. …
Word list: a, able, about, acorn, acorns, across, act, actin … (낱말 3,050 개) …zoo, zoom, zooming, zooms

Output only one JSON line, no other text: {"stories": ["...", "...", "...", "..."]}

mix 조건의 주문서는 요청마다 요소를 새로 선택해 넣으며, 첫 요청은 다음과 같이 만들어졌다.

Write 4 short stories for small children (2 paragraphs each, about 60 to 140 words each).

Each story should be about Kindness, include hidden treasures, be playful in its writing style and ideally feature inner monologue. The most important thing is to write an engaging easy story, but where it makes sense, demonstrate the use of prepositional phrases.

Rules:
- Make the stories diverse by fully exploring the theme, but each story should be self-contained. Make the stories as different from each other as possible. In particular, never start two stories the same way!
- If you can, start each story with a preposition that begins with the letter C.
- Complex story structure is great, but please remember to only use very simple words!
- Do not number the stories and do not write a headline.
…

요소 목록은 심플스토리즈 공개 데이터의 꼬리표 값 가운데 다섯 살 이야기에 맞는 것만 추렸다. 교훈은 63 가지에서 20 가지, 주제는 48 에서 20, 문체는 23 에서 10, 이야기 장치는 26 에서 6, 문법 요소는 31 에서 10 가지를 남겼고, 글쓴이 관점은 쓰지 않았으며 문단 수는 1~2 로 줄였다. 첫 글자에서는 영어 낱말의 첫 글자로 드물게 쓰이는 J, K, Q, U, V, X, Y, Z 를 뺐다. 무엇을 남길지는 우리가 판단해서 정했다.

# sources/simplestories/gen_simple.py 에서
def task(r, cond):
    if cond == "plain":
        return {"cond": cond}
    return {"cond": cond, "theme": r.choice(THEMES), "topic": r.choice(TOPICS), "style": r.choice(STYLES), "feature": r.choice(FEATURES),
            "grammar": r.choice(GRAMMARS) if r.random() < 0.5 else "", "word_type": r.choice(WORD_TYPES),
            "letter": r.choices(list(LETTERS), weights=list(LETTERS.values()))[0], "paragraphs": r.randint(1, 2)}

주문서를 조립하는 코드는 요소를 선택하는 task 함수 하나와 글틀에 값을 끼우는 함수 하나가 전부이고, 시드를 2081 로 고정했으므로 다시 돌려도 같은 주문서 600 개가 나온다. 교훈 20 × 주제 20 × 문체 10 × 이야기 장치 6 만 곱해도 24,000 가지여서, 요청 300 개가 같은 조합을 받을 일은 드물다.

문제 1. 같은 주문서를 300 번 보내면

plain 조건은 글자 하나 다르지 않은 주문서를 딥시크에게 300 번 보내 이야기 1,200 편을 받는다. 딥시크는 요청마다 답을 무작위로 생성하고, 다른 요청에서 자기가 무엇을 썼는지 보지 못한다.

(가) 1,200 편 가운데 글자까지 똑같은 이야기가 있을까?

(나) 이야기의 첫 낱말은 plain 조건의 1,200 편과 mix 조건의 1,175 편에서 각각 몇 가지쯤 나올까?

(다) 낱말 목록 안에 다 드는 편의 비율은 어느 조건이 높을까?

김민준 M01
김민준

(가) 는 있을 거 같아. 같은 부탁을 300 번 했으니까 몇 번은 똑같이 쓰겠지.

이서연 S01
이서연

80 낱말짜리 글이 글자까지 같으려면 80 번 연달아 같은 토큰이 나와야 해. 무작위로 생성하면 한 번만 달라져도 그 뒤는 다 달라지니까, 똑같은 글은 없을 거야. 대신 비슷한 글은 많겠지.

장하은 H01
장하은

(나) 는 이름이 문제일 것 같아요. 주문서에 이름 열다섯 개가 적혀 있으니까 plain 은 이름으로 시작하는 글이 많을 거예요. 그래도 「One day」나 「The」로 시작하는 글도 있을 테니 쉰 가지쯤?

김민준 M01
김민준

mix 는 첫 글자를 열여덟 가지로 정해 주니까 최소한 열여덟 가지는 넘겠네. 백 가지쯤 되려나.

이서연 S01
이서연

(다) 는 plain 이 높을 거야. 「교훈은 Honesty, 주제는 underwater adventures」 같은 주문을 받으면 그 낱말을 쓰고 싶어질 텐데 목록에 없을 수 있어.

선생님 T01
선생님

측정한 값을 봅시다.

측정 plain: 요소 없이 주문 mix: 요소를 선택해 넣음
받은 편 1,200 1,175
편당 낱말 수 89.4 98.8
(가) 글자까지 똑같은 편 0 0
(나) 서로 다른 첫 낱말 18 가지 361 가지
서로 다른 첫 세 낱말 192 가지 (16.0%) 1,056 가지 (89.9%)
가장 흔한 첫 세 낱말 「mia had a」 191 편 「down in the」 5 편
(다) 낱말 목록 안에 다 드는 편 99.5% 96.4%

위 표는 두 조건에서 받은 글을 거르기 전에 측정한 값이다(sources/simplestories/filter_simple.out). mix 의 편 수가 1,200 보다 적은 것은 응답 네 개를 JSON 으로 읽지 못했고 이야기 수가 넷이 아닌 응답도 있었기 때문이다. 요청 600 개 가운데 응답이 돌아오지 않은 것은 없었다(gen_simple.log, 실패 0).

(가) 는 서연의 예측대로 0 편이었고, (나) 는 세 사람의 예측보다 차이가 컸다. plain 의 첫 낱말은 열여덟 가지뿐이고 mia, lily, tom, ben 네 이름이 80.0% 를 차지하는데, 네 이름은 주문서의 이름 목록에서 맨 앞에 적힌 넷이기도 하다. mix 는 361 가지였고 가장 흔한 in 도 1.8% 에 그쳤다.

이야기의 첫 낱말 가운데 가장 흔한 여덟 개가 차지하는 비율. 왼쪽 plain 은 이름 넷이 대부분이고, 오른쪽 mix 는 가장 흔한 낱말도 2% 를 넘지 않는다(sources/simplestories/plot_simple.py)
이야기의 첫 낱말 가운데 가장 흔한 여덟 개가 차지하는 비율. 왼쪽 plain 은 이름 넷이 대부분이고, 오른쪽 mix 는 가장 흔한 낱말도 2% 를 넘지 않는다(sources/simplestories/plot_simple.py)

(다) 도 서연의 예측과 방향이 같았는데, 두 조건 모두 96% 를 넘었다. 낱말을 말로만 제한한 심플스토리즈 공개 데이터의 0.02% 와 비교하면, 낱말 목록을 주문서에 적어 주는 것만으로 거의 모든 글이 목록 안에 들어왔다. mix 에서 목록 밖으로 나간 낱말은 past(5 편), planted(4 편), crossed(3 편) 같은 굴절형이 대부분이다.

받은 글의 보기를 조건마다 하나씩 옮긴다(filter_simple.out 의 보기).

[plain, ssp00000-0]
Mia had a little cat. The cat was soft and black. Mia gave the cat a red ball. The cat ran after the ball. It ran up a tree. Mia was sad. She could not reach the cat. Then Ben came. Ben had a ladder. Ben put the ladder on the tree. The cat came down. Mia was happy. She gave Ben an apple. Ben said thank you. They sat on a bench. The cat slept on Mia. It was a good day.

[mix, ssm00000-0] 교훈 Kindness, 주제 hidden treasures, 문체 playful, 이야기 장치 inner monologue, 문법 요소 prepositional phrases, 첫 낱말은 C 로 시작하는 전치사, 문단 둘
Close to the garden gate, Mia found a tiny box. She opened it. Inside were two shiny buttons and a little note. The note said, Share me. Mia thought, Who can I help?
Mia saw Ben with a sad face. His kite was in the tree. I can help, she thought. She gave Ben one shiny button for a happy day. Then she helped pull the kite down. Ben smiled. The tiny box was a hidden treasure, but the kindness of Mia was the best treasure of all.

요청 600 개를 동시에 16 개씩 보내 모두 받는 데 5,028 초, 약 1 시간 24 분이 걸렸다(gen_simple.log). 연구실 서버의 딥시크에 보낸 요청이어서 독자가 그대로 따라 할 수는 없으므로, 다음 절부터의 실습은 받아 둔 응답 파일에서 시작한다.

이 절에서 좋아진 것은 두 가지다. 낱말 목록을 주문서에 적자 목록 안에 다 드는 편이 0.02% 에서 96.4~99.5% 가 되었고, 요소를 넣자 서로 다른 첫 세 낱말이 192 가지에서 1,056 가지로 늘었다.