주문서를 조립하다: 같은 주문을 300 번 보내면 이야기는 몇 가지가 올까
요소를 넣어도 남는 쏠림
mix 의 숫자는 거의 모든 측정에서 plain 보다 좋았지만, 요소를 넣은 주문서에도 쏠림은 있다. 측정값을 요소별로 나눠 보면 요소 자체가 만든 쏠림이 세 군데에서 보인다.
첫째는 한 요청 안의 첫 낱말이다. mix 의 요청 293 개 가운데 11 개(3.8%)는 네 편이 모두 같은 첫 낱말로 시작했다. 주문서에 「never start two stories the same way!」라고 적었는데도 그랬다. 시킨 품사별로 나누면 원인이 보인다.
## 2. mix: 한 요청의 편들이 모두 같은 첫 낱말로 시작한 요청, 시킨 첫 낱말 품사별
a noun 요청 72, 모두 같은 첫 낱말 0 (0.0%), 한 요청의 서로 다른 첫 낱말 평균 4.00
a preposition 요청 66, 모두 같은 첫 낱말 11 (16.7%), 한 요청의 서로 다른 첫 낱말 평균 3.15
an adjective 요청 72, 모두 같은 첫 낱말 0 (0.0%), 한 요청의 서로 다른 첫 낱말 평균 4.00
an adverb 요청 83, 모두 같은 첫 낱말 0 (0.0%), 한 요청의 서로 다른 첫 낱말 평균 3.94
전체 요청 293, 모두 같은 첫 낱말 11 (3.8%)
보기 [ssm00000] 시킨 것: a preposition, 글자 C
'Close to the garden gate, Mia found a tiny box. She opened it. Inside '
'Close by the old oak, Tom saw a shiny stone. He put it in his pocket. '
'Close behind the big chair, Lily heard a tiny beep. She looked down. A'
'Close under the kitchen table, Ben felt a little ball. He looked up. A'
위 출력은 sources/simplestories/detail_simple.out 의 2절이고, 열한 건은 모두 첫 낱말을 전치사로 시킨 요청이었다. 명사나 형용사는 한 글자로 시작하는 낱말이 낱말 목록에 많지만, C 로 시작하는 전치사는 몇 개 되지 않는다. 딥시크는 첫 글자를 95.3% 지켰고(filter_simple.out), 품사와 글자를 둘 다 지키려니 네 편에 같은 낱말을 쓴 것이다. 시킨 조건을 잘 따를수록 선택할 수 있는 낱말이 좁아져 생긴 쏠림이다.
둘째는 끝 문장이다. plain 에서 173 편이던 「It was a …」 끝 문장은 mix 에서 27 편으로 줄었는데, 그 대신 plain 에 없던 끝 문장이 나타났다. 「They learned that …」으로 시작하는 끝 문장이 24 편, 「The moral is …」가 15 편이다. 이야기 장치별로 나누면 39 편 가운데 33 편이 「a moral lesson」을 시킨 요청에서 나왔고, 그 장치를 시킨 233 편의 14.2% 에 해당한다(detail_simple.out 3절).
보기 [ssm00009-0] 'They learned that big jobs are easy when friends help.'
보기 [ssm00016-0] 'The moral is that a small hope can help everyone.'
보기 [ssm00016-1] 'The moral is to wait and care, and hope will grow.'
「교훈을 넣어라」라는 요소가 「교훈을 마지막 문장에 이 형식으로 적는다」로 굳은 것이다. 요소 하나가 가짓수 하나만큼의 다양성을 주는 동시에 그 요소만의 상투적인 문장을 함께 가져왔다.
셋째는 주제다. 주제 낱말이 글에 실제로 나온 편은 31.6% 였다(filter_simple.out). 주제 스무 가지를 주제 낱말이 낱말 목록에 있는지에 따라 나누면 차이가 뚜렷하다. 「giant creatures」나 「hidden treasures」처럼 낱말이 모두 목록 안에 있는 아홉 가지 주제는 545 편 가운데 55.0% 에서 주제 낱말이 나왔다. 「sports」, 「riddles」, 「sibling rivalry」, 「holidays」처럼 낱말이 모두 목록 밖인 네 가지 주제는 229 편 가운데 한 편에도 나오지 않았다(detail_simple.out 4절). 딥시크는 낱말 목록을 지켰고, 그래서 목록 밖 낱말로 적힌 주제는 다른 말로 돌려 쓰거나 약하게만 반영했다. 요소 목록은 심플스토리즈의 꼬리표에서, 낱말 목록은 타이니스토리즈에서 가져왔으므로 두 목록이 맞지 않는 곳이 생긴 것이다. 이 측정은 네 글자 이상의 주제 낱말이 같은 형태로 나왔는지만 본다. 「the sky」의 sky 는 세 글자여서 집계되지 않고 「gardens」는 단수형 garden 으로 쓰면 집계되지 않으므로, 주제가 글에 반영된 비율은 31.6% 보다 높을 것이다. 얼마나 높은지는 측정하지 않았다.

그럼 요소를 더 넣으면 되는 거 아니에요? 끝 문장의 형식도 요소로 만들고.

그럴 수 있어요. 다만 지금 본 세 가지가 모두 요소를 넣어서 생긴 쏠림이라는 점을 기억해요. 요소를 하나 더하면 쏠림 하나가 풀리고, 그 요소가 만드는 새 쏠림을 다시 측정해야 해요.

요소별로 나눠 보니까 어디를 고칠지가 보여요. 첫 낱말이 그래요. 지금은 한 요청의 네 편에 같은 글자를 주는데, 편마다 다른 글자를 주거나 전치사일 때는 글자를 정하지 않으면 될 것 같아요. 해 보지는 않았어요.

주제는 요소 목록을 낱말 목록 안의 말로 다시 써야겠네요. 「sibling rivalry」 대신 「a brother and a sister who both want the same thing」처럼요. 주제를 다시 쓰는 것도 해 본 건 아니고요.
두 가지 모두 다음 주문서에 넣을 후보로 적어 두었고, 효과는 측정하지 않았다.
이 절에서 좋아진 것은 요소를 넣은 주문서를 점검하는 방법이다. 전체 숫자가 좋아도 요소별로 나눠 측정하면 그 요소가 만든 쏠림이 보인다는 것을 세 곳에서 확인했다. 한 요청 안의 같은 첫 낱말은 전치사 요청의 16.7% 에서, 교훈 말투의 끝 문장은 교훈 장치를 시킨 편의 14.2% 에서 나왔다.