주문서를 조립하다: 같은 주문을 300 번 보내면 이야기는 몇 가지가 올까

공개 데이터를 우리 기준으로 측정하면

논문은 심플스토리즈가 타이니스토리즈보다 다양하면서 쉬움은 비슷하다고 주장한다. 주장을 그대로 받기 전에 우리가 써 온 기준으로 직접 측정했다. 심플스토리즈 영어 학습 조각 일곱 개 가운데 하나(302,243 편)와, 타이니스토리즈 V2 학습 파일의 앞 302,243 편을 같은 스크립트로 읽었다. 기준은 두 가지다. 하나는 글의 시작과 낱말 조각이 얼마나 되풀이되는가이고, 다른 하나는 루나의 낱말 목록 3,050 개 안에 이야기가 다 들어가는가다. 낱말 목록은 타이니스토리즈에서 많이 쓰이는 낱말과 그 굴절형에 루나의 가족과 집을 말하는 낱말을 더한 것이고, 목록 밖 낱말이 하나라도 든 이야기는 프리트레인에서 뺀다.

측정 심플스토리즈 타이니스토리즈 V2
「once upon a time」이 든 편 0.7% 59.8%
서로 다른 첫 세 낱말 72,308 가지 6,155 가지
네 낱말 조각 가운데 가장 흔한 1,000 개가 차지하는 비율 3.1% 9.1%
편당 낱말 수 226.0 161.9
낱말 하나하나가 낱말 목록 안에 드는 비율 89.5% 97.6%
모든 낱말이 낱말 목록 안에 드는 편 0.02% (75 편) 22.2% (67,129 편)

위 표는 두 공개 데이터를 같은 기준으로 측정한 값이다(sources/nlptools/simplestories_check.out, 스크립트 simplestories_check.py).

위의 세 줄은 논문의 주장과 맞는다. 「Once upon a time」은 거의 사라졌고, 같은 편 수에서 서로 다른 첫 세 낱말이 열 배 넘게 많으며, 흔한 네 낱말 조각이 차지하는 비율은 3분의 1 이다.

아래 세 줄은 반대 방향을 가리키는데, 심플스토리즈에서 낱말 목록 안에 다 드는 이야기는 30만 편 가운데 75 편이었다. 목록 밖 낱말 가운데 가장 많은 편에 나온 것은 laughter(26.0% 의 편), fear(14.2%), excitement(14.2%)이고, 그 뒤로 warmth, sparkled, memories, courage, echoed 가 이어진다. 감정과 성질을 가리키는 추상 명사와 글에서 주로 쓰는 동사들이다. 데이터세트가 편마다 붙여 둔 읽기 학년의 중앙값은 3.0 으로 초등학교 3학년 수준이다.

장하은 H01
장하은

낱말 목록이 타이니스토리즈에서 나왔으니까 타이니스토리즈에 유리한 비교 아닌가요?

이서연 S01
이서연

그래서 목록을 그 데이터의 낱말로 다시 만들어 봤어. 심플스토리즈에서 가장 많이 쓰이는 3,050 낱말로 목록을 만들어도 다 드는 편은 8.8% 야. 타이니스토리즈는 같은 방법으로 49.7% 고(simplestories_check.out). 드물게 쓰이는 낱말이 그만큼 많은 거야.

김민준 M01
김민준

「아주 쉬운 낱말로 써 줘」라고 말로만 부탁한 결과가 이거네. 문체를 23 가지로 바꿔 달라고 했으니 낱말도 같이 넓어진 거고.

선생님 T01
선생님

다양성과 낱말의 폭이 함께 움직였다는 것까지가 측정한 사실이에요. 문체 요소가 낱말을 넓힌 원인인지는 우리가 조건을 나눠 측정하지 않았으니 가설로 둬요. 여기서 정할 것은 무엇을 빌릴지예요.

정한 것은 두 가지다. 루나가 읽는 글은 낱말 목록 안의 글이어야 하는데 그 기준으로는 0.02% 만 남으므로, 데이터는 가져오지 않는다. 방법은 가져와서 주문서를 요소로 조립하되, 낱말은 말로 부탁하지 않고 낱말 목록 3,050 개를 주문서에 그대로 적어 준다.

이 절에서 좋아진 것은 빌릴 대상의 범위다. 심플스토리즈의 다양성은 우리 측정에서도 확인되었고, 낱말을 말로만 제한하면 목록 안에 다 드는 편이 0.02% 라는 것도 알게 되었다.