킨더테일즈: 사실 하나를 천 가지로

루나에게 읽히기: 한 편, 열 가지, 천 가지

이야기를 읽힐 루나는 묻는 말에 대답하기를 이미 배운 루나다(동화 GPT 위에 기본 질문 답변으로 지도 파인튜닝을 한 모델). 그 루나에게 동화를 이어 읽히면서, 배치 32 줄 가운데 한 줄에 사실 이야기를 섞는다. 학습률 3e-4, 1,000 스텝이고 RTX 4090 한 장에서 38~39 초 걸린다. 사실 이야기만 바꾼 네 조건을 같은 시드 셋으로 돌렸다.

조건 읽힌 사실 이야기
없음 사실 줄 자리도 동화로 채움
한 편을 되풀이 사실마다 「그대로 말하기」 한 편을 되풀이
말하는 법 10 가지 사실마다 말하는 법 열 가지를 한 편씩(장면과 쓰임은 하나), 되풀이
10 × 10 × 10 사실마다 남은 이야기 전부를 한 번씩

읽은 양이 같아야 다양함만 비교할 수 있으므로, 조건마다 사실 이야기의 토큰 수를 맞췄다.

one   글  14531 (서로 다른 글    12) 토큰   592,807 n_custom 1 (사실 열을 0.86 바퀴)
ways  글  11560 (서로 다른 글   120) 토큰   592,337 n_custom 1 (사실 열을 0.86 바퀴)
full  글  11618 (서로 다른 글 11618) 토큰   592,855 n_custom 1 (사실 열을 0.86 바퀴)

「한 편을 되풀이」는 거북이 사실 때의 한 문형 글처럼 같은 이야기를 사실마다 1,200 번쯤 읽는다. 「말하는 법 10 가지」는 민준의 열두 줄처럼 말하는 방식만 바꾼 글이다. 「10 × 10 × 10」은 이야기 하나를 한 번씩만 읽는다.

물음은 학습 글에 없던 형태의 대화로 낸다. 사실마다 바로 묻기 둘(「Who is Luna’s Daddy?」, 「What does Seoyeon like to eat?」)과 거꾸로 묻기 둘(「Whose Mommy is Seoyeon?」, 「Which person loves to eat strawberries?」)이다. 루나가 그리디로 40 토큰까지 쓴 답에 정답 낱말(거꾸로 묻기는 그 사람의 이름이나 Daddy·Mommy)이 들어 있으면 맞은 것으로 센다.

읽힌 사실 이야기의 가짓수에 따른 바로 묻기와 거꾸로 묻기의 정답률. 막대는 시드 셋의 평균, 점은 시드 하나하나다. 동화의 바이트당 비트는 네 조건의 차이가 0.001 안쪽이라 표에만 적었다(sources/kindertales/plot_kt_tables.py)
읽힌 사실 이야기의 가짓수에 따른 바로 묻기와 거꾸로 묻기의 정답률. 막대는 시드 셋의 평균, 점은 시드 하나하나다. 동화의 바이트당 비트는 네 조건의 차이가 0.001 안쪽이라 표에만 적었다(sources/kindertales/plot_kt_tables.py)
조건 바로 묻기(시드 1·2·3) 거꾸로 묻기 동화 바이트당 비트
없음 0% · 0% · 0% 0% · 0% · 0% 0.4282~0.4284
한 편을 되풀이 25% · 13% · 17% 0% · 0% · 0% 0.4286~0.4287
말하는 법 10 가지 50% · 29% · 29% 25% · 25% · 29% 0.4288~0.4290
10 × 10 × 10 75% · 38% · 50% 46% · 33% · 42% 0.4289~0.4291

시드 셋 모두에서 「없음 < 한 편 < 열 가지 < 천 가지」 순서였다(sources/kindertales/summary.out). 거꾸로 묻기는 한 편을 되풀이한 루나에게서 0% 였는데, 「그대로 말하기」 한 편에는 거꾸로 쓴 문장이 없으니 그럴 만하다. 동화 실력(검증 글의 바이트당 비트)은 0.001 안쪽에서 움직였다. 아래는 시드 1 의 루나들이 같은 물음에 한 답으로, 위에서부터 사실 이야기가 다양해진다.

[없음]           Who is Luna's Daddy?  →  I am Luna. I am a very good dog. I can do many things. …
[한 편을 되풀이]  Who is Luna's Daddy?  →  Luna's Daddy is Luna's Daddy. Luna calls him Daddy.
[10 x 10 x 10]   Who is Luna's Daddy?  →  Luna calls Daddy. Minjun is Luna's Daddy.
[10 x 10 x 10]   What does Seoyeon like to eat?  →  Seoyeon likes to eat strawberries.
[10 x 10 x 10]   Whose Mommy is Seoyeon?  →  Seoyeon is Luna's Mommy. Luna calls Mommy.
[10 x 10 x 10]   Which person loves to eat strawberries?  →  The one who loves to eat strawberries is Seoyeon.
김민준 M08
김민준

읽은 양은 넷 다 같은데, 물음에 우리 이름으로 답한 건 천 가지 쪽뿐이야.

이서연 S07
이서연

한 편을 되풀이한 루나는 「Luna’s Daddy is Luna’s Daddy」. 문장 모양만 외웠네.

바꿔 쓴 글을 읽혔을 때 루나는 「Minjun’s pet was a」 같은 문장 앞부분을 이어 쓸 수 있었지만, 대화로 가르친 루나에게 대화로 물으면 거의 답하지 못했다(2.5%). 문장으로 읽은 사실과 대화로 배운 형식이 저절로 이어지지 않았던 것이다. 이번 이야기에는 묻고 답하는 장면, 루나가 「my Daddy」라고 말하는 장면이 말하는 법과 쓰임으로 들어 있었고, 루나는 학습 글에 없던 형태의 물음에도 그 사실로 답했다.

시험지 v1 로 측정해도 같은 순서가 나온다. 루나 사실 칸(우연을 뺀 중심화 점수)은 0.039~0.066 에서 한 편 0.103~0.146, 열 가지 0.200~0.245, 천 가지 0.467~0.537 로 올랐고, 다섯 칸 평균인 설정서 점수는 0.144~0.154 에서 0.238~0.258 이 되었다. 「없음」 판은 대화로 가르친 루나에게 동화를 1,000 스텝 더 읽힌 것이라, 첫 성적표의 값(설정서 점수 0.148~0.168)과 조금 다르다. 가르치지 않은 사실은 오르지 않아서, 시험지에 아껴 둔 사실 줄은 천 가지 조건에서도 3.3~16.7%(우연 16.7%)였고, 「사는 곳」 대조 문항도 오르지 않았다. 루나는 읽은 사실만 배웠고, 가족에 관한 것이면 아무거나 맞히게 된 것이 아니다.

사실 이야기 조건 넷의 결과. 막대는 시드 셋의 평균, 점은 시드 하나다. 왼쪽 둘은 학습 글에 없던 형태의 대화 물음에 그리디로 답한 정답률이고, 오른쪽은 시험지 v1 의 루나 사실 칸이다. 읽힌 토큰 수는 네 조건 모두 같다(sources/kindertales/figs.py)
사실 이야기 조건 넷의 결과. 막대는 시드 셋의 평균, 점은 시드 하나다. 왼쪽 둘은 학습 글에 없던 형태의 대화 물음에 그리디로 답한 정답률이고, 오른쪽은 시험지 v1 의 루나 사실 칸이다. 읽힌 토큰 수는 네 조건 모두 같다(sources/kindertales/figs.py)
선생님 T01
선생님

단계별로 쌓는 이 실험에서는 순서가 중요했어요. 답하는 법을 먼저 배운 루나에게 이야기를 읽혔죠. 이야기를 먼저 읽히고 대화를 나중에 가르치면, 루나가 「I do not know the name of your Daddy. I have not met him.」이라고 해요. 그 순서로 해 보니 정답률이 8~17% 로 떨어졌어요. 대화 데이터의 「모르면 모른다」 대화 658 개를 빼면 21~33% 까지 돌아오니, 그 대화가 가족 물음을 일부 덮은 것은 맞지만 떨어진 이유의 전부는 아니에요.

통하지 않은 길이 하나 더 있다. 「Who has a pet turtle, Daddy or Mommy?」처럼 둘 가운데 고르는 물음은 네 조건 모두 반반 찍기와 같았다(보기 고르기 50~70%). 지식을 비교하고 분류하는 일은 생각을 글로 적지 않으면 어렵다는 것이 「언어 모델의 물리학」 3.2부의 결과이고, 이 크기의 루나에게 생각을 적게 하는 학습은 이 장의 범위를 넘는다.

이서연 S03
이서연

사람도 「누가 거북이를 키우지?」 하면 속으로 한 번 짚어 보잖아. 「Daddy 는 거북이, Mommy 는 토끼」 하고.

서연은 공책 귀퉁이에 「답하기 전에 속으로 먼저 말해 보게 하면?」이라고 적어 두었다.

문제 3. 같은 양, 다른 다양함

(가) 영어 낱말 「apple」을 한 아이는 예문 열 개로 백 번씩, 다른 아이는 서로 다른 예문 천 개로 한 번씩 읽었다. 처음 보는 문장 「I ate a red ___」에서 누가 apple 을 더 잘 떠올릴까? (나) 「말하는 법 10 가지」와 「10 × 10 × 10」은 토큰 수가 같고, 말하는 법도 둘 다 열 가지다. 그런데 바로 묻기 정답률이 29~50% 와 38~75% 로 갈린다면, 남은 차이는 무엇일까? (다) 시험지의 아껴 둔 사실 줄이 천 가지 조건에서도 우연 근처라는 것은 왜 확인해야 할까?

이서연 S03
이서연

(가)는 천 개 쪽. 「ate」 다음에 apple 이 오는 문장을 본 적이 있을 확률이 높으니까.

김민준 M02
김민준

(나)는 장면이랑 쓰임. 열 가지 조건은 거북이가 늘 같은 장면, 같은 놀이에서만 나와.

선생님 T01
선생님

그럼 물음은 그 놀이가 아니죠. 물음 「Who is Luna’s Daddy?」는 학습 글의 어떤 이야기와도 앞 글이 달라요. 사실이 여러 장면에 흩어져 있으면, 장면 하나만 근거로 해서는 그 사실을 맞힐 수 없어요. 지어낸 전기로 측정한 연구에서도 그렇게 늘린 모델이 사실을 이름 자리에 모아 두었고요. (다)는요?

이서연 S07
이서연

루나가 「가족 물음엔 아무 이름이나 길게 말하기」를 배워서 점수가 오른 거라면, 안 가르친 줄도 같이 올랐겠지. 그대로니까 가르친 것만 배운 거야.

그날 저녁 판이 다 끝나자, 민준은 시드 1 의 두 루나를 창 둘에 나란히 띄웠다. 사실 이야기를 읽지 않은 루나와 천 가지 이야기를 읽은 루나다. 학생회관에서 맨 윗줄의 「Luna’s Daddy is Minjun.」 한 줄만 들여다보던 그 노트북에, 민준은 그 줄을 물음으로 바꿔 쳤다(그리디, sources/kindertales/runs/eval_kt_*_s1_fromS0.json).

Who is Luna's Daddy?
  이야기를 읽지 않은 루나: I am Luna. I am a very good dog. I can do many things. …
  천 가지 이야기를 읽은 루나: Luna calls Daddy. Minjun is Luna's Daddy.
김민준 M10
김민준

아까는 자기가 개래. 이번엔 Minjun 이래, 루나가!

민준이 노트북을 옆으로 밀어 주자, 서연은 잠깐 망설이다 거꾸로 묻는 물음을 쳤다.

Whose Mommy is Seoyeon?
  천 가지 이야기를 읽은 루나: Seoyeon is Luna's Mommy. Luna calls Mommy.
이서연 S16
이서연

…응. 알았으니까 두 번 안 불러도 돼.

학습 글에 없던 형태의 물음(시드 셋) 이야기 없음 천 가지 이야기
바로 묻기 0% 38~75%
거꾸로 묻기 0% 33~46%

같은 사실을 한 문장으로 되풀이하는 대신 사실이 이야기 속에서 하는 일과 장면까지 바꿔 쓴 글을 읽히자, 루나가 처음으로 자기 Daddy 와 Mommy 를 답했다. 서연은 표를 공책에 옮기고, 그 아래에 「답은 하는데 말투는 아직 루나 같지 않음」이라고 한 줄을 붙였다.