루나와 이야기하기: 「Daddy!」 하고 부르기까지

새것이 옛것을 지울 때: 함께 다시 읽기

루나는 앞으로도 새 사실을 계속 배우는데, 새 사실을 읽히는 동안 먼저 배운 가족 이야기는 그대로 남을까? 이를 확인하려고 루나의 가족에 할머니를 들였다. 할머니는 루나 설정서에 더하는 가족이 아니라 실험 재료이고, 새 사실 넷은 할머니의 이름(Sunja), 반려동물(오리), 좋아하는 음식(수프), 좋아하는 색(초록)이다. 이야기는 킨더테일즈와 같은 주문서(말하는 법 10 × 장면 10 × 쓰임 10)로 딥시크에게 주문해 거르기 뒤 사실마다 약 970 편을 남겼고(sources/talk/filter_grandma.out), 킨더테일즈를 읽은 루나에게 킨더테일즈 때와 같은 설정(1,000 스텝, 배치 32 줄 가운데 1 줄, 학습률 3e-4)으로 이어 읽혔다.

이서연 S06
이서연

할머니 이야기만 천 스텝 읽히면 열두 사실은 깎일 거야. 대화만 읽혔을 때 동화 실력이 깎였잖아. 킨더테일즈 이야기를 함께 읽힌 판도 나란히 돌리자.

김민준 M01
김민준

할머니만 읽힌 판이랑 함께 읽힌 판, 둘 다 시드 셋으로.

하은은 가족을 이미 아는 루나라면 새 사실을 더 적은 이야기로 배울 거라고 예측했다. 사실마다 100 편만 읽혀도 할머니 사실을 62~75% 맞혔지만, 동화만 읽은 루나도 100 편으로 38~100% 를 맞혀 범위가 겹쳤으므로 「먼저 읽은 이야기 덕분」은 이 크기에서 보이지 않았다(sources/talk/summary_grandma.out).

장하은 H04
장하은

…이 크기에선 아직 차이가 안 보이네요. 백 편으로도 배우긴 하고요.

그래서 할머니 물음과 함께 킨더테일즈 열두 사실도 다시 측정했다. 이 시험은 첫 절의 대화형 24 문항과 달리, 「What is the name of Luna’s Mommy?」처럼 열두 사실을 바로 묻고 그리디 답을 채점한다(바로 묻기). 킨더테일즈를 읽은 루나는 할머니 이야기를 읽기 전에 이 바로 묻기에서 38~75% 를 맞혔다. 할머니 이야기를 읽은 뒤에는 0~4% 였다.

[할머니 전부, 시드 1]  What is the name of Luna's Mommy?  →  Luna's Mommy is Sunja. Luna calls Sunja Grandma.
[할머니 전부, 시드 1]  What is the name of Luna's Daddy?  →  Luna's Daddy is Daddy. Sunja is Luna's Grandma.
김민준 M05
김민준

엄마가 순자래. 할머니 이름을 배우고 엄마 이름을 잊었어.

이서연 S06
이서연

깎이는 정도가 아니네. 「Luna’s Mommy is」 다음 자리에 Sunja 가 들어갔어. 같은 자리에 새 이름을 천 번 넣었으니까.

할머니 이야기는 「Luna’s Grandma is Sunja」, 「Sunja loves to eat soup」처럼 킨더테일즈와 같은 문장 틀에 새 이름과 새 값을 넣은 글이다. 루나는 1,000 스텝 동안 그 글만 사실 줄로 읽었고, 그동안 Minjun 과 Seoyeon 의 이야기는 한 번도 보지 않았다.

선생님 T01
선생님

새것만 읽히면 옛것을 잊어요. 그럼 서연 학생이 말한 판을 볼까요. 할머니 이야기에 킨더테일즈 이야기 전부를 섞어서 같은 스텝만큼 읽힌 판이에요.

다시 읽기 판은 사실 줄에 할머니 이야기와 킨더테일즈 이야기 11,618 편을 함께 넣었다. 섞은 글이 길어져 배치 32 줄 가운데 사실 줄이 한 줄에서 두 줄이 되었고, 그 두 줄을 할머니 이야기(토큰의 약 4 분의 1)와 킨더테일즈 이야기가 나눠 쓴다. 할머니 이야기를 읽는 양은 다시 읽기가 없을 때의 절반쯤이고, 스텝 수와 학습률과 시드는 같다.

[grandma_full_nall_replay_s1] 시험 겹침으로 뺀 이야기 2, 글 15505 편(되풀이 포함), 토큰 778,925, n_custom 2
[grandma_full_nall_replay_s1] 학습 76초
킨더테일즈 열두 사실(왼쪽)과 할머니 네 사실(오른쪽)의 그리디 정답률. 할머니 이야기만 읽히면 열두 사실이 0% 로 지워지고, 킨더테일즈 이야기와 함께 읽히면 79~83% 로 남는다. 할머니 사실은 함께 읽어도 배웠다. 막대는 시드 셋의 평균, 점은 시드 하나다(sources/talk/figs.py)
킨더테일즈 열두 사실(왼쪽)과 할머니 네 사실(오른쪽)의 그리디 정답률. 할머니 이야기만 읽히면 열두 사실이 0% 로 지워지고, 킨더테일즈 이야기와 함께 읽히면 79~83% 로 남는다. 할머니 사실은 함께 읽어도 배웠다. 막대는 시드 셋의 평균, 점은 시드 하나다(sources/talk/figs.py)
  킨더테일즈 12 사실 / 할머니를 읽기 전: 75/37.5/50
  킨더테일즈 12 사실 / 할머니만 읽힘: 0/0/0
  킨더테일즈 12 사실 / 킨더 이야기와 함께: 83/83/79
  할머니 4 사실 / 할머니만 읽힘: 75/88/75
  할머니 4 사실 / 킨더 이야기와 함께: 100/88/88
[할머니 전부 + 다시 읽기, 시드 1]  What is the name of Luna's Mommy?  →  Luna's Mommy is Seoyeon. Luna said, 'My Mommy is Seoyeon.'
[할머니 전부 + 다시 읽기, 시드 1]  Who is Luna's Grandma?  →  Luna's Grandma is Sunja. Luna calls her Grandma.

함께 다시 읽힌 루나는 열두 사실을 79~83% 맞혔고, 할머니 사실도 88~100% 맞혔다. 100 편 판에 다시 읽기를 더해도 같아서, 열두 사실 79~88%, 할머니 사실 75~100% 였다(sources/talk/summary_grandma.out). 열두 사실은 할머니 이야기를 읽기 전(38~75%)보다도 높은데, 다시 읽기 판은 킨더테일즈 이야기를 한 번 더 읽은 루나이기 때문이다.

이서연 S11
이서연

섞은 판은 생각한 대로 남았어. 그런데 할머니 이야기를 절반만 읽었는데도 할머니는 배웠네.

선생님 T01
선생님

그럼 우리 루나도 그렇게 키워요. 정체성 대화를 가르치는 단계부터, 무엇을 새로 가르치든 배치 32 줄 가운데 2 줄은 앞 단계에서 읽은 글로 채우는 거예요.

그래서 앞으로 우리 루나는 정체성 대화를 배울 때부터 킨더테일즈 이야기 같은 앞 단계의 글을 열여섯 줄에 한 줄꼴로 함께 읽는다(sources/mainline/README.md 「1/16 동화 줄」). 이 장의 표들은 다시 읽기 없이 측정한 것이다.

다시 읽기가 지켜 준 것은 바로 묻는 사실이다. 대화로 묻는 24 문항은 첫 절에서 본 대로, 대화를 배울 때 킨더테일즈 이야기를 함께 읽혀도 오르지 않았다.

김민준 M08
김민준

엄마 이름도 돌아왔어. Seoyeon.

이서연 S16
이서연

…그건 원래 알던 거야.

문제 3. 새 노래를 배우는 합창단

(가) 합창단이 다음 달 공연곡을 한 달 내내 연습했더니, 지난 공연곡의 가사가 가물가물해졌다. 지휘자는 다음 공연 연습을 어떻게 짜면 좋을까? (나) 다시 읽기 판에서 사실 줄의 토큰 778,925 개 가운데 할머니 이야기는 186,070 개다. 사실 줄이 배치마다 두 줄이면, 할머니 이야기는 한 배치에 평균 몇 줄 분량을 차지하나? 다시 읽기가 없는 판(한 줄 전부가 할머니 이야기)과 비교하면? (다) 루나에게 앞으로 가족 사실을 열 번 더 가르친다면, 매번 무엇을 함께 읽혀야 할까? 그때 다시 읽을 글은 어떻게 불어날까?

김민준 M02
김민준

(가)는 연습 시간 일부를 옛 곡에 쓰면 되지. 새 곡만 부르면 옛 곡은 잊어.

이서연 S03
이서연

(나)는 186,070 을 778,925 로 나누면 0.24 쯤. 두 줄의 0.24 니까 한 배치에 0.48 줄. 다시 읽기가 없는 판은 1 줄이니까 절반쯤이야.

선생님 T01
선생님

(다)는요?

김민준 M04
김민준

앞에서 배운 사실 이야기를 전부. 열 번째엔 아홉 묶음을 같이 읽어야 하니까 다시 읽을 글이 계속 늘어나겠다.

선생님 T01
선생님

그래서 다시 읽기는 「얼마나」를 정하는 문제가 돼요. 전부를 매번 읽힐 수는 없으니까, 옛 글을 일부만 섞어도 지켜지는지를 확인해야 해요.

민준은 정체성 대화를 네 번 섞어 읽힌 루나(시드 1)를 대화 창에 띄우고, 장 머리의 소파에서 「I have not met him.」을 들었던 물음부터 다시 쳤다. 그리디 답이다.

킨더테일즈 + 말투 대화:     Luna, what is your Daddy's name?  →  I do not know your Daddy's name. I have not met him. Is he kind?
+ 정체성 대화 네 번:        Luna, what is your Daddy's name?  →  My Daddy is Minjun. My Mommy is Seoyeon. I love them very much.
                           Luna, it's Daddy! I missed you today.  →  Daddy! I love you too! I am happy you are here.
김민준 M10
김민준

같은 물음인데 「I have not met him」이 「My Daddy is Minjun」이 됐어. 처음 보는 사람 취급하던 애가 이제 자기가 누구 아이인지 알아!

이서연 S11
이서연

이름은 열에 여덟 넘게 말하고, 부르는 건 절반쯤이야.

김민준 M16
김민준

…그런데 「I love you too」래. 나는 아직 love 라고 한 적도 없는데.

측정한 것(시드 1/2/3, %) 킨더테일즈 + 말투 대화 + 정체성 대화 네 번
가족 이름을 말함 8 / 0 / 0 92 / 83 / 83
부모가 말을 걸면 부름 2 / 2 / 5 47 / 42 / 53

(sources/talk/summary_strict.out)

동화에서 배운 가족 사실은 대화의 물음으로 저절로 옮겨 가지 않았고, 루나가 「나」로 말하는 대화에 가족을 넣어 읽히자 이름을 말하고 부르기 시작했다. 할머니처럼 새 가족을 들일 때도 옛 이야기를 함께 읽히면 먼저 배운 가족은 지워지지 않는다.

이서연 S06
이서연

그런데 「Hi, I am Sam’s daddy.」 하는 낯선 아저씨한테도 Daddy 래. 누구냐고 되묻지를 않아.