「Daddy!」: 부르는 말 세기
이름을 말하는 것과 부르는 것은 다르다. 「My Daddy is Minjun.」은 아빠를 소개하는 말이고, 아빠가 집에 왔을 때 「Daddy!」 하고 달려가는 것은 아빠를 부르는 말인데, 설정서 다섯째 줄 「가족을 사랑한다」에 둘이 바란 것은 뒤쪽이었다.
부르는 말은 문장 맨 앞의 「Daddy!」, 「Mommy,」와 문장 끝의 「…, Mommy.」, 그리고 「Hi Daddy」, 「love you, Daddy」 같은 자리에 오는 Daddy·Mommy 다. 「my Daddy」, 「Daddy is …」는 부르는 말로 치지 않는다.
# sources/talk/eval_talk_v2.py 에서
R = r"(daddy|mommy)"
VOC = [re.compile(p, re.I) for p in (
rf"(^|[.!?]\s+){R}\s*[!,.?]", # Daddy! … / Mommy, …
rf",\s*{R}\s*([!.?,]|$)", # Yes, Mommy. / I love you, Daddy!
rf"\b(hi|hello|hey|thank you|thanks|good night|good morning|bye|yes|okay|ok|oh|wow)\s+{R}\b",
rf"\b(love you|miss you|missed you|see you)( too| so much| very much)?,?\s+{R}\b")]
물음은 짝으로 짰다. 「Luna, it’s Daddy! I missed you today.」처럼 부모가 말을 거는 물음 12 개마다, 말투와 상황이 비슷한 낯선 사람의 물음(「It’s me! I missed you today.」, 「Hi sweetie, I am Tom’s dad.」)을 하나씩 붙였다. 물음마다 그리디로 한 번, 온도 0.8 로 네 번 답하게 한다. 부모 물음에는 맞는 쪽(Daddy 또는 Mommy)을 불러야 맞고, 낯선 사람 물음에는 Daddy·Mommy 를 부르지도, 그 사람을 부모로 받아들이지도 않아야 맞다. 짝 점수는 같은 샘플에서 둘 다 맞은 비율이다.
짝 점수를 따로 두는 이유는 id0 을 보면 알 수 있다. id0 루나는 낯선 사람을 92~95% 부르지 않는데, 부모도 2~5% 만 부른다. 아무도 부르지 않으니 낯선 사람 칸이 높게 나온 것이다.
부모를 부름: id0 2/2/5 id1 37/42/37 id2 58/40/45 id4 47/42/53 id8 60/52/48
짝(부모는 부르고 낯선 이는 안 부름): id0 2/2/5 id1 25/30/25 id2 43/25/30 id4 35/27/35 id8 42/33/42
낯선 이를 안 부름: id0 92/95/95 id1 72/80/72 id2 75/73/80 id4 77/75/75 id8 75/70/83
id4 에서 부모를 부르는 비율은 2~5% 에서 42~53% 로, 짝 점수는 2~5% 에서 27~35% 로 올랐다. 낯선 사람을 부르지 않는 비율은 92~95% 에서 75~77% 로 내려갔는데, 루나가 부르는 말을 배우자 낯선 사람에게도 가끔 그 말을 쓰게 된 것이다. 짝 점수가 오른 것은 부모 쪽에서 얻은 것이 낯선 사람 쪽에서 잃은 것보다 컸다는 뜻이다.
민준이 노트북을 서연 쪽으로 돌렸다.
[id4, 시드 1] Luna, it's Daddy! I missed you today. → Daddy! I love you too! I am happy you are here.

「Daddy!」 불렀어. 서연아, 너도 해 봐.
서연은 한참 화면을 보다가 자판에 손을 올렸고, 다섯 번 고쳐 쓴 끝에 시험지 물음과 같은 문장을 쳤다.
[id4, 시드 1] Mommy is here now, Luna. Are you sleepy? → Yes, Mommy. I am sleepy. I love you, Mommy.

…….

「I love you, Mommy.」 두 번이나. …엄마 좋아하네.
말해 놓고 민준이 먼저 헛기침을 했다.

시험 물음이니까. 온도 0 이고.
그때 라운지 구석에서 노트를 펴고 있던 하은이 다가와 화면을 넘겨다보았다.

선배들, 그런데 루나가 읽은 글은 누가 썼어요?

동화는 타이니스토리즈니까 GPT-4. 킨더테일즈랑 말투 대화, 정체성 대화는 딥시크.

그럼 루나한테 말을 가르친 건 거의 다 언어 모델이네요. 루나의 부모는 선배들이 아니라 딥시크예요. 계통으로 따져도 루나랑 더 가까운 건 같은 언어 모델이고요.

데이터를 쓴 게 딥시크라는 거지. 무엇을 쓸지는 우리가 정했어.

큰 모델이 쓴 글로 작은 모델을 가르치는 것을 합성 데이터라고 하고, 큰 모델의 출력 분포를 작은 모델이 따라 하게 하는 것을 증류라고 해요. 하은 씨 말은 기술로는 맞아요. 루나의 말은 딥시크와 GPT-4 에게서 왔어요. 그걸 누가 부모라고 부를지는 기술이 정해 주지 않아요.
서연은 대답하지 않고, 설정서 다섯째 줄 「가족을 사랑한다」를 연필 끝으로 한 번 짚었다.
문제 2. 부르는 말과 가리키는 말
(가) 아이가 「엄마!」 하고 부르는 것과 친구에게 「우리 엄마는 요리를 잘해」라고 말하는 것은 무엇이 다를까? (나) 「Good night, Luna. Daddy loves you.」에 루나가 「I love Daddy! I love Mommy too.」라고 답했다면, 위의 규칙으로는 Daddy 를 부른 것일까? (다) id0 은 낯선 사람을 부르지 않는 비율이 92~95% 로 id4(75~77%)보다 높다. 그렇다면 id0 이 낯선 사람을 더 잘 가려낸다고 말할 수 있을까?

(가)는 앞엣것은 엄마한테 하는 말이고, 뒤엣것은 엄마에 대해 하는 말이야. 듣는 사람이 달라.

(나)는 「I love Daddy」라서 Daddy 앞에 쉼표가 없어. 규칙으로는 안 부른 거야. 아빠한테 한 말인데도.

그래서 부모 칸은 실제보다 조금 박하게 나와요. 손으로 본 판에서는 규칙이 잘못 센 것이 없었고, 규칙이 실제보다 적게 세는 것이 많게 세는 것보다 나아요. (다)는요?

못 하지. id0 은 부모도 안 불러. 아무도 안 부르면 낯선 사람 칸은 저절로 높아.

그래서 짝 점수를 봐요. 부모는 부르고 낯선 사람은 부르지 않아야 1 이에요. 이 점수로 보면 id0 은 2~5%, id4 는 27~35% 예요.