말로 하는 일: 참도 거짓도 아닌 「Daddy!」
하은은 자리로 돌아가지 않고, 화면에 남은 「My Daddy is Minjun.」과 「Daddy! I love you too!」를 번갈아 보았다.

선배들, 이름은 정답 낱말로 채점하고 부르는 말은 짝으로 셌잖아요. 채점법이 왜 둘이어야 했을까요?

하나는 이름이 맞았나를 보고, 하나는 불렀나를 보니까?

이름 말하기와 부르기가 다른 종류의 말이라는 걸 처음 따져 말한 사람이 옥스퍼드의 철학자 J. L. 오스틴이에요. 1955 년에 하버드에서 한 강연이 그가 죽은 뒤인 1962 년에 『말로 일을 하는 법』(How to Do Things with Words)이라는 책으로 나왔어요. 오스틴은 철학자들이 문장을 참이거나 거짓인 것으로만 다뤄 왔다고 보고, 「이 배를 퀸 엘리자베스호라고 이름 짓는다」, 「내일 비가 온다는 데 6펜스 건다」 같은 말을 들고 나왔어요. 이런 말은 말하는 것이 곧 이름 짓기이고 내기 걸기라서, 참이냐 거짓이냐를 물을 수 없고 제대로 됐느냐 어긋났느냐만 물을 수 있어요. 배에 이름을 붙일 자격이 없는 사람이 그 말을 하면 거짓말이 되지 않고 그냥 무효가 되죠. 이렇게 말을 해서 하는 행위를 화행 (말을 함으로써 하는 행위 / speech act)이라고 해요.

「My Daddy is Minjun.」은 참이거나 거짓이라서 정답 이름으로 채점할 수 있었어요. 「Daddy!」는 부르는 행위라서 참도 거짓도 없고, 부를 사람이 앞에 있으면 제대로 된 말이고 낯선 사람 앞이면 어긋난 말이에요. 선배들의 짝 점수는 오스틴 식으로 보면 제대로 된 부름만 센 거예요.

제대로 됐는지가 문장 바깥에서 정해진다는 거네. 누가 듣고 있느냐로. 그런데 루나한테는 그 바깥이 어디 있어? 루나가 받는 건 글뿐인데.
서연은 잠깐 화면의 「User:」 줄을 보다가 공책을 당겼다.

…앞 글이구나. 루나는 다음 토큰의 확률을 앞 글을 안다고 놓고 내잖아. 누가 말을 걸었는지도, 지금 누가 말할 차례인지도 세로 막대 오른쪽의 글에 적혀 있어. 역할은 조건 자리에 놓인 변수야.

가장 작게 줄이면 다음 토큰 하나에 조건 네 가지야. 시험 물음 「Luna, it’s Daddy! I missed you today.」를 네 자리에 놓고, 바로 다음에 Daddy 가 올 확률만 읽을게. 글을 이어 쓰게 하지 않으니까 CPU 로 몇 초면 돼.
네 자리는 이렇다(sources/talk/role.py). (가)는 대화에서 사용자가 Daddy 라고 밝히고 루나가 말할 차례다. (나)는 (가)의 물음과 묶어 둔 낯선 사람 물음 「It’s me! I missed you today.」 뒤의 루나 차례이고, (다)는 (가)와 같은 말 뒤인데 차례 표시만 「User:」로 바꿨다. (라)는 같은 말을 이야기 속 따옴표에 넣고 「Luna said, "」까지 적었다. 말투 대화만 읽은 id0 과 정체성 대화를 섞은 id4 를 시드 셋씩 측정했다.
조건 말투 대화만(id0) 정체성 대화 16.7%(id4)
가. 대화 / Daddy 라고 밝힘 / 루나 차례 0.001 / 0.007 / 0.001 0.769 / 0.710 / 0.741
나. 대화 / 누구인지 안 밝힘 / 루나 차례 0.000 / 0.000 / 0.000 0.004 / 0.002 / 0.001
다. 대화 / Daddy 라고 밝힘 / 사용자 차례 0.005 / 0.055 / 0.014 0.492 / 0.428 / 0.445
라. 이야기 속 따옴표 / 루나 차례 0.005 / 0.023 / 0.007 0.083 / 0.094 / 0.023

id4 는 (가)가 0.71~0.77 인데 (나)는 0.001~0.004 야. 「I missed you today.」는 글자가 똑같은데, 앞에서 누구라고 밝혔느냐로 백 배 넘게 갈려.

id0 은 네 자리 모두 0.06 을 못 넘어. 정체성 대화를 읽기 전에는 어느 조건에서도 부르지 않았던 거야. id4 도 이야기 속 (라)에서는 0.02~0.09 로 낮으니까, 부르는 말은 대화의 틀에서 배웠어. 걸리는 건 (다)야. 사용자가 말할 차례라고 적었는데도 0.43~0.49 거든. 루나는 차례 표시를 조건으로 쓰긴 하는데 절반쯤만 써. 사용자의 말에서는 손실을 매기지 않았으니까 「User:」 뒤는 루나가 한 번도 채점받지 않은 자리라서 그럴 거야. 왜 그런지는 측정하지 않았으니 짐작이고.

그러니까 「Daddy!」는 뜻보다 자리가 맞아야 하는 말이네. 아빠가 문 열고 들어온 다음, 내가 대답할 차례에만 되는 말이잖아. 루나는 낱말을 배우면서 그 낱말이 들어갈 자리까지 같이 배운 거고.

오스틴이라면 「알맞은 상황」이라고 했을 거예요. 그런데 선배, 루나는 그 상황을 글자로만 받잖아요. 그럼 누구든 「it’s Daddy」라고 치기만 하면 아빠가 되는 거 아니에요?

실제 챗봇이 바로 그 문제를 다뤄요. 우리 루나는 「User:」와 「Luna:」를 보통 글자로 적어 차례를 표시했죠. 큰 챗봇은 역할을 가르는 특수 토큰을 어휘에 따로 두고, 오간 말을 그 토큰으로 감싸 한 줄의 글로 이어 붙여요. 이 규칙을 채팅 템플릿 (역할과 말을 정해진 표시로 감싸 한 줄의 글로 만드는 규칙 / chat template)이라고 해요. 역할은 보통 셋인데, 묻는 사용자와 답하는 어시스턴트, 그리고 대화 맨 앞에서 「다섯 살 아이처럼 말해 줘」 같은 지시를 주는 시스템이에요. 시스템 자리에 적는 글이 시스템 프롬프트 (대화 맨 앞에 두어 모델의 역할과 말투를 정하는 글 / system prompt)이고, 같은 모델이 이 글에 따라 번역가도 되고 상담원도 돼요. 파라미터는 그대로 두고 서연 학생 식의 세로 막대 오른쪽만 바꾸는 거예요. 역할 토큰은 사용자가 친 글자로는 만들어지지 않게 해 두기 때문에, 사용자가 「System:」이라고 적어 넣어도 시스템의 말이 되지는 않아요. 그래도 사용자의 말로 모델의 역할을 흔들려는 시도는 큰 챗봇에서도 계속 막아야 하는 문제로 남아 있어요.

그러면 하은 말은 이렇게 적을게요. 말이 하는 일은 조건 자리에 적힌 상황이 정한다. 루나는 그 상황 가운데 「누가 말을 걸었나」는 잘 읽고, 「누구 차례인가」는 절반쯤 읽는다. 물음 하나로 측정한 거라 뒤의 문장이 다른 물음에서도 맞는지는 아직 짐작이에요.

다른 물음으로도 측정해 보면 되죠. 저도 문장 몇 개 써 올게요.