묻는 말에 대답하기: 이어 쓰는 모델에서 답하는 모델로

묻고 답하는 놀이: 답하는 형태와 아는 것

연습 데이터의 표를 닫은 뒤에도 민준은 루나가 여섯 물음에 쓴 답을 화면에 다시 띄워 놓고 있었다.

김민준 M06
김민준

선생님, 「A horse is bigger.」가 떴을 때는 루나가 진짜 아는 것 같았거든요. 그런데 사과 물음도 똑같은 말투로 틀리잖아요. 답을 잘하는 것과 아는 것은 어떻게 구분해요?

선생님 T14
선생님

답을 잘하는 것과 아는 것을 구분하는 문제는 컴퓨터가 막 생긴 때부터 있었어요. 영국의 수학자 앨런 튜링(Alan Turing)이 1950 년에 「계산 기계와 지능」(Computing Machinery and Intelligence)이라는 논문을 냈어요. 튜링은 「기계가 생각할 수 있는가」를 묻고는, 「생각」이라는 낱말의 뜻을 정하기가 어려우니 물음을 다른 것으로 바꾸자고 했어요. 심문자가 글로만 묻고 글로만 답을 받는데, 건너편에는 사람과 기계가 하나씩 있어요. 오간 글만 보고 어느 쪽이 기계인지 구분하지 못하면 기계가 이 놀이를 통과한 것으로 보자는 제안이에요. 튜링은 이 놀이를 모방 게임이라고 불렀고, 지금은 튜링 테스트 (글로 묻고 답해 기계와 사람이 구분되는지 보는 시험 / Turing test)라고 해요.

선생님 T01
선생님

16 년 뒤인 1966 년에 MIT 의 요제프 바이첸바움(Joseph Weizenbaum)이 엘리자(ELIZA)라는 프로그램을 발표했어요. 엘리자가 가진 것은 상대의 문장에서 핵심어를 탐지해, 미리 적어 둔 문장 틀에 끼워 되묻는 규칙이 전부였어요. 「어머니」라는 낱말이 나오면 가족 이야기를 더 해 달라고 하고, 걸리는 핵심어가 없으면 계속 말해 보라고 하는 식이에요. 심리 상담사를 흉내 낸 이 규칙과 대화한 사람들 가운데에는 프로그램인 줄 알면서도 속마음을 털어놓는 사람이 나왔어요. 바이첸바움은 그 반응에 놀랐고, 1976 년에 『컴퓨터의 힘과 인간의 이성』(Computer Power and Human Reason)을 써서 기계의 답을 이해로 받아들이는 일을 경계했어요. 엘리자에게는 답하는 형태만 있었고 그 안에 든 지식은 없었으니까요.

이서연 S03
이서연

형태와 내용이 손실의 어디에 들어 있는지 식으로 적어 볼게요. 물음 하나와 답 하나로 된 대화가 토큰 T 개이고, 앞의 m 개가 물음 칸, 나머지가 답 칸이라고 하면 글 전체의 로그 확률은 연쇄 법칙으로 두 덩어리의 합이에요.

−log⁡p(x1,…,xT)=−∑t=1mlog⁡p(xt∣x<t)⏟물음 칸의 합  =  −log⁡p(물음)  −∑t=m+1Tlog⁡p(xt∣x<t)⏟답 칸의 합  =  −log⁡p(답∣물음)-\log \textcolor{#c2408a}{p}(\textcolor{#1b9e77}{x}_{1}, \ldots, \textcolor{#1b9e77}{x}_{\textcolor{#3c4bff}{T}}) = \underbrace{-\sum_{\textcolor{#a67a63}{t}=1}^{\textcolor{#3c4bff}{m}} \log \textcolor{#c2408a}{p}(\textcolor{#1b9e77}{x}_{\textcolor{#a67a63}{t}} \mid \textcolor{#1b9e77}{x}_{<\textcolor{#a67a63}{t}})}_{\text{물음 칸의 합} \;=\; -\log \textcolor{#c2408a}{p}(\text{물음})} \;\underbrace{-\sum_{\textcolor{#a67a63}{t}=\textcolor{#3c4bff}{m}+1}^{\textcolor{#3c4bff}{T}} \log \textcolor{#c2408a}{p}(\textcolor{#1b9e77}{x}_{\textcolor{#a67a63}{t}} \mid \textcolor{#1b9e77}{x}_{<\textcolor{#a67a63}{t}})}_{\text{답 칸의 합} \;=\; -\log \textcolor{#c2408a}{p}(\text{답} \mid \text{물음})}
p(⋅∣⋅)루나가 다음 토큰에 주는 확률xt,  x<tt번째 토큰과 그 앞의 글 전부T,  m대화의 토큰 수와, 그 가운데 물음 칸(물음 글과 차례 표시)의 토큰 수\begin{array}{ll} \textcolor{#c2408a}{p}(\cdot \mid \cdot) & \text{루나가 다음 토큰에 주는 확률} \\ \textcolor{#1b9e77}{x}_{\textcolor{#a67a63}{t}},\; \textcolor{#1b9e77}{x}_{<\textcolor{#a67a63}{t}} & \textcolor{#a67a63}{t}\text{번째 토큰과 그 앞의 글 전부} \\ \textcolor{#3c4bff}{T},\; \textcolor{#3c4bff}{m} & \text{대화의 토큰 수와, 그 가운데 물음 칸(물음 글과 차례 표시)의 토큰 수} \end{array}
이서연 S01
이서연

프리트레인은 합의 범위가 1 부터 T 까지라서 두 덩어리를 모두 줄여. 지도 파인튜닝은 합의 범위를 m + 1 부터로 바꿨으니까 오른쪽 덩어리, 물음을 안다고 놓은 답의 조건부 확률만 줄이고. 왼쪽 덩어리에는 손실이 걸리지 않으니까 어느 방향으로 가도 막는 것이 없어. 개발 대화 217 편에서 두 덩어리를 따로 측정해 볼게. 글을 생성하지 않고 확률만 읽으니까 CPU 로 1 분이 안 걸려.

여기의 개발 대화는 판 1 이라 외운 물음이 섞여 있어서, 칸마다의 값은 낮게 나온다. 같은 대화 안에서 물음 칸과 답 칸을 비교하는 데에는 쓸 수 있다. 서연은 sft.py 와 같은 방법으로 칸을 나누고, 동화 GPT 와 지도 파인튜닝한 체크포인트 여섯 개에서 칸마다 토큰당 손실을 측정했다(sources/answer/cond.py). 동화 GPT 의 답 칸 값이 학습 기록의 2.7244 와 넷째 자리에서 다른 것은 GPU 가 아닌 CPU 에서 다른 정밀도로 계산했기 때문이다.

물음 칸 8,920 토큰, 답 칸 9,310 토큰, 합 18,230 토큰
모델                  물음 칸    답 칸    모든 칸
동화 GPT(전)          3.7698   2.7242   3.2358
대화만 시드 1         4.8683   0.7543   2.7673
대화만 시드 2         4.9371   0.7465   2.7969
대화만 시드 3         5.0724   0.7580   2.8690
대화 + 동화 시드 1    4.7636   0.7852   2.7319
대화 + 동화 시드 2    4.8894   0.7739   2.7876
대화 + 동화 시드 3    4.8313   0.7827   2.7637
김민준 M04
김민준

답 칸은 2.72 에서 0.75~0.79 로 내려갔는데, 물음 칸은 3.77 에서 4.76~5.07 로 올라갔어. 그대로 있을 줄 알았는데 물음을 맞히는 실력은 오히려 나빠졌네. 동화를 섞은 쪽도 똑같고.

이서연 S06
이서연

식에서 본 대로야. 섞어 읽힌 동화 조각은 동화의 확률을 붙잡아 줄 뿐이고, 물음의 확률을 붙잡는 손실은 두 조건 어디에도 없어. 그대로 있지 않고 올라간 이유는 측정하지 않았으니 추측인데, 파라미터가 답을 쓰는 방향으로 움직이는 동안 물음 칸의 예측이 함께 밀려난 것 같아. 이번에는 가장 작게 줄여서 물음 하나에 답 둘만 볼게. 말과 쥐 물음 뒤에 맞는 답과 틀린 답을 차례로 놓고 답 글의 로그 확률을 읽고, 사과 물음에서도 맞는 답과 틀린 답의 로그 확률을 읽을게.

물음: Which is bigger, a mouse or a horse?
  맞는 답 'A horse is bigger.' (5 토큰), 틀린 답 'A mouse is bigger.' (5 토큰)
  모델                  맞는 답    틀린 답    맞는 답 − 틀린 답
  동화 GPT(전)            -24.96     -24.18   -0.78
  대화만 시드 1            -0.08      -3.14   +3.06
  대화만 시드 2            -0.03      -6.74   +6.71
  대화만 시드 3            -0.04      -4.52   +4.48
  대화 + 동화 시드 1       -0.14      -2.60   +2.45
  대화 + 동화 시드 2       -0.05      -5.46   +5.41
  대화 + 동화 시드 3       -0.26      -1.84   +1.58
물음: Sam had three apples. He ate one. How many apples does Sam have now?
  맞는 답 'Sam has two apples now.' (6 토큰), 틀린 답 'Sam has three apples now.' (6 토큰)
  모델                  맞는 답    틀린 답    맞는 답 − 틀린 답
  동화 GPT(전)            -14.80     -14.62   -0.18
  대화만 시드 1            -2.68      -1.23   -1.45
  대화만 시드 2            -1.38      -2.26   +0.88
  대화만 시드 3            -2.13      -1.79   -0.34
  대화 + 동화 시드 1       -2.31      -1.46   -0.85
  대화 + 동화 시드 2       -3.05      -2.23   -0.83
  대화 + 동화 시드 3       -2.60      -1.40   -1.20
김민준 M04
김민준

학습 전에는 말 물음의 두 답이 모두 -24 nat 근처야. 동화 GPT 는 물음 뒤에 이런 글을 쓸 일이 거의 없었다는 거고. 학습 뒤에는 맞는 답이 -0.03~-0.26 이고, 틀린 답도 -1.84~-6.74 까지 올라왔어. 틀린 답도 17 nat 넘게 오른 거네.

이서연 S01
이서연

맞는 답과 틀린 답이 함께 오른 부분이 답하는 형태이고, 두 답의 차이가 내용이야. 말 물음은 차이가 체크포인트 여섯 개 모두 +1.58~+6.71 로 맞는 답 방향이야. 사과 물음은 두 답이 -14.8 근처에서 -1.2~-3.1 로 함께 올라왔는데, 차이는 다섯 개가 -0.34~-1.45 로 틀린 답 방향이고 대화만 시드 2 하나만 +0.88 이야.

김민준 M09
김민준

그러면 답하는 형태는 물음 뒤에 답처럼 생긴 글의 확률을 한꺼번에 올리면 배워지고, 아는 것은 그 안에서 맞는 답이 틀린 답보다 높은지에만 남네. 튜링의 놀이처럼 오간 글만 보면 눈에 먼저 들어오는 건 형태고.

선생님 T14
선생님

민준 학생이 구분한 두 가지는 큰 챗 모델에도 그대로 있어요. 큰 언어 모델도 처음에는 우리 동화 GPT 처럼 앞 글을 이어 쓰기만 했어요. 그러다 2021 년에서 2022 년 사이에, 지시와 그 지시를 따른 결과를 쌍으로 모아 서연 학생 식의 오른쪽 덩어리 p(결과 | 지시)를 가르치는 방법이 정착했어요. 이 방법을 지시 튜닝 (지시와 그 지시를 따른 예를 읽혀 지시를 따르게 하는 파인튜닝 / instruction tuning)이라고 해요. 오픈AI 가 2022 년에 발표한 InstructGPT 가 대표적인 예이고, 같은 해 11 월에 공개된 ChatGPT 로 이어 쓰는 모델이 묻는 말에 답하는 모델이 되어 널리 쓰이기 시작했어요. 지시의 위치에 「이 글을 요약해 줘」, 「영어로 번역해 줘」, 「이 후기가 칭찬인지 불만인지 분류해 줘」를 넣으면 요약과 번역과 분류가 모두 같은 형태의 학습 글이 돼요. 예전에는 일마다 모델을 따로 만들었는데, 지금은 모델 하나에 여러 일을 조건으로 가르쳐요. 다만 오늘 측정에서 본 것처럼 이 학습이 먼저 올리는 것은 답하는 형태예요. 큰 모델이 그럴듯한 말투로 틀린 답을 쓰는 문제도 같은 곳에서 나오니, 답의 내용은 형태와 따로 시험해야 해요.

이서연 S02
이서연

그러면 이렇게 적을게요. 지도 파인튜닝이 배우는 것은 p(답 | 물음)이고, 물음의 확률은 붙잡지 않는다. 답하는 형태는 맞는 답과 틀린 답이 함께 오른 부분, 아는 것은 두 답의 차이. 물음 둘로 측정한 것이라 다른 물음에서도 이렇게 나뉘는지는 아직 추측이에요.