묻는 말에 대답하기: 이어 쓰는 모델에서 답하는 모델로

학습과 결과: 동화 실력을 지키며 대답 배우기

출발점은 동화 GPT 체크포인트, 배치는 32 줄이고, 학습률은 개발 대화의 답 손실로 넷을 비교해 0.0001, 600 스텝으로 정했다(sources/answer/sweep_lr*.out).

그다음 두 조건을 시드 셋씩 돌렸는데, 대화만은 배치 32 줄이 모두 대화다. 대화 + 동화는 32 줄 가운데 8 줄을 동화 학습 글에서 뽑은 128 토큰 조각으로 채우고, 그 조각은 모든 칸을 채점한다. 개발 답 손실은 개발 대화 217 편의 답 칸 토큰당 손실(nat)이고, 바이트당 비트는 검증 글 전체에서 측정했다. 학습 하나는 RTX 4090 한 장에서 17초가 걸렸다.

조건               시드      개발 답 손실      바이트당 비트     초
대화만               1       0.7550       0.5541    17
대화만               2       0.7461       0.5533    17
대화만               3       0.7581       0.5541    17
대화 + 동화 1/4       1       0.7857       0.4404    17
대화 + 동화 1/4       2       0.7739       0.4407    17
대화 + 동화 1/4       3       0.7829       0.4406    17

학습 전(0 스텝) 개발 답 손실 2.7244
시드마다 (섞기 − 대화만): 답 손실 +0.0307, +0.0278, +0.0249 | 바이트당 비트 -0.1137, -0.1126, -0.1136

(sources/answer/summary.out)

지도 파인튜닝 600 스텝 동안의 두 값. 왼쪽은 개발 대화의 답 손실로, 두 조건 모두 처음 100 스텝에 2.72 에서 1 근처로 떨어지고 그 뒤 천천히 내려간다. 오른쪽은 검증 동화의 바이트당 비트(앞 200만 토큰)로, 대화만 읽힌 루나(빨강)는 0.43 에서 0.55 까지 계속 나빠지고, 동화를 4분의 1 섞은 루나(파랑)는 0.44 근처에 머문다. 회색 점선은 학습 전 동화 GPT 의 0.4253, 선은 시드마다 하나다(sources/answer/analyze.py)
지도 파인튜닝 600 스텝 동안의 두 값. 왼쪽은 개발 대화의 답 손실로, 두 조건 모두 처음 100 스텝에 2.72 에서 1 근처로 떨어지고 그 뒤 천천히 내려간다. 오른쪽은 검증 동화의 바이트당 비트(앞 200만 토큰)로, 대화만 읽힌 루나(빨강)는 0.43 에서 0.55 까지 계속 나빠지고, 동화를 4분의 1 섞은 루나(파랑)는 0.44 근처에 머문다. 회색 점선은 학습 전 동화 GPT 의 0.4253, 선은 시드마다 하나다(sources/answer/analyze.py)

대화만 읽힌 루나는 답 손실이 2.72 에서 0.75 안팎으로 내려간 대신, 동화의 바이트당 비트가 0.4253 에서 0.553~0.554 로 나빠졌다. 동화를 4분의 1 섞은 루나는 답 손실이 0.774~0.786 으로 0.025~0.031 높고, 동화는 0.440~0.441 로 거의 지켰다. 시드 셋 모두 같은 쪽으로 갈렸다. 다만 섞은 루나는 한 배치에서 읽는 대화가 32 편이 아니라 24 편이어서, 답 손실의 차이에는 대화를 덜 읽은 영향도 들어 있다.

같은 물음 여섯을 동화를 섞은 시드 1 에 다시 넣은 답이다.

  Q: What sound does a duck make?
  A: 'A duck makes a sound. It sounds like a duck.'
  Q: Why do we wear coats?
  A: 'We wear a coat to stay warm. A coat keeps us warm.'
  Q: Which is bigger, a mouse or a horse?
  A: 'A horse is bigger. A horse has a big body. A mouse has a small body.'
  Q: Sam had three apples. He ate one. How many apples does Sam have now?
  A: 'Sam has three apples now. Three apples take away one apple is three apples.'
  Q: What should you do if your friend is sad?
  A: 'You should say, I am sorry. I can help you with a sad day.'
  Q: Can you tell me a short story about a frog?
  A: 'A frog sits on a log. The log is near a pond. The frog sees a fly. The frog jumps up. The frog gets the fly. The frog jumps down. The frog is happy.'

이제 물음마다 한두 문장으로 답하고 답을 다 쓰면 멈추며, 외투 물음과 말·쥐 물음에는 맞게 답했다. 오리 물음에는 「오리는 오리 같은 소리를 낸다」고 얼버무렸고, 사과 물음에는 「3 빼기 1 은 3」이라고 했다.

말과 쥐의 답이 뜨자 민준은 한동안 화면을 내리지 않았다.

김민준 M09
김민준

「A horse is bigger.」 물은 것에 물은 것만 답했어. 오리를 만들러 연못에 가지도 않고.

이서연 S01
이서연

네가 설정서 쓸 때 그랬잖아. 묻는 말에 딴소리 안 하고 대답한다고.

김민준 M01
김민준

…그 줄이 처음으로 움직였네.

동화를 쓰게 하면 두 조건의 차이가 보인다. 아래는 같은 시작 문장과 같은 시드로 뽑은 글이다.

[대화만 시드 1] Once upon a time, there was a little girl named Lily. She had a small box. She put a toy bear in the box. She did not know what was in the box. So she opened the box.\nBut the box was empty. There was no toy bear. …
[대화 + 동화 시드 1] Once upon a time, there was a little girl named Lily. She loved to learn new things every day. Her mom and dad were very smart. … She gave the cat some food and water. The cat was very happy and started to purr. …

대화만 읽힌 루나의 동화는 대화의 답처럼 짧은 문장이 되풀이되고, 상자에 넣은 곰 인형이 사라졌다가 다시 나온다. 섞은 루나는 동화의 말투를 지켰다.

김민준 M06
김민준

대답은 하는데… 루나 같지가 않아. 「A duck makes a sound」 라니.

이서연 S01
이서연

누구 말투도 아니니까. 이름 없는 도우미 말투로 쓴 대화를 읽혔잖아.

선생님 T01
선생님

오늘 배운 건 묻는 말에 답하는 형태가에요. 누구로서 답할지, 어떤 말투로 답할지는 그다음 일이에요. 그리고 사과 물음은 형태만 맞았지 계산은 틀렸어요. 답하는 법과 계산하는 실력은 따로 가르쳐야 해요.

개발 대화가 학습 대화와 겹쳐 있었다

다음 날 서연은 거르기 때 시험 문항과 겹친 대화를 뺀 것처럼, 개발 대화도 학습 대화와 겹치는지 세어 보았다. 개발 대화 217 편의 물음 408 개 가운데 160 개가 학습 대화의 물음과 글자까지 같았고, 개발 대화를 만든 주문 178 개는 모두 학습 대화를 만든 주문이기도 했다(sources/answer/split_v2.out). 같은 주문서로 받은 대화를 편 단위로 무작위로 나눴기 때문이다.

김민준 M05
김민준

그럼 0.75 는 루나가 외운 물음까지 맞힌 점수였어?

이서연 S04
이서연

열 문제 가운데 네 문제는 문제집에서 그대로 나온 시험이었던 거지.

선생님 T01
선생님

그래서 시험에 쓸 것과 읽힐 것은 처음부터 갈라 둬요. 이번에는 주문 단위로 갈라 봐요.

서연은 주문 510 개 가운데 34 개로 받은 대화만 개발로 떼고, 개발 물음과 같은 물음이 든 학습 대화 1,002 편을 뺐다. 이 판 2 는 학습 3,277 편, 개발 277 편이고, 개발 물음 548 개 가운데 학습 물음과 글자까지 같은 것은 없다. 학습률과 스텝도 판 2 의 개발 대화로 다시 골랐다. 학습률은 0.0001 그대로였지만, 개발 답 손실이 가장 낮은 곳은 600 스텝이 아니라 300 스텝 근처였고 그 뒤로는 다시 올랐다(sources/answer/v2_sweep_lr*.out). 판 1 에서는 외운 물음의 손실이 계속 내려가면서, 처음 보는 물음에서 손실이 다시 오르는 것을 가리고 있었다.

판 2(학습률 0.0001, 300 스텝)   시드   개발 답 손실   바이트당 비트(검증 글 전체)
대화만                            1      1.0580        0.5043
대화만                            2      1.0575        0.5043
대화만                            3      1.0584        0.5064
대화 + 동화 1/4                   1      1.1043        0.4381
대화 + 동화 1/4                   2      1.0996        0.4380
대화 + 동화 1/4                   3      1.0951        0.4381
학습 전 개발 답 손실 2.9180

(sources/answer/v2s300_mix*_s*.out)

겹침을 걷어 내자 답 손실은 0.75 안팎이 아니라 1.06 안팎이었다. 두 조건이 갈린 방향은 판 1 과 같다. 동화를 섞은 루나는 답 손실이 시드마다 0.037~0.046 높고, 동화의 바이트당 비트는 0.438 로 대화만 읽힌 루나(0.504~0.506)보다 낫다. 다만 600 스텝까지 학습하면 대화만 읽힌 쪽이 먼저 학습 대화에 오버피팅해 답 손실의 순서가 뒤집혔다(대화만 1.077~1.082, 섞음 1.053~1.057, sources/answer/v2_mix*_s*.out). 동화를 섞어 치르는 값이 얼마인지는 어디서 멈추느냐에 달렸다.

이 장의 뒤와 다음 실습들이 쓰는 루나는 판 1 의 학습 대화 4,369 편을 600 스텝 읽은 체크포인트다. 그 루나가 처음 보는 물음에 내는 답 손실은 0.75 보다 판 2 의 1.06 안팎에 가깝다고 읽어야 한다.

문제 3. 동화를 섞으면 대답을 덜 배우나

겹침을 걷어 낸 판 2 에서 동화를 4분의 1 섞은 루나는 개발 답 손실이 시드마다 0.037~0.046 높았고, 동화의 바이트당 비트는 0.066~0.068 낮았다. (가) 한 학기 동안 수학 학원만 다니고 책을 한 권도 안 읽은 아이와, 학원을 조금 줄이고 책을 계속 읽은 아이를 떠올려 보자. 무엇을 얻고 무엇을 잃었나? (나) 섞은 쪽은 배치에서 대화를 24 편만 읽었다. 답 손실의 차이가 「동화를 섞어서」인지 「대화를 덜 읽어서」인지 가르려면 무엇을 더 돌려야 할까? (다) 대화만 읽힌 루나의 동화가 나빠진 이유을 손실을 매긴 칸으로 설명하라.

이서연 S01
이서연

(가)는 수학만 한 애가 수학 문제는 조금 더 잘 풀겠지만, 읽던 실력이 떨어져. 책을 계속 읽은 애는 수학이 조금 덜 늘고 읽기는 지키고.

김민준 M01
김민준

(나)는… 섞은 쪽 스텝을 32 분의 24 만큼 늘려서 대화를 똑같이 읽게 하고 다시 측정하면 되겠다. 그래도 답 손실이 높으면 동화 탓이고.

선생님 T01
선생님

그래요. 오늘 표만으로는 동화를 섞은 영향과 대화를 덜 읽은 영향을 가르지 못해요. 그래서 본문에도 「대화를 덜 읽은 영향도 들어 있다」고 적었어요. (다)는요?

김민준 M01
김민준

대화만 읽힐 때는 답 칸만 채점하니까, 동화 같은 긴 글을 맞히는 손실이 한 칸도 없어. 동화를 잘 써도 손실이 줄지 않으니까, 파라미터가 답을 쓰는 방향으로만 끌려가.

선생님 T01
선생님

맞아요. 섞은 조각은 모든 칸을 채점하니까, 동화를 쓰는 실력에도 계속 손실이 걸려요.