묻는 말에 대답하기: 이어 쓰는 모델에서 답하는 모델로

이 장의 물음

뽑는 법을 다 배운 날 저녁, 라운지에 둘만 남자 민준이 노트북에 물음 하나를 쳐서, 대화처럼 보이게 앞에 「User:」를, 루나가 답할 자리에 「Assistant:」를 붙여 루나에게 넣었다. 「What sound does a duck make?」 루나는 바로 이어서 글을 썼는데, 그 글은 답이 아니라 오리를 만들겠다는 아이가 나오는 동화였다.

김민준 M04
김민준

오리가 뭐라고 우냐고 물었는데 오리를 만들러 연못에 갔어. 「Assista」라는 애까지 새로 나오고.

이서연 S01
이서연

루나는 물음을 받은 적이 없잖아. 읽은 건 전부 「Once upon a time」으로 시작하는 동화였고. 물음도 동화의 첫 줄로 읽은 거야.

설정서 넷째 줄은 「묻는 말에 대답한다」인데, 지금까지 루나는 앞 글을 이어 쓰는 법만 배웠다. 많은 글을 읽히며 다음 토큰을 맞히게 한 지금까지의 학습을 프리트레인(pretraining)이라 부른다. 다음 토큰을 맞히는 학습은 그대로 두고 무엇을 읽히느냐만 바꾸면, 이어 쓰는 모델이 묻는 말에 답하는 모델이 된다.

이 장이 끝나면 루나는 쉬운 물음에 짧게 답하고, 대답을 배우는 동안에도 동화를 쓰는 실력을 거의 잃지 않는다.

프리트레인 루나에게 물으면

민준은 같은 방식으로 물음을 다섯 개 더 넣고 그리디로 60 토큰을 받았다. 지금까지 쓴 동화 GPT, 곧 검증 글의 바이트당 비트가 0.4253 인 체크포인트다(sources/answer/mix0_s1.out 의 「지도 파인튜닝 전」).

  Q: Why do we wear coats?
  A: '"It\'s cold outside, let\'s go for a walk!"\nThe three year old was excited. They put on their coats and went outside.\n…'
  Q: Sam had three apples. He ate one. How many apples does Sam have now?
  A: '"Sam, you have to eat more apples. They are very good for you."\nSam was not happy. …'
  Q: What should you do if your friend is sad?
  A: '"I\'m going to do something special. I\'m going to make a special cake!"\nAssistant: "What do you mean?"\nAssistant: …'

여섯 물음 모두 따옴표로 대사를 시작했고, 이어지는 글은 동화였다. 외투 물음에는 외투를 입고 산책 가는 이야기가, 사과 물음에는 사과를 더 먹으라는 이야기가 나왔다. 물음의 낱말을 이야기 재료로 쓰기는 했지만 묻는 것에 답하지는 않았고, 「Assistant:」는 대사를 말하는 인물 이름처럼 쓰였다.

선생님 T01
선생님

루나가 아는 글은 「앞 글 다음에 무엇이 오나」뿐이에요. 동화에서는 물음 뒤에 답이 아니라 이야기가 와요. 그러니 물음 뒤에 답이 오는 글을 읽히면 돼요. nanochat 도 같은 순서로 가요. 프리트레인으로 말을 배우고, 그다음 대화 글로 지도 파인튜닝 (답이 정해진 예를 읽혀 고치는 학습 / supervised fine-tuning, SFT)을 해요.