동화 속의 우리: 루나에게 우리 이야기를 가르치려면 몇 편을 써야 할까

이 장의 물음

회사 안내서 몇 쪽을 넣어 대화형 모델을 파인튜닝했는데, 안내서에 적힌 그대로 물으면 술술 답하던 모델이 「휴가 신청은 누구에게 해요?」처럼 말을 바꿔 물으면 엉뚱한 답을 하는 일이 있다. 그래서 요즘은 큰 모델에게 같은 내용을 여러 말투로 다시 쓰게 해서 학습 글을 불리는 일이 흔하다. 모델이 쓴 글로 모델을 가르치는 방법인데, 이렇게 하면 왜 나아질까? 같은 사실을 한 번 더 읽는 것과 다른 문장으로 한 번 더 읽는 것은 무엇이 다를까?

우리 루나는 학습 글에 한 번도 없던 이름을 만나면 Seoye, Minjo 로 망가뜨렸다. 이 장에서는 민준과 서연이 직접 정한 동화 속 사실 열 가지를 루나에게 가르치는데, 줄기 물음은 루나가 우리 사실을 외운 문장 밖에서도 꺼내 쓰게 하려면 어떤 글을 읽혀야 하느냐다.

이야기 세 편: 외운 것과 아는 것

민준의 공책에 「층 1: 건드리지 말 것」이 적힌 날 저녁, 서연은 자기 공책에서 「Minjun liked Seoyeon.」을 넣었던 쪽을 다시 펼쳤다. 그날 루나는 Simon 과 Danbler 를 데려왔고, 서연의 이름은 첫 문장 다음부터 나오지 않았다.

이서연 S01
이서연

안은 이만큼 열어 봤으니까 이제 고쳐 보자. 루나가 우리 이름을 못 쓰는 건 우리 이야기를 한 번도 못 읽어서잖아. 그럼 읽히면 되지.

김민준 M02
김민준

우리 이야기를 쓰자고? 동화로?

이서연 S01
이서연

동화 속 우리. 키우는 동물, 좋아하는 음식, 사는 곳, 좋아하는 색, 좋아하는 일. 그렇게 정해서 쓰고, 나중에 루나한테 물어보는 거야. 루나가 묻는 말에 답하는 형태는 배웠으니까, 이번에는 답의 내용을 채워 보는 거지. 설정서 넷째 줄 옆의 「내용은?」에 답이 생기는지.

김민준 M11
김민준

좋아. 나는 거북이. 느려도 끝까지 가니까. 음식은 국수, 집은 언덕 위, 좋아하는 일은 별 보기. 색은 회색.

이서연 S12
이서연

회색은 그 후드티 색이잖아. 나는 토끼, 딸기, 호숫가 집, 퍼즐 풀기. 색은… 노란색.

두 사람은 정한 사실 열 가지를 넣어 라운지 테이블에서 짧은 동화 세 편을 썼다. 민준이 언덕 위에서 별을 보는 이야기, 서연이 호숫가에서 토끼와 딸기를 먹는 이야기, 민준이 거북이를 데리고 언덕을 내려와 서연을 찾아가는 이야기다(sources/synthetic-data/handwritten.txt).

이 장이 끝나면 루나는 학습 글에 없던 문장으로 물어도 민준과 서연의 사실 열 가지를 후보 여덟 가운데서 절반 정도 맞게 고르고, 두 사람의 이름을 거의 틀리지 않고 쓰게 된다.

이어서 학습하기: 동화를 잊지 않게 섞어 읽히기

처음부터 다시 학습할 필요는 없다. 출발점은 대화로 가르친 루나가 아니라 동화 GPT 다. 사실이 들어오는지만 떼어 보려면 대화 데이터가 이미 섞이지 않은 쪽에서 측정하는 편이 깨끗하다. 동화 GPT 의 파라미터에서 출발해 1,000 스텝만 더 학습하는데, 스텝마다 배치 32 줄 가운데 4 줄은 우리가 쓴 글에서, 28 줄은 원래 학습 글인 타이니스토리즈에서 자른다. 우리 글만 읽히면 루나가 동화 쓰는 법을 잊을 수 있기 때문이다.

김민준 M01
김민준

의학 데이터만 더 가르쳤더니 코딩을 잊었다는 얘기였지. 우리 글만 천 스텝 읽히면 루나가 거북이 얘기만 할 거야.

이서연 S01
이서연

그래서 원래 동화를 같이 섞는 거고. 동화 실력이 남았는지는 타이니스토리즈 검증 글의 바이트당 비트로 측정하면 되겠다.

물어보는 방법은 시작 문장 뒤에 후보 답을 하나씩 붙여 모델이 준 로그 확률을 비교하는 것이다. 속성마다 후보는 여덟 개이고 그 안에는 다른 사람의 답도 들어 있다. 민준의 동물을 묻는 물음이라면 turtle, rabbit, dog, cat, bird, fish, frog, puppy 가운데 루나가 가장 그럴듯하게 본 것이 답이므로, 아무렇게나 고르면 12.5% 를 맞힌다. 물음은 학습 글에 그대로 나오지 않는 문형 넷씩, 두 사람 × 속성 다섯 × 문형 넷 = 40 개다.

# sources/synthetic-data/facts.py 에서 (발췌)
FACTS = {"pet": {"Minjun": "turtle", "Seoyeon": "rabbit"},
         "food": {"Minjun": "noodles", "Seoyeon": "strawberries"}, ...}
QUESTIONS = {"pet": ["{n}'s pet was a", "Every day after school, {n} fed {his} little",
                     "The animal that lived with {n} was a", "{n} took good care of {his} pet. It was a"], ...}

「Minjun had a pet」처럼 학습 글의 문장에서 답만 뺀 학습 문형 물음 10 개도 따로 측정했다. 학습하기 전의 동화 GPT 는 이렇게 답한다(sources/synthetic-data/run_hand.out).

  [학습 전] 새 문형 정답률  10.0% (바뀜  7.5%) | 학습 문형 정답률  10.0% | 바이트당 비트 0.4259
     이름 Minjun: 바른 철자 12/47 (26%), 틀린 철자 위 다섯 [('Minjo', 17), ('Mintian', 4), ('Mint', 2), ('Minjune', 1), ('Minter', 1)]
     이름 Seoyeon: 바른 철자 0/78 (0%), 틀린 철자 위 다섯 [('Seoye', 35), ('Seoy', 17), ('Sereon', 7), ('Sere', 6), ('Seoya', 4)]
     그리디 「Minjun's pet was a」 → ' small, brown dog. He was very happy and loved to'

이름 철자는 「Once upon a time, Minjun and Seoyeon」을 온도 0.8 로 20 번 이어 쓰게 해서 Min…, Seo…, Ser… 로 시작하는 낱말을 센 것이다. 학습 전 루나는 서연의 이름을 78 번 쓰는 동안 한 번도 바르게 쓰지 못했다. 바이트당 비트 0.4259 는 검증 글 앞 200만 토큰으로 구한 값이라 검증 글 전체로 구한 0.4253 과 조금 다르다.

조건 1. 손으로 쓴 세 편

세 편을 학습 중에 딱 한 번씩만 넣은 루나, 같은 세 편을 배치의 4 줄에 계속 되풀이해 넣은 루나를 시드 셋으로 학습했다. 한 번씩만 넣은 것은 270만 편의 학습 글에 세 편을 보태는 것과 같고, 되풀이한 것은 세 편을 육천 번 넘게 읽히는 것이다(1,000 스텝 × 4 줄 × 512 토큰 ÷ 333 토큰).

이서연 S06
이서연

육천 번이면 같은 문제집을 닳도록 푼 거잖아. 문장은 외워도 다르게 물으면 못 맞힐 것 같은데.

선생님 T01
선생님

그럴 수 있어요. 그래도 세 편이 루나에게 무엇을 남기는지 먼저 숫자로 봐 두면, 다음에 무엇을 바꿀지 정할 수 있어요.

## 요약 (시드 평균)
  조건           | 새 문형 정답률 | 바뀜   | 학습 문형 정답률
  hand_once    |         7.5% |  7.5% |        10.0%   (시드별 새 문형 ['7.5%', '5.0%', '10.0%'])
  hand_repeat  |        30.0% | 15.0% |        90.0%   (시드별 새 문형 ['30.0%', '27.5%', '32.5%'])

한 번씩만 읽은 루나는 사실 물음이 학습 전과 다를 바 없이 우연 근처였다. 「Minjun had a pet」을 주면 여전히 「dog named Spot」을 썼다. 되풀이해 읽은 루나는 학습 문형 물음을 90% 맞혔고 「Minjun had a pet」 다음에 「turtle named Slowy」까지 썼지만, 새 문형 물음은 30.0% 였다. 이름은 확실히 배웠다. 되풀이한 루나는 첫 시드에서 Minjun 을 86 번 가운데 85 번, Seoyeon 을 82 번 가운데 78 번 바르게 썼다. 그런데 같은 루나에게 두 사람의 이야기를 쓰게 하면 이렇게 나온다.

     샘플(온도 0.8, 시드 0) 「Once upon a time, Minjun and Seoyeon」 → ' lived in a small house by a lake. They had a pet rabbit with long, soft ears. Seoyeon liked solving puzzles, and Minjun liked solving puzzles. One sunny day, Seoyeon ate a bowl of strawberries by the lake, because Seoyeon loved to eat strawberries. Her yellow dress was bright in the sun. Seoyeon liked the color yellow.'
이서연 S06
이서연

이거 내가 쓴 둘째 이야기야. 「Her yellow dress was bright in the sun」까지 그대로. 중간에 「Minjun liked solving puzzles」만 끼어들었고.

김민준 M04
김민준

나도 퍼즐 좋아하게 됐네. 그런데 「Minjun’s pet was a」 하고 물으면 「small, furry mouse」래. 거북이 이야기를 육천 번 넘게 읽었는데.

되풀이한 루나는 세 편을 거의 글자 그대로 지녔다. 학습한 문장 그대로 앞부분을 주면 뒤를 이어 쓰지만, 「Minjun 의 동물은 거북이」라는 사실을 문장에서 떼어 다른 문장에 꺼내 쓰지는 못한다. 30.0% 는 우연(12.5%)보다는 높지만, 학습 글의 문장과 앞부분이 비슷한 물음(「Seoyeon took good care of her pet. It was a」는 「small, soft rabbit with long, soft ears」로 이어졌다)에서 주로 나왔다.

문제 1. 단어장을 외운 것과 낱말을 아는 것

영어 단어장을 앞에서부터 「apple 사과, banana 바나나, …」 순서대로 백 번 소리 내 읽은 학생이 있다. (가) 친구가 「apple」이라고 하면 「사과」가 바로 나오는가? (나) 「사과를 영어로 하면?」이라고 묻거나, 「I ate an ___ for lunch」의 빈칸을 물으면 어떨까? (다) 이 학생과 되풀이해 읽은 루나는 무엇이 닮았는가?

김민준 M01
김민준

(가)는 바로 나와. 백 번 읽은 순서 그대로니까.

이서연 S01
이서연

(나)는 좀 달라. 사과에서 apple 로 가는 건 거꾸로 묻는 거고, 빈칸은 단어장에 없던 문장이잖아. 단어장 순서대로 외웠으면 처음부터 다시 읊어야 나올 것 같아.

선생님 T01
선생님

그러면 (다)는요?

김민준 M07
김민준

루나도 「Minjun had a pet」 다음은 90% 맞혔는데, 「Minjun’s pet was a」는 쥐라고 했어요. 외운 문장 순서로 물으면 나오고, 다른 문장에 넣어서 물으면 안 나오는 거요.

선생님 T01
선생님

그래요. 그 학생이 단어를 정말 쓰게 되려면 무엇이 필요할까요?

이서연 S01
이서연

같은 낱말을 여러 문장에서 만나야겠죠. 기출 실험에서 같은 문제를 되풀이한 쪽이 새 문제를 못 푼 것과 같아요. 단어장 한 줄이 아니라 예문 여러 개로요.