묻는 말에 대답하기: 이어 쓰는 모델에서 답하는 모델로

혼동하기 쉬운 점과 요약

토론 1. 답 손실이 2.72 에서 0.75 로 내려갔으면 루나는 답을 아는가

지도 파인튜닝 뒤 개발 대화의 답 손실은 크게 내려갔다(판 1 은 2.72 에서 0.75~0.79, 겹침을 뺀 판 2 는 2.92 에서 1.06~1.10). 그렇다면 루나는 이제 물음의 답을 안다고 말할 수 있을까?

김민준 M01
김민준

손실이 3분의 1 이 넘게 줄었으니까 답을 꽤 아는 거 아니에요? 실제로 외투 물음에도 맞게 답했고.

선생님 T01
선생님

사과 물음의 답을 다시 봐요.

이서연 S01
이서연

「Three apples take away one apple is three apples.」 형태는 개발 대화의 산수 답이랑 똑같아. 「무엇 take away 무엇 is 무엇」. 수만 틀렸어.

선생님 T01
선생님

그래요. 답 손실에는 「You」, 「is」, 「.」 처럼 형태를 맞히면 거저 맞는 토큰이 대부분이에요. 손실이 크게 줄어든 데에는 답하는 형태를 배운 효과가 커요. 사실이나 계산이 맞는지는 손실 하나로 가를 수 없고, 맞고 틀림을 따로 확인하는 시험이 있어야 해요.

김민준 M01
김민준

형태를 배운 것과 내용을 배운 건 다른 거네요. 손실은 둘을 섞어서 보여 주고.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
지도 파인튜닝은 프리트레인과 다른 학습 방법이라고 봄 1 학습 루프와 손실은 같다. 읽히는 글의 형태(차례 표시가 붙은 대화)과 손실을 매기는 칸(답 칸)만 다르다
사실을 물음에 적어 넣어도 답 칸 학습으로 배운다고 봄 물음까지 채점하면 채점하지 않는 칸에서는 그래디언트가 나오지 않는다. 물음에만 적힌 사실은 빈칸 시험 13.0% 로 학습 전(12.5%)과 같다. 알려 줄 사실은 답 쪽에 적는다
공개 대화 데이터를 거르면 쓸 만큼 남는다고 봄 2 smol-smoltalk 은 루나 어휘 안에 드는 대화가 0.08% 였다. 루나가 읽을 수 있는 대화는 동화 낱말로 직접 주문해 만들었다
대화만 읽혀도 동화 실력은 그대로라고 봄 3 답 칸만 채점하면 동화를 쓰는 손실이 없다. 바이트당 비트가 0.4253 에서 0.553~0.554 로 나빠졌고, 동화를 4분의 1 섞으면 0.440~0.441
개발 대화를 편 단위로 무작위로 나누면 된다고 봄 본문 같은 주문서로 받은 대화는 물음이 겹친다. 판 1 의 개발 물음 408 개 가운데 160 개가 학습 물음과 같아 답 손실이 0.75 로 낮게 나왔고, 주문 단위로 나눈 판 2 는 1.06 이었다
답 손실이 많이 줄면 답의 내용도 맞는다고 봄 토론 1 손실이 줄어든 대부분은 답하는 형태를 배운 결과다. 「3 빼기 1 은 3」처럼 형태는 맞고 내용은 틀린 답이 남는다

요약

프리트레인만 한 루나는 물음을 동화의 첫 줄로 읽고 이야기를 이어 썼다. 지도 파인튜닝은 학습 루프는 그대로 두고, 「User:」와 「Assistant:」로 차례를 표시한 대화를 읽히되 답 칸(답 글, 줄바꿈, 마지막 문서 끝)에서만 손실을 매기는 학습이다.

nanochat 의 지도 파인튜닝 데이터 smol-smoltalk 은 루나 어휘 안에 드는 대화가 484,570 개 가운데 367 개(0.08%)였다. 그래서 딥시크에게 동화 낱말로 대화를 주문해 일곱 유형 4,586 편(학습 4,369, 개발 217)을 만들었다.

학습률 0.0001, 600 스텝(RTX 4090 한 장에서 17초)으로 대화만 읽히면 개발 답 손실이 2.72 에서 0.746~0.758 로 내려가는 대신 동화의 바이트당 비트가 0.4253 에서 0.553~0.554 로 나빠졌다. 배치의 4분의 1 을 동화로 섞으면 답 손실은 0.774~0.786, 바이트당 비트는 0.440~0.441 이었다. 그런데 개발 물음의 40% 가 학습 물음과 같았다. 주문 단위로 다시 나눈 판 2 에서는 답 손실이 1.06 안팎(섞으면 1.10 안팎)이었고, 가장 좋은 멈춤은 300 스텝이었다. 루나는 쉬운 물음에 한두 문장으로 답하고 멈추지만, 산수는 형태만 맞고 수가 틀린다.

물음까지 채점하면 물음에 적힌 사실도 들어오지만, 루나가 물음과 차례 표시까지 쓰는 법을 배워 아무도 묻지 않았는데 물음부터 지어낸다. 사실이 답에 있으면 답 칸만 채점한 쪽이 처음 보는 문장에서도 더 잘 맞혔다(80.0% 대 54.8%, 시드 다섯).

손실의 합 범위로 보면 프리트레인은 글 전체의 확률을, 지도 파인튜닝은 조건부 확률 p(답 | 물음)만 배운다. 개발 대화에서 답 칸의 손실은 2.72 에서 0.75~0.79 로 내려갔고, 손실이 걸리지 않은 물음 칸은 3.77 에서 4.76~5.07 로 올라갔다. 말과 쥐 물음에서는 맞는 답과 틀린 답의 로그 확률이 함께 17 nat 넘게 올랐고(답하는 형태), 두 답의 차이(아는 것)는 말 물음에서 맞는 답 방향, 사과 물음에서 여섯 가운데 다섯이 틀린 답 방향이었다. 지시와 결과의 쌍으로 같은 조건부 확률을 가르치는 지시 튜닝이 이어 쓰는 모델을 챗 모델로 만든다.

루나 설정서 점검

설정서의 줄 이번 장 아직 빈 것
1. 말이 된다 동화를 섞으면 동화 실력을 거의 지킨다(0.440~0.441) 대화만 읽히면 동화가 짧은 문장의 되풀이로 무너진다
4. 묻는 말에 대답한다 쉬운 물음에 한두 문장으로 답하고 멈춘다 산수는 형태만 맞고 수가 틀린다. 오리 소리처럼 아는 듯 얼버무린다
6. 모르면 모른다고 한다 「모르는 것을 묻기」 대화 687 편을 읽혔다 그 대화를 읽은 루나가 실제로 모른다고 하는지는 측정하지 않았다
이서연 S01
이서연

넷째 줄 옆에 「형태는 됨」이라고 적을게. 「내용은?」도.

김민준 M01
김민준

「루나 말투로」도 적어 줘. 지금은 아무 말투도 아니니까.

서연은 넷째 줄 옆에 세 마디를 적고, 「루나 말투로」에만 밑줄을 그었다.

막힌 곳

루나는 이제 답하지만, 무엇을 알고 답하는지는 알 수 없다. 「A horse is bigger」라고 맞힌 답과 「three apples」라고 틀린 답은 같은 형태로 나왔다. 대답하는 법은 동화 GPT 위에 얹은 것이니, 답의 재료는 동화 GPT 안에 이미 있었을 것이다. 그런데 그 안을 열기 전에, 파라미터 표를 보며 적어 둔 물음부터 남아 있다. 헤드 수를 바꿔도 파라미터가 그대로라면 헤드는 왜 나누었고, 어텐션의 두 배를 쓰는 MLP 는 무슨 일을 할까? 말이 쥐보다 크다는 것은 그 부품들 가운데 어디에 들어 있을까? 그리고 루나는 Seoyeon 을 Seoye 로, Minjun 을 Minjo 로 망가뜨리면서도 앞에 나온 이름의 앞 조각은 찾아 다시 쓰는데, 그 일을 맡는 것은 모델 안의 무엇일까? 돌아가게 만드는 일은 여기까지 왔으니, 이제 동화 GPT 를 열어 왜 그렇게 되는지를 물을 차례다.