유치원 숫자 공부: 계산을 따로 가르치면 루나는 무엇을 배울까

지도 파인튜닝: 산수 문항으로 답 칸만 채점한다

이야기를 섞어 읽혀서는 시험 문장에 답이 잘 나오지 않았다. 한 편 70 낱말쯤 되는 이야기에서 계산의 답은 한 칸이고, 손실은 나머지 칸의 다음 토큰을 맞히는 데 대부분 쓰인다.

이서연 S06
이서연

600 편이나 읽혔는데 사과 문제는 6.8% 야. 이야기를 읽는 것과 이야기 속 수를 맞히는 건 다른 일인가 봐.

김민준 M01
김민준

대화로 가르칠 때처럼 하자. 물음을 주고 답 칸만 채점하는 거야. 이번엔 물음이 전부 산수이고.

지도 파인튜닝의 방법은 대화로 가르칠 때와 같다. 물음 칸의 정답 자리에 -100 을 넣고 답 칸만 채점한다(sources/counting/kit.py 의 answer_batch). 달라진 것은 문항이다. 배운 쌍에서 고른 식 물음과 이야기 물음이 반반이고, 답은 「 7.」 같은 수 하나이며, 이야기 물음은 시험 문장과 다른 문형 둘씩을 쓴다. 「둘 다」로 읽힌 루나에서 시작해 배치 64 개, 학습률 0.0001 로 600 스텝을 돌렸고, 타이니스토리즈는 섞지 않았다. 문항은 두 가지로 냈다. 유치원 쌍 437 개만 낸 판과, 다섯 살 범위를 조금 넘는 두 자리 덧셈과 뺄셈을 섞은 판이다.

문항 식 배운 쌍 식 새 쌍 이야기 배운 쌍 이야기 새 쌍
유치원 쌍만 99.6 (99.3, 99.7, 99.7) 13.0 (9.6, 14.7, 14.7) 62.2 (58.9, 61.7, 66.0) 7.1 (3.5, 9.8, 8.0)
두 자리를 섞음 98.9 (98.5, 99.2, 98.8) 26.5 (23.3, 28.2, 27.9) 51.3 (49.8, 51.4, 52.5) 12.8 (11.0, 16.1, 11.2)

(sources/counting/ladder_S_both.out, ladder_S_wide.out. 단위 %, 시드 셋의 평균과 시드 하나하나. 「14 - 11」처럼 시험의 새 쌍이면서 두 자리이기도 한 쌍은 문항에서 뺐다.)

물음 문장이 학습한 문형과 다른데도 이야기 물음의 배운 쌍이 6.8% 에서 62.2% 로 올랐다. 연산마다 고르지는 않아서 시드 0 은 덧셈 96.7%, 나눗셈 92.3% 를 맞히면서 곱셈은 9.0% 였다. 새 쌍을 올린 것은 문항의 범위다. 시험 쌍이 아닌 두 자리 문항을 함께 풀게 했더니 새 쌍의 식이 13.0% 에서 26.5% 로, 새 쌍의 이야기가 7.1% 에서 12.8% 로 두 배 안팎이 되었다. 숫자 규칙 실험에서 본 것과 같은 방향이다.

김민준 M11
김민준

62%! 사과 문제를 풀기 시작했어. 연습한 적 없는 문장인데도.

이서연 S02
이서연

응, 됐어. …동화도 그대로 쓰는지 한번 보자.

값은 동화로 치렀다. 시드 셋의 바이트당 비트가 0.432 에서 0.515~0.529 로 나빠졌고, 동화를 쓰게 하면 이런 글이 나온다.

    샘플 'Once upon a time, there was a little girl' → ' named Amy found a mysterious box. The box was made of 1. It could 5.'
    샘플 'Tom had 3 apples. He ate 1 apple. Now Tom has' → ' 3.. 12.'
    샘플 '3 + 4 =' → ' 7. 11. 3. 7. 4.  gray. 7. 4.  been 7.  hard 4. 10. '
이서연 S06
이서연

상자가 1 로 만들어졌고, 5 할 수 있대.

김민준 M04
김민준

이제 뭘 물어도 수로 답해. 동화 쓰던 애가 수밖에 몰라.

이서연 S01
이서연

합성 데이터 때 네가 말했잖아. 의학 데이터만 가르쳤더니 코딩을 잊었다는 그 얘기.

이어서 섞어 읽힐 때는 배치의 24 줄이 동화라 잊지 않았고, 이번에는 답 칸만 채점하니 동화에 대한 손실이 하나도 없었다. 대화로 가르칠 때 본 것과 같은 저울이다. 동화 실력을 잃은 것 가운데 얼마가 학습률(0.0001) 때문인지는 강화학습과 나란히 놓을 때 다시 본다. 산수 문항에 동화 줄을 함께 섞는 판은 이 장에서 측정하지 않았다.

이어 읽기를 건너뛰어도 이 시험의 점수는 같았다. 학습 전 동화 GPT 에서 바로 지도 파인튜닝을 시작하면 식 배운 쌍 99.1%, 이야기 배운 쌍 60.3% 다(ladder_S_base.out). 이어 읽기의 효과는 강화학습의 시작점에서 드러난다.

문제 3. 서연이 짠 교과 과정

유치원 쌍(437 개)만 지도 파인튜닝하면 새 쌍의 식이 13.0%, 두 자리 덧셈·뺄셈을 섞으면 26.5% 였다. (가) 시험에 나오지 않는 문제를 풀게 했는데 왜 시험 점수가 오르는가? (나) 두 자리 쌍은 8,100 개쯤인데, 그렇다면 쌍을 더 많이 만들수록 무조건 좋을까? (다) 지금 실험만으로 원인을 말할 수 있는가?

이서연 S01
이서연

(가)는 두 자리는 외우기엔 쌍이 많으니까. 스텝 600 에 배치 64 면 문항 38,400 개인데 그중 두 자리는 일부고, 같은 쌍을 다시 만날 일이 드물어. 외워서는 손실이 안 줄어.

김민준 M07
김민준

기출만 다섯 번 돌린 애 얘기네. 기출 안 나오면 끝이잖아. 처음 보는 문제를 늘 풀어 본 애는 시험에서도 처음 보는 문제에 손이 나가고.

선생님 T01
선생님

(나)는요? 그럼 세 자리, 네 자리도 넣을까요?

이서연 S03
이서연

정해진 스텝이면 유치원 쌍을 만나는 횟수가 줄어요. 배운 쌍 이야기가 62.2% 에서 51.3% 로 떨어졌잖아요. 배운 쌍 점수를 조금 내주고 새 쌍을 얻은 거예요.

선생님 T14
선생님

그래요. (다)는 어떨까요?

김민준 M01
김민준

안에서 일의 자리를 더하는 회로가 생겼는지는 안 봤으니까, 원인까지는 못 말해요. 두 자리 일의 자리 덧셈이 유치원 쌍과 같은 계산이라서 도왔을 거라는 건 짐작이고요.