유치원 숫자 공부: 계산을 따로 가르치면 루나는 무엇을 배울까

혼동하기 쉬운 점과 요약

토론 1. 배운 쌍 100% 는 계산을 안다는 뜻인가

지도 파인튜닝과 강화학습을 마친 루나가 배운 쌍의 식을 100.0% 맞히자, 민준은 「산수는 스물까지」가 채워졌다고 설정서에 적으려 한다. 외운 산수라도 다섯 살 범위를 다 맞히면 계산을 한다고 적어도 될까?

김민준 M01
김민준

외운 거라는 건 알아요. 그래도 다섯 살이 풀 산수는 그 437 쌍이 전부잖아요. 다 외웠으면 다섯 살 산수는 되는 거 아니에요?

선생님 T01
선생님

437 쌍은 숙제로 낸 문제예요. 다섯 살 범위의 쌍 가운데 20% 는 시험에만 쓰려고 떼어 두었죠. 같은 범위인데 그 새 쌍에서는 8.2~9.6% 예요. 연습용 루나도 13.2% 였고요. 숙제를 시험에 그대로 내면 실력을 측정할 수 없어요.

이서연 S08
이서연

넓은 범위로 3,000 스텝 읽힌 자리마다 루나는 작은 새 쌍이 54.1% 이고 두 자리가 97.7% 야. 그건 안에 뭔가 생긴 것 같아. 다만 작은 수가 두 자리보다 낮은 건 이상해.

선생님 T14
선생님

계산을 할 줄 알면 작은 수가 더 쉬워야 하니 이상한 게 맞아요. 덧셈 줄의 3분의 1 을 작은 수 153 쌍이 나눠 가지니 외워도 손실이 충분히 줄었을 수 있지만, 이건 측정하지 않은 짐작이에요. 그래서 무엇을 안다고 말하려면 시험을 먼저 정해요. 어떤 시험에서 무엇을 측정해서 그렇게 말하는지요. 설정서에는 배운 쌍 100% 만으로 「계산을 한다」고 적지 않습니다.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
숫자를 묶으면 토큰이 줄어 계산도 쉬워진다고 봄 1 세 자리씩은 작은 수 배운 쌍 96.7%, 두 자리 새 쌍 8.9%. 자리마다는 89.5%, 70.5% 다. 묶으면 외우기가 쉬워진다
같은 쌍이면 식이든 이야기든 같다고 봄 2 식 줄만 읽은 루나는 식 95.2%, 이야기 3.0% 였다
시험 범위만 공부하는 것이 가장 낫다고 봄 3 시험에 없는 두 자리 문항을 섞은 지도 파인튜닝은 새 쌍 식 26.5%, 섞지 않으면 13.0% 였다
강화학습은 정답 없이도 뭐든 배운다고 봄 4 뽑은 답에 맞는 답이 없으면 신호가 없다. 이야기 물음 6.8% 는 11.5% 에 그쳤다
지도 파인튜닝을 마친 모델에 강화학습을 하면 늘 더 나아진다고 봄 4 섞인 물음이 0.3% 면 어드밴티지가 거의 0 이다. 문항을 바꿔야 한다
다음 단계로 넘어가도 앞 단계 실력은 남는다고 봄 5 앞 단계를 배치에서 빼면 작은 수 배운 쌍이 79.7% 에서 0.7% 로 떨어졌다. 배치에 남은 동화의 바이트당 비트는 0.43 안팎 그대로였다
옛 글을 지키려면 옛 글을 많이 섞어야 한다고 봄 6 배치 줄의 16분의 1 만 섞어도 우리 루나의 킨더 사실이 0% 대신 58~79% 로 남았다. 옛 글 묶음을 한 바퀴도 다 읽지 않은 양이다. 1/8 로 늘려도 킨더 사실은 같은 범위였고 동화를 더 잃었다
바로 물어 0% 면 사실이 모델 안에서 다 지워졌다고 봄, 또는 탐침이 출력보다 높으면 숨은 지식이 있다고 봄 7 다시 읽기 없는 루나는 바로 묻기 0% 인데 문장 속 값 고르기로는 10~50% 가 남았다. 탐침은 출력보다 4~5 점 높았지만 배우기 전 루나에서도 5~11 점 높았다. 같은 방식으로 측정한 바닥과 비교한다

요약

루나 설정서 점검

새 설정서의 줄 이번에 남은 것
1. 다섯 살처럼 말하고 생각한다 산수는 스물까지: 배운 쌍의 식은 거의 다, 시험 문장의 이야기 물음은 절반 넘게 맞힌다 처음 보는 쌍(8.2~9.6%), 낱말로 적은 수의 계산
2. 말이 된다 사과를 나눠 먹는 이야기를 쓴다. 다만 수는 대개 틀린다 산수 문항만으로 지도 파인튜닝하면 동화 실력이 깎인다(0.43 → 0.52 안팎). 옛 글로 킨더테일즈와 대화를 섞어도 동화는 지켜지지 않았다
5. 가족을 사랑한다 계산을 배운 뒤에도 킨더 사실을 58~79% 답한다(옛 글 1/16). 옛 글 없이 배우면 사실 자체가 평균 3분의 2 쯤 지워진다는 것을 탐침으로 확인했다(남은 비율은 시드마다 10%, 50%, 35%) 부모를 부르는 비율이 55~70% 에서 23~37% 로 줄었다
6. 모르면 모른다고 한다 정답 확인기로 뽑은 답을 채점해 보았다 맞는 답이 없는 물음에는 강화학습도 할 일이 없었다. 모른다는 답은 아직 없다

서연은 설정서 첫 줄 옆의 「산수는 스물까지」에 밑줄을 긋고 그 옆에 작게 「외워서」라고 덧붙였다. 그러고는 공책 맨 뒷장을 폈다.

이서연 S07
이서연

정답 확인기가 점수를 돌려준 거, 그게 루나의 첫 놀이터였네.

김민준 M02
김민준

처음 보는 쌍은 외워서는 안 되니까, 언젠가는 계산기도 쥐여 줘야겠다.

서연은 맨 뒷장에 「놀이터: 정답 확인기」, 「도구: 계산기?」 두 줄을 적었다.

막힌 곳

옛 글을 배치의 16분의 1 만 남겨 두면 가족을 잊지 않게 하면서 산수를 가르칠 수 있었고, 그렇게 배운 산수는 스물까지의 표를 외운 것이었다. 이 장의 방법으로 열지 못한 것은 둘이다. 처음 보는 쌍의 식은 8.2~9.6% 에 머물렀고, 부모를 부르는 비율은 계산을 배우며 55~70% 에서 23~37% 로 줄었다.