유치원 숫자 공부: 계산을 따로 가르치면 루나는 무엇을 배울까
혼동하기 쉬운 점과 요약
토론 1. 배운 쌍 100% 는 계산을 안다는 뜻인가
지도 파인튜닝과 강화학습을 마친 루나가 배운 쌍의 식을 100.0% 맞히자, 민준은 「산수는 스물까지」가 채워졌다고 설정서에 적으려 한다. 외운 산수라도 다섯 살 범위를 다 맞히면 계산을 한다고 적어도 될까?

외운 거라는 건 알아요. 그래도 다섯 살이 풀 산수는 그 437 쌍이 전부잖아요. 다 외웠으면 다섯 살 산수는 되는 거 아니에요?

437 쌍은 숙제로 낸 문제예요. 다섯 살 범위의 쌍 가운데 20% 는 시험에만 쓰려고 떼어 두었죠. 같은 범위인데 그 새 쌍에서는 8.2~9.6% 예요. 연습용 루나도 13.2% 였고요. 숙제를 시험에 그대로 내면 실력을 측정할 수 없어요.

넓은 범위로 3,000 스텝 읽힌 자리마다 루나는 작은 새 쌍이 54.1% 이고 두 자리가 97.7% 야. 그건 안에 뭔가 생긴 것 같아. 다만 작은 수가 두 자리보다 낮은 건 이상해.

계산을 할 줄 알면 작은 수가 더 쉬워야 하니 이상한 게 맞아요. 덧셈 줄의 3분의 1 을 작은 수 153 쌍이 나눠 가지니 외워도 손실이 충분히 줄었을 수 있지만, 이건 측정하지 않은 짐작이에요. 그래서 무엇을 안다고 말하려면 시험을 먼저 정해요. 어떤 시험에서 무엇을 측정해서 그렇게 말하는지요. 설정서에는 배운 쌍 100% 만으로 「계산을 한다」고 적지 않습니다.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 숫자를 묶으면 토큰이 줄어 계산도 쉬워진다고 봄 | 1 | 세 자리씩은 작은 수 배운 쌍 96.7%, 두 자리 새 쌍 8.9%. 자리마다는 89.5%, 70.5% 다. 묶으면 외우기가 쉬워진다 |
| 같은 쌍이면 식이든 이야기든 같다고 봄 | 2 | 식 줄만 읽은 루나는 식 95.2%, 이야기 3.0% 였다 |
| 시험 범위만 공부하는 것이 가장 낫다고 봄 | 3 | 시험에 없는 두 자리 문항을 섞은 지도 파인튜닝은 새 쌍 식 26.5%, 섞지 않으면 13.0% 였다 |
| 강화학습은 정답 없이도 뭐든 배운다고 봄 | 4 | 뽑은 답에 맞는 답이 없으면 신호가 없다. 이야기 물음 6.8% 는 11.5% 에 그쳤다 |
| 지도 파인튜닝을 마친 모델에 강화학습을 하면 늘 더 나아진다고 봄 | 4 | 섞인 물음이 0.3% 면 어드밴티지가 거의 0 이다. 문항을 바꿔야 한다 |
| 다음 단계로 넘어가도 앞 단계 실력은 남는다고 봄 | 5 | 앞 단계를 배치에서 빼면 작은 수 배운 쌍이 79.7% 에서 0.7% 로 떨어졌다. 배치에 남은 동화의 바이트당 비트는 0.43 안팎 그대로였다 |
| 옛 글을 지키려면 옛 글을 많이 섞어야 한다고 봄 | 6 | 배치 줄의 16분의 1 만 섞어도 우리 루나의 킨더 사실이 0% 대신 58~79% 로 남았다. 옛 글 묶음을 한 바퀴도 다 읽지 않은 양이다. 1/8 로 늘려도 킨더 사실은 같은 범위였고 동화를 더 잃었다 |
| 바로 물어 0% 면 사실이 모델 안에서 다 지워졌다고 봄, 또는 탐침이 출력보다 높으면 숨은 지식이 있다고 봄 | 7 | 다시 읽기 없는 루나는 바로 묻기 0% 인데 문장 속 값 고르기로는 10~50% 가 남았다. 탐침은 출력보다 4~5 점 높았지만 배우기 전 루나에서도 5~11 점 높았다. 같은 방식으로 측정한 바닥과 비교한다 |
요약
- 대화로 가르친 루나도 산수는 틀렸으므로, 산수 하나만 따로 가르치는 태스크별 학습을 했다. 방법은 동화만 읽은 연습용 루나에서 찾고, 대화를 배운 우리 루나에게 걸었다. 다섯 살 범위인 합 20 이하 덧셈·뺄셈이 중심이고, 쌍의 20% 를 시험에만 썼다.
- 숫자 규칙을 어휘를 이어 붙여 같은 스텝으로 비교하니, 자리마다 자르면 두 자리 새 쌍이 70.5%, 왼쪽부터 세 자리씩 자르면 8.9% 였고 배운 쌍은 세 자리씩이 가장 높았다. 지금 BPE 는 「3 year old」 때문에 「 3」만 합쳐 둔 것 말고는 자리마다에 가까웠고, 둘의 차이는 부호가 섞여 판정하지 않았다.
- 딥시크가 쓴 음식을 나눠 먹는 이야기와 사칙연산 에피소드 600 편, 수를 스스로 고른 글 100 편에서 프로그램으로 확인한 식 900 개에 틀린 식은 없었다. 식 줄을 이어 읽히면 배운 쌍 95.2% 에 새 쌍 6.6% 로 쌍을 외웠다.
- 답 칸만 채점하는 지도 파인튜닝은 식 99.6%, 이야기 62.2% 까지 올렸지만 바이트당 비트가 0.43 에서 0.52 안팎으로 나빠졌다. 새 쌍을 가장 많이 올린 것은 시험 밖의 두 자리까지 넓힌 문항이다(26.5%).
- 정답 확인 보상과 KL 없는 GRPO 는 맞는 답이 섞여 나오는 식 물음을 99.2% 까지 밀었고, 맞는 답이 거의 없는 이야기 물음(11.5%)과 이미 다 맞히는 문항에서는 할 일이 없었다. 바이트당 비트는 0.433 그대로였지만, 학습률을 1e-5 로 맞춘 지도 파인튜닝과의 차이는 0.003 안쪽이었다.
- 앞 단계를 배치에서 빼면 정답률이 79.7% 에서 0.7% 로 떨어져 1 + 1 에 310 을 썼다. 배치에 남아 있는 동화는 잊지 않았다. 세 범위를 처음부터 섞은 판(작은 수 새 쌍 46.5%)이 쉬운 것부터 더해 간 판(24.3%)보다 높았다.
- 우리 루나도 산수 세 계단을 그대로 밟으면 식의 배운 쌍이 100%, 이야기 배운 쌍이 55~68% 가 되었지만, 킨더 사실과 부모 부름이 0% 로 지워졌다. 배치 줄의 16분의 1 을 킨더테일즈 이야기와 대화로 채우자 산수 실력은 같고(배운 쌍 100%, 이야기 64~71%) 킨더 사실은 58~79% 로 남았다. 부모 부름은 23~37% 로 반쯤 줄었다.
- 바로 묻기 0% 가 사실까지 지워졌다는 뜻인지, 값은 같고 주어만 Daddy 와 Mommy 로 바꾼 짝 97 개로 바로 묻기와 문장 속 값 고르기와 중간 층 탐침(동화 글로만 학습한 튜닝드 렌즈)을 측정했다. 배우기 전 루나도 쏠림 때문에 50% 보다 높아서 그 높이를 바닥으로 놓고 셌다. 다시 읽기 없는 루나는 바로 묻기로는 남은 것이 0 이지만 문장 속 값 고르기로는 시드마다 10%, 50%, 35% 가 남았고, 탐침도 출력보다 더 찾지 못했다. 사실 자체가 평균 3분의 2 쯤 지워졌고, 남은 것도 묻고 답하는 길로는 나오지 않았다. 1/16 줄은 세 잣대 모두 82% 넘게 남았다.
- 아라비아 숫자로 배운 계산은 「three is 3.」 같은 대응을 더해도 낱말로 적은 계산으로 옮겨 가지 않았다(0.0%).
- 수를 「다음 수」 하나로 적는 페아노의 규칙 두 줄과 배운 쌍 437 개를 적어 둔 표는 배운 쌍에서 똑같이 100% 이고, 표 밖에서 갈린다(새 쌍에서 표 0%, 규칙 100%). 우리 루나의 새 쌍 8.2~9.6% 는 표 쪽에 가깝고, 표 밖의 계산을 규칙을 아는 프로그램에게 맡기는 길이 도구 사용이다.
루나 설정서 점검
| 새 설정서의 줄 | 이번에 | 남은 것 |
|---|---|---|
| 1. 다섯 살처럼 말하고 생각한다 | 산수는 스물까지: 배운 쌍의 식은 거의 다, 시험 문장의 이야기 물음은 절반 넘게 맞힌다 | 처음 보는 쌍(8.2~9.6%), 낱말로 적은 수의 계산 |
| 2. 말이 된다 | 사과를 나눠 먹는 이야기를 쓴다. 다만 수는 대개 틀린다 | 산수 문항만으로 지도 파인튜닝하면 동화 실력이 깎인다(0.43 → 0.52 안팎). 옛 글로 킨더테일즈와 대화를 섞어도 동화는 지켜지지 않았다 |
| 5. 가족을 사랑한다 | 계산을 배운 뒤에도 킨더 사실을 58~79% 답한다(옛 글 1/16). 옛 글 없이 배우면 사실 자체가 평균 3분의 2 쯤 지워진다는 것을 탐침으로 확인했다(남은 비율은 시드마다 10%, 50%, 35%) | 부모를 부르는 비율이 55~70% 에서 23~37% 로 줄었다 |
| 6. 모르면 모른다고 한다 | 정답 확인기로 뽑은 답을 채점해 보았다 | 맞는 답이 없는 물음에는 강화학습도 할 일이 없었다. 모른다는 답은 아직 없다 |
서연은 설정서 첫 줄 옆의 「산수는 스물까지」에 밑줄을 긋고 그 옆에 작게 「외워서」라고 덧붙였다. 그러고는 공책 맨 뒷장을 폈다.

정답 확인기가 점수를 돌려준 거, 그게 루나의 첫 놀이터였네.

처음 보는 쌍은 외워서는 안 되니까, 언젠가는 계산기도 쥐여 줘야겠다.
서연은 맨 뒷장에 「놀이터: 정답 확인기」, 「도구: 계산기?」 두 줄을 적었다.
막힌 곳
옛 글을 배치의 16분의 1 만 남겨 두면 가족을 잊지 않게 하면서 산수를 가르칠 수 있었고, 그렇게 배운 산수는 스물까지의 표를 외운 것이었다. 이 장의 방법으로 열지 못한 것은 둘이다. 처음 보는 쌍의 식은 8.2~9.6% 에 머물렀고, 부모를 부르는 비율은 계산을 배우며 55~70% 에서 23~37% 로 줄었다.