유치원 숫자 공부: 계산을 따로 가르치면 루나는 무엇을 배울까
합성 데이터: 사과를 나눠 먹는 이야기

식만 줄줄 외우게 하고 싶지는 않아. 유치원에서도 사과 세 개에 두 개를 더 주잖아.

합성 데이터로 가자. 재료를 바꿔 끼우는 건 타이니스토리즈가 했던 거고, 이번 재료는 음식과 수야.

계산도 쓰이는 자리가 여럿이어야죠. 나눠 먹는 이야기만 있으면 루나한테 수는 늘 먹는 거예요. 버스에 타고 내리는 아이들, 둥지의 알 같은 것도 따로 돌려요.
서연은 하은의 말을 받아 공책에 두 묶음을 적었다. (가)는 사과나 음식을 나눠 먹은 이야기, (나)는 사칙연산이 들어간 일상 사건이다. 연구실 서버의 DeepSeek-V4.1-Flash 에게 이야기마다 음식 열다섯 가지(또는 사건 스무 가지), 사람, 연산, 수를 무작위로 골라 넣게 했다. 수는 배운 쌍에서만 고르는데, 새 쌍이 학습 글에 들어가면 시험이 시험이 아니게 되기 때문이다.
답은 일부러 알려 주지 않았다. 딥시크가 직접 계산해 본문에 쓰고, 끝 줄에 「Math: 8 + 9 = 17」 형태로 식을 적게 해서 프로그램이 채점할 수 있게 했다(sources/counting/gen_stories.py). 두 묶음을 300 편씩 받았고, 아래는 그 가운데 하나다(~/lm-book-lab/data/counting/share.jsonl 220 번).
Seoyeon has 8 pears. She wants to share them. Minjun comes to play. Minjun brings 9 more pears. They put all the pears in the big basket. Seoyeon and Minjun look at the pears. They count the pears together. They count 17 pears. Seoyeon gives Minjun a pear. Minjun gives Seoyeon a big smile. They sit down and eat pears with their friends. Sharing pears is fun.
Math: 8 + 9 = 17

시키지 않은 결말이네. 배 하나 주고 웃음을 받았어.

…계산은 맞네.
서연은 이 편을 한 번 더 읽고 다음 쪽으로 넘겼다.
큰 모델이 쓴 글로 계산을 가르친다면, 큰 모델이 틀린 계산까지 가르칠 수 있다. 그래서 끝 줄 식, 시킨 수와 같은지, 본문에 답이 있는지, 본문 안의 식을 프로그램으로 모두 확인했다(sources/counting/check_stories.py). 수를 딥시크가 스스로 고르고 계산을 세 번 잇게 한 어려운 글 100 편까지 더해 식 900 개 가운데 틀린 식은 없었다. 식 검사기가 잡지 못하는 오류는 있다. 어려운 글의 첫 편은 식이 모두 맞는데, 공이 아홉 개뿐인 아이들이 두 자루에 아홉 개씩 넣어 열여덟 개를 갖는다.
식 줄과 이야기를 함께 읽히기

이야기로만 가르치면 안 될까요?

이 크기와 600 편에서는 이야기만으로 산수가 안 나와요. 수를 쓰게는 되는데 답이 틀려요. 이야기만 읽힌 루나의 답을 한번 보고, 식 줄을 같이 읽힙시다.
그리디 'Tom had 3 apples. He ate 1 apple. Now Tom has' → ' 14 apples left. Tom was happy. He shared his 2 apples with his friend. His friend was happy too. They played together.'
샘플 'Seoyeon had 5 apples. She gave 2 apples to Minjun. Now Seoyeon has' → ' 6 apples. She sees 2 children. They look hungry. Seoyeon wants to share. She puts the apples in a big basket. She gives the same to each child.'
샘플 'Once upon a time, Seoyeon and Minjun had 6 apples.' → ' They had 8 children. They wanted to share the apples. They put all the apples in a big basket. Seoyeon and Minjun gave some apples to the children.'

너는 사과를 주면 늘어나는구나. 다섯 개에서 두 개 줬는데 여섯 개.

그 밑에 줄은… 「They had 8 children.」?

여덟 명이면 사과가 모자라겠는데.
서연은 대답 없이 온도를 내렸다. 그리디로 뽑은 줄에서는 아이가 일곱 명으로 줄었고, 민준이 그것을 소리 내어 읽기 전에 서연이 창을 닫았다.
그래서 식 줄(「3 + 4 = 7.」을 여덟 줄씩 묶은 글)만 섞은 판과, 이야기 600 편과 식 줄을 반반 섞은 판(아래부터 「둘 다」)을 같은 조건으로 이어 읽혔다. 동화 GPT 에서 1,000 스텝, 배치 32 줄 가운데 8 줄이 우리 글이다. 시험 문장 「Tom had {a} apples. Then Tom got {b} more apples. Now Tom has」는 학습 글에 그대로 넣지 않았다.
| 읽힌 글 | 식 배운 쌍 | 식 새 쌍 | 이야기 배운 쌍 | 이야기 새 쌍 |
|---|---|---|---|---|
| 식 줄만 | 95.2 (97.3, 94.4, 93.9) | 6.6 (5.8, 8.2, 5.8) | 3.0 (2.6, 3.3, 3.0) | 1.8 (2.0, 1.3, 2.0) |
| 둘 다 | 81.7 (78.2, 79.2, 87.6) | 6.3 (3.8, 6.7, 8.5) | 6.8 (7.1, 5.1, 8.3) | 7.3 (7.1, 8.9, 5.8) |
(sources/counting/ladder_P_drill.out, ladder_P_both.out. 단위 %, 시드 셋의 평균과 시드 하나하나. 「식」은 식 물음, 「이야기」는 이야기 물음이다. 두 글의 토큰 수는 94,307 과 109,733 으로 다르지만, 스텝과 줄 수가 같아 학습 중 읽는 토큰은 같다.)
식 줄만 읽은 루나는 배운 쌍의 식을 95.2% 맞히는데, 새 쌍은 6.6% 다. 덧셈만 떼어 보면 새 쌍이 시드마다 5.4%, 2.7%, 0.0% 로 평균 2.7% 인데, 숫자 규칙을 비교할 때 자리마다 자른 루나는 작은 덧셈 새 쌍을 43.2% 맞혔다. 토크나이저는 같으니 바뀐 것은 읽은 범위다. 그때는 작은 수와 함께 두 자리와 세 자리 덧셈을 읽혔고, 이번에는 유치원 범위의 사칙연산 437 쌍만 읽혔다. 천 스텝이면 쌍 하나를 평균 800 번쯤 읽으니(512 토큰짜리 조각 8,000 개, 줄 하나가 12 토큰쯤) 외우면 끝난다.

유치원 교과 과정만 가르치면 유치원 교과 과정을 외우는구나.

교실에서 하는 것과 비슷해요. 구구단을 다 외운 아이가 받아올림은 못 하는 일이 있죠.
동화 실력은 무너지지 않았다. 바이트당 비트는 학습 전 0.4259 에서 식 줄 0.430, 둘 다 0.432 가 되었다(이 장의 바이트당 비트는 검증 글 앞 200만 토큰으로 측정한 값이라, 검증 글 전체로 측정한 동화 GPT 의 0.4253 과 조금 다르다). 배치의 24 줄이 원래 동화라서 그렇다.
문제 2. 식은 맞히는데 이야기는 못 맞힌다
식 줄만 읽은 루나는 배운 쌍의 식 「3 + 4 =」를 95.2% 맞혔지만, 같은 쌍을 이야기로 물으면 3.0% 다. 쌍은 같고 계산도 같다. (가) 이 현상은 앞에서 만난 어느 현상과 닮았는가? (나) 학습 글에 무엇이 있었다면 달라졌을까?

동화 속 사실을 물을 때랑 같아. 「Minjun had a pet」 다음에 turtle 을 외운 루나가 「Minjun’s pet was a」에는 못 답했잖아. 지금은 「3 + 4 =」 다음에 7 을 외운 거고.

그럼 (나)는 같은 계산이 여러 문장으로 나와야 해. 사실을 바꿔 쓰니까 새 문형이 후보 여덟 가운데 51.7% 까지 올랐던 것처럼.

근데 이야기 600 편이 그거잖아. 여러 문장으로 쓴 산수 이야기. 그건 왜 안 돼요?

사실은 열 가지를 수백 편에 네 개씩 넣었어요. 이번 쌍은 437 개인데 600 편이니까 쌍마다 한두 편이에요. 같은 쌍을 여러 문장으로 만난 적이 거의 없죠. 바꿔 쓰기의 효과는 같은 사실을 몇 번 다른 문장으로 만나느냐에 달려 있어요. 편수를 크게 늘리는 일은 오늘 범위 밖이에요.