루나는 몇 살일까: 무엇을 가르칠지 먼저 정하기

다섯 살로 정하다: 새 설정서

수업을 시작할 때 선생님이 물은 「한 루나에 무엇을 가르칠지」에는 아직 아무것도 적혀 있지 않았다. 민준의 공책에는 「별과 우주를 안다」에 동그라미가 세 겹으로 쳐져 있었다.

김민준 M15
김민준

나는 별 이야기는 꼭 하게 하고 싶어. 옛 루나가 제일 좋아한 거잖아. 은하수, 여름 대삼각형.

이서연 S01
이서연

그 낱말들, 동화에 몇 번이나 나오는데? 데네브가 한 번이라도 나올까.

선생님 T01
선생님

루나가 지금까지 읽은 건 서너 살 아이가 알아듣는 낱말로 쓴 동화예요. 그 낱말 안에서 무엇을 할 수 있는지부터 정해 봐요. 다른 데이터를 더하면 그 낱말 밖으로 나가는 건데, 그건 방금 계산한 용량에서 자리를 나눠 쓰는 일이에요.

이서연 S02
이서연

그럼 루나를 아예 그 나이로 정하면 어때? 좁은 세상을 여러 번 보여 줘야 잘 담긴다면, 그 세상을 한 아이의 세상으로 정하는 거야. 루나가 읽은 글은 서너 살 것이고, 우리가 더 가르칠 게 있잖아. 묻는 말에 답하기, 스물까지 세기, 왜냐고 묻기. 그걸 배우는 데 한두 살쯤 더 자란다고 치면 다섯 살. 다섯 살이면 산수는 스물까지, 동화는 혼자 지어서 말하고, 왜냐고 끝없이 묻고.

김민준 M06
김민준

다섯 살 루나? 옛 루나는 관제 AI 였는데.

이서연 S01
이서연

옛 루나를 그대로 되살리는 건 지금 우리 크기로는 안 되는 일이잖아. 우리가 하루에도 여러 번 돌려 볼 수 있는 크기에서, 우리가 시험해 볼 수 있는 루나부터 만들자. 다섯 살이면 무엇을 알아야 하는지도 우리가 정할 수 있고.

선생님 T01
선생님

방금 서연 학생이 두 가지를 묶었어요. 담을 양은 되풀이로 채워지니 가르칠 세상은 좁게 잡고, 그 좁은 세상을 한 아이의 세상으로 정한다는 것요.

민준은 동그라미 친 「별과 우주를 안다」를 한참 보다가 그 옆에 작게 「궁금해한다로」라고 적었다.

김민준 M01
김민준

별은 아는 게 아니라 궁금해하는 걸로. 다섯 살이면 「별은 왜 반짝여?」 하고 묻는 게 맞겠다.

선생님 T01
선생님

좋아요.

새 설정서

라운지가 비어 갈 무렵 서연이 설정서 공책 첫 장을 펴자, 처음 설정서를 쓰던 날 여섯째 줄 아래 남겨 두었던 빈 줄이 그대로 있었다. 서연은 그 빈 줄에 「새 루나는 다섯 살」이라고 적고, 다음 장을 넘겨 새 설정서를 썼다. 옛 설정서는 지우지 않았다. 숫자뿐이던 공책에 처음으로 루나가 어떤 아이인지가 적혔다.

루나 설정서 (새 장, 다섯 살 루나)

  1. 다섯 살처럼 말하고 생각한다.
  2. 말이 된다.
  3. 앞에서 한 말을 기억한다.
  4. 세상을 궁금해하고 물어본다.
  5. 가족을 사랑한다.
  6. 모르면 모른다고 한다.

옛 설정서의 줄 가운데 둘은 모양을 바꿔 옮겼다. 「묻는 말에 대답한다」는 대화로 가르친 루나가 이미 형태를 갖췄으니 첫 줄의 「다섯 살처럼 말하고」 안에 넣었고, 「밝고 말이 빠르다」는 다섯 살 아이의 말투로 바꿔 같은 줄이 맡았다. 「별과 우주를 안다」는 넷째 줄의 궁금해하기 가운데 하나가 되었다. 서연은 첫 줄 옆에 작은 글씨로 「산수는 스물까지」라고 덧붙였다.

김민준 M03
김민준

다섯째 줄, 가족? 루나 가족이 누군데?

이서연 S16
이서연

…그건 나중에 정해. 일단 적어만 둔 거야.

그때 소파 뒤를 지나던 강도현이 공책을 넘겨다보았다.

강도현 D01
강도현

이제 다섯 살로 키우기로 했어요? 공동 육아 2단계네요.

김민준 M12
김민준

네, 이제 유치원 보낼 나이예요.

이서연 S01
이서연

…조별 과제예요.

서연은 다섯째 줄 옆에 아무것도 덧붙이지 않고 공책을 덮었다.

그 주에 선생님은 정한 범위가 nanochat 과 어디가 같고 어디가 다른지 적어 두게 했다. 같은 길을 작게 따라가는 것이기 때문이다.

우리 루나(동화 GPT) nanochat
같은 것 디코더 트랜스포머, BPE 토크나이저, 다음 토큰 손실, 프리트레인 뒤 지도 파인튜닝 같음
읽는 글 타이니스토리즈 영어 동화, 그리고 우리가 만들 데이터 웹 글(ClimbMix)
어휘 4,096 32,768
위치·정규화·옵티마이저 위치 임베딩, LayerNorm, AdamW 회전 위치 부호, 파라미터 없는 RMSNorm, Muon + AdamW 등
크기 8층, 폭 512, 파라미터 2,760만 기본 깊이 20

표의 아래 두 줄은 nanochat 이 검증한 것들이다. 우리는 다섯 살 루나에 그 가운데 가벼운 것부터 하나씩 켜 보고, 켤 때마다 같은 시험지로 비교한다.

선생님은 공책을 덮으려는 서연을 잠깐 붙잡고, 오늘 여백에 적힌 숫자 두 줄을 가리켰다. 체크포인트가 여럿으로 흩어져 있던 오후에는 어느 숫자가 나아진 것인지 가를 잣대가 없었는데, 이제는 같은 학습을 시드만 바꿔 돌렸을 때 숫자가 흔들리는 폭을 안다(sources/five/five.out, sources/synthetic-data/run_synth.out).

같은 학습을 시드만 바꿔 셋 범위
검증 글 전체의 바이트당 비트 0.4253~0.4256
사실 열 가지 물음 40 개 정답률(배치 순서 시드) 27.5~32.5%
이서연 S08
이서연

바이트당 비트는 0.4253 과 0.4256 사이에서만 움직이는데, 사실 정답률은 27.5% 에서 32.5% 까지 흔들려. 사실 물음에서 5%p 안쪽으로 오른 건 나아졌다고 못 쓰는 거네.

선생님 T13
선생님

오늘은 루나의 점수가 하나도 오르지 않았어요. 그 대신 두 가지가 생겼어요. 한 루나에게 가르칠 세상을 담을 수 있는 만큼 좁혀 다섯 살 아이의 세상으로 정했고, 무엇이 나아졌는지 가를 잣대가 생겼어요. 서연 학생 말대로 앞으로는 시드 셋의 범위가 겹치지 않을 때만 나아졌다고 써요. 이 여섯 줄을 측정할 시험지는 아직 없고요.