다음 루나를 위하여: 원하는 모델을 빚는 순서와 AI 의 앞날
공개된 데이터에서 출발하다
루나의 첫 몸은 공개된 동화 데이터세트 타이니스토리즈로 학습한 파라미터 2,760만 개의 GPT 였다. RTX 4090 한 장에서 15.7분 학습하고 바이트당 비트 0.4253 으로 앞뒤가 맞는 짧은 동화를 썼다(sources/tinystories/train_tinystories.out, 학습 시간은 sources/remeasure/rerun_train_tinystories.out).
타이니스토리즈는 웹에서 모은 글이 아니다. 로넨 엘단(Ronen Eldan)과 위안즈 리(Yuanzhi Li)가 GPT-3.5 와 GPT-4 에게 주문해 받은 합성 동화다(2023). 주문서마다 쉬운 낱말 약 1,500 개 가운데 동사·명사·형용사를 하나씩 무작위로 넣고, 대화·반전·나쁜 결말·교훈 같은 이야기 특징을 몇 개 골라 붙였다. 이야기마다 쓴 주문서는 메타데이터로 함께 공개되어 있다(데이터 카드 https://huggingface.co/datasets/roneneldan/TinyStories).
웹에서 모은 글은 따로 있다. 유도 헤드를 찾을 때 읽힌 ClimbMix 는 엔비디아가 웹 글 묶음 둘(Nemotron-CC, smollm-corpus)을 문장 임베딩으로 스무 묶음으로 나누고, 작은 대리 모델로 묶음마다 섞을 비율을 찾아 뽑은 4,000억 토큰이다(쉬즈 디아오(Shizhe Diao)와 동료 연구자들, arXiv 2504.13161, 2025). nanochat 도 2026년 3월에 프리트레이닝 글을 이 데이터로 바꿨다(nanochat 저장소의 dev/LOG.md). 우리는 그 가운데 문서 340,992 개를 대조 실험에만 읽혔다.
공개 데이터가 준 것과 주지 못한 것은 첫 성적표에 그대로 나왔다.
| 칸 | 동화만 읽은 루나(시드 셋) | GPT-2 XL |
|---|---|---|
| 윤리 | 0.380 ~ 0.455 | 0.241 |
| 상식 | 0.387 ~ 0.471 | 0.505 |
| 수학 | −0.093 ~ −0.084 | −0.057 |
| 논리 | −0.150 ~ −0.112 | −0.008 |
| 루나 사실 | 0.039 ~ 0.111 | 0.149 |
위 표는 첫 성적표의 다섯 칸이다(중심화 점수, 0 이 우연이고 1 이 만점, sources/benchmark/results/v1_report.out). 동화만 읽은 루나는 윤리와 상식에서 웹 글을 읽은 GPT-2 XL 과 비슷하거나 그보다 높았고, 수학과 논리는 우연보다 낮았으며, 루나 가족의 사실은 우연 근처였다.

공개 데이터는 말하는 법을 줬어. 우리 루나를 주지는 않았고.

루나 가족 이야기는 세상 어디에도 없으니까. 없는 건 우리가 만들어야 해.
공개 데이터로 얻는 것(말이 되는 문장, 동화 속 상식)과 직접 만들어야 하는 것(우리가 원하는 사실과 행동)이 이렇게 성적표 칸으로 갈렸다.