다음 루나를 위하여: 원하는 모델을 빚는 순서와 AI 의 앞날

공개된 데이터에서 출발하다

루나의 첫 몸은 공개된 동화 데이터세트 타이니스토리즈로 학습한 파라미터 2,760만 개의 GPT 였다. RTX 4090 한 장에서 15.7분 학습하고 바이트당 비트 0.4253 으로 앞뒤가 맞는 짧은 동화를 썼다(sources/tinystories/train_tinystories.out, 학습 시간은 sources/remeasure/rerun_train_tinystories.out).

타이니스토리즈는 웹에서 모은 글이 아니다. 로넨 엘단(Ronen Eldan)과 위안즈 리(Yuanzhi Li)가 GPT-3.5 와 GPT-4 에게 주문해 받은 합성 동화다(2023). 주문서마다 쉬운 낱말 약 1,500 개 가운데 동사·명사·형용사를 하나씩 무작위로 넣고, 대화·반전·나쁜 결말·교훈 같은 이야기 특징을 몇 개 골라 붙였다. 이야기마다 쓴 주문서는 메타데이터로 함께 공개되어 있다(데이터 카드 https://huggingface.co/datasets/roneneldan/TinyStories).

웹에서 모은 글은 따로 있다. 유도 헤드를 찾을 때 읽힌 ClimbMix 는 엔비디아가 웹 글 묶음 둘(Nemotron-CC, smollm-corpus)을 문장 임베딩으로 스무 묶음으로 나누고, 작은 대리 모델로 묶음마다 섞을 비율을 찾아 뽑은 4,000억 토큰이다(쉬즈 디아오(Shizhe Diao)와 동료 연구자들, arXiv 2504.13161, 2025). nanochat 도 2026년 3월에 프리트레이닝 글을 이 데이터로 바꿨다(nanochat 저장소의 dev/LOG.md). 우리는 그 가운데 문서 340,992 개를 대조 실험에만 읽혔다.

공개 데이터가 준 것과 주지 못한 것은 첫 성적표에 그대로 나왔다.

칸 동화만 읽은 루나(시드 셋) GPT-2 XL
윤리 0.380 ~ 0.455 0.241
상식 0.387 ~ 0.471 0.505
수학 −0.093 ~ −0.084 −0.057
논리 −0.150 ~ −0.112 −0.008
루나 사실 0.039 ~ 0.111 0.149

위 표는 첫 성적표의 다섯 칸이다(중심화 점수, 0 이 우연이고 1 이 만점, sources/benchmark/results/v1_report.out). 동화만 읽은 루나는 윤리와 상식에서 웹 글을 읽은 GPT-2 XL 과 비슷하거나 그보다 높았고, 수학과 논리는 우연보다 낮았으며, 루나 가족의 사실은 우연 근처였다.

김민준 M01
김민준

공개 데이터는 말하는 법을 줬어. 우리 루나를 주지는 않았고.

이서연 S01
이서연

루나 가족 이야기는 세상 어디에도 없으니까. 없는 건 우리가 만들어야 해.

공개 데이터로 얻는 것(말이 되는 문장, 동화 속 상식)과 직접 만들어야 하는 것(우리가 원하는 사실과 행동)이 이렇게 성적표 칸으로 갈렸다.