다음 루나를 위하여: 원하는 모델을 빚는 순서와 AI 의 앞날
작은 모델로 직접 해 본 의의
지도를 다 채운 뒤, 하은이 물었다.

큰 회사들은 우리 루나보다 몇천 배 큰 모델을 만들잖아요. 우리가 87M 짜리를 한 학기 동안 키운 건 어떤 의미가 있었을까요?
넷은 루나를 키운 기록을 다시 펼쳤다. 서연이 남은 체크포인트를 세었다.
모델 파일 891 개, 90.2 GB (지운 파일은 세지 못함)
마지막 루나(M15dm3fxgR+big, 87M, 14,000 스텝) 프리트레이닝 한 시드의 시간(RTX 4090 한 장)
run_m3fxg.log 시드 1: 2,726 초 = 45 분
run_m3fxg.log 시드 2: 2,752 초 = 46 분
run_m3fxg3.log 시드 3: 3,323 초 = 55 분
위는 sources/cycle/small_lab.out 이다. 학습 도중의 중간 저장을 빼고도 디스크에 남은 모델이 891 개였다.
넷이 꼽은 의의는 다섯이었다.
| 의의 | 루나에서 |
|---|---|
| 빨리 돈다 | 동화 GPT 는 15.7분, 87M 루나도 한 시드 45~55 분. 시드 셋 대조를 하루에 여러 번 돌렸다 |
| 데이터를 끝까지 안다 | 낱말 3,050 개 안의 글이라 학습 토큰을 출처별로 마지막 한 개까지 셌고, 시험 장면이 학습 글에 없는지 확인했다. 학습 글에서 엄마가 말없이 나간 장면 뒤에 「I do not know. Nobody told me where Mommy is.」가 3,529 번 이어지고, 이야기 형식으로 마음을 묻는 글은 0 편이라는 것도 그렇게 찾았다 |
| 속을 열어 본다 | 층을 하나씩 빼 보고, 로짓 렌즈와 탐침으로 층마다 읽고, 무너진 판과 버틴 판의 속을 비교했다 |
| 실패가 싸다 | 통하지 않은 길은 몇십 분 만에 알고 버렸다. 그래서 장마다 통한 길만 남길 수 있었다 |
| 원리는 작은 크기에서도 보인다 | 타이니스토리즈 자체가 작은 모델로 「말이 되는 조건」을 측정한 연구였고, 언어 모델의 물리학 연작은 합성 데이터와 작은 모델로 지식의 저장과 꺼내 쓰기를 측정했으며, 조기 노출 논문의 본 실험도 1억 3,500만 개 모델이었다 |

수학으로 말하면 통제된 실험이야. 바꾸는 것이 하나뿐이고, 나머지는 다 알고 있어. 큰 모델에서는 데이터도 다 모르고, 한 번 돌리는 데 몇 주가 걸리니까 하나만 바꿔 볼 수가 없어.

갈릴레이가 그랬대요. 떨어지는 공은 너무 빨라 측정할 수가 없으니까 비탈에 굴려서 느리게 만들었다고요. 『새로운 두 과학』(Two New Sciences, 1638)에 적었어요. 작은 루나가 우리 비탈이었네요.

그리고 직접 해 봤으니까 감이 생겼어. 「I asks」도 딥시크가 어색하다고 짚었을 때 바로 우리 글틀 탓인 줄 알았잖아. 그 글틀을 우리가 짰으니까.

한계도 같이 적어 둬요. 유도 헤드는 동화를 읽힌 모델에서는 생기지 않고 웹 글을 읽힌 모델에서만 생겼어요. 논리를 지킨 것도 87M 이었고요. 작은 모델에서 얻은 숫자를 큰 모델에 그대로 옮기면 안 돼요. 옮겨 가는 건 숫자가 아니라 일하는 방법이에요. 바람을 칸으로 적고, 하나만 바꿔 비교하고, 속을 열어 보는 것.