다음 루나를 위하여: 원하는 모델을 빚는 순서와 AI 의 앞날
그래도 오르지 않으면 몸을 키운다
데이터 고리를 돌아도 오르지 않는 칸이 있으면 몸을 키우는데, 루나에게서 배운 차례는 막힌 곳이 몸인지부터 측정하는 것이었다.
마지막 데이터 믹스를 26M 과 87M 에 똑같이 넣어 시드 셋씩 학습했을 때, 논리 시험은 0.74 에서 0.84 로, 변별력 d′ 는 1.71 에서 2.50 으로 올라 87M 기준 판(0.83, 2.51)과 같은 수준이 되었다. 가족이 보이나도 0.69 / 0.66 에서 0.75 / 0.73 으로 올랐다. 그런데 「볼 수 있나」의 대화 형식(0.53 → 0.55)과 홉 카운트(0.15 / 0.24 → 0.20 / 0.26)는 87M 에서도 막혀 있었다(sources/world-limits/world_bench.out 의 M15dm3frR·M15dm3frR+big). 막힌 칸은 칸마다 원인을 찾아 겨냥한 글을 넣자 26M 에서 열렸다. 보이는 곳과 안 보이는 곳을 쌍으로 넣자 「볼 수 있나」가 0.67 / 0.53 에서 0.79 / 0.67 로, 없는 물건의 이름을 72 가지로 넓히자 동네에 없는 물건이 0.58 / 0.50 에서 0.92 / 0.77 로 올랐다(world_bench.out 의 M15dm3frR·M15dm3frvR·M15dm3frnR). 마음 쌍 점수도 묻는 형식의 글로 26M 에서 0.99 / 0.95 가 되었다(feel_bench.out 의 M15dm3frfR).

몸을 키우니까 여러 가지를 한꺼번에 담아도 논리를 안 잃었어. 막힌 칸을 연 건 글이었고.

몸은 담을 것이 늘어날 때 버티게 해 주고, 없는 형식을 만들어 주지는 않았어.
큰 연구실도 같은 순서를 따른다. 스케일링 법칙은 계산량이 정해졌을 때 몸과 글을 얼마나 키울지 알려 주고, 몸을 키우는 것은 데이터와 함께다. 87M 루나 한 시드의 프리트레이닝은 RTX 4090 한 장에서 45~55 분이었다(sources/cycle/small_lab.out).
커진 몸을 받치는 구조: 다음 루나의 연구 과제
몸을 키우면 다른 문제가 따라온다. 선생님은 지금 큰 모델들이 쓰는 구조 몇 가지를 소개했고, 셋은 「다음 루나에게 해 볼 것」 목록에 적었다. 루나에는 아직 하나도 넣지 않았다.
- 층과 폭. 가장 먼저 늘리는 축이다. 루나는 26M 에서 12층, 폭 768 의 87M 으로 키웠다.
- 긴 맥락을 위한 어텐션. 셀프 어텐션의 비용은 맥락 길이의 제곱으로 늘고, 앞 토큰의 키와 값을 모아 두는 KV 캐시도 길이만큼 커진다. 루나는 512 토큰까지만 본다. 키와 값을 여러 헤드가 나눠 쓰는 MQA(2019)와 GQA(2023), 가까운 창만 보는 창 어텐션(롱포머, 2020; 미스트랄 7B, 2023), 키와 값을 작은 잠재 벡터로 눌러 담는 MLA(딥시크-V2, 2024), 중요한 앞 토큰만 골라 보는 희소 어텐션(딥시크의 NSA, 2025)이 있다.
- MoE(전문가 섞기, mixture of experts). 피드포워드 층을 전문가 여럿으로 나누고, 라우터가 토큰마다 몇 개만 골라 쓴다. 전체 파라미터는 늘어도 토큰 하나에 드는 계산은 적다. 노엄 셰이저(Noam Shazeer)와 동료들의 2017년 연구는 LSTM 층 사이에 이 층을 넣었고, 스위치 트랜스포머(2021)는 토큰마다 전문가 하나를 골랐다. 믹스트랄 8x7B(2024)는 층마다 전문가 여덟 가운데 둘을 골라 전체 470억 개 가운데 130억 개만 쓴다.
- 같은 층을 되풀이하는 루프 트랜스포머. 유니버설 트랜스포머(2018)에서 시작해, 바이트댄스 시드 연구진의 Ouro(2025)는 가중치를 묶은 층 묶음을 여러 번 되풀이해 파라미터 14억·26억 개 모델이 120억 개 급 모델과 비슷한 성적을 냈다고 보고했다.
- 조회 기억 Engram. 딥시크와 베이징 대학교의 Engram(arXiv 2601.07372, 2026)은 앞 토큰 몇 개의 조합(n-gram)을 해시로 찾아 임베딩을 꺼내는 기억을 모델에 붙이고, 그 기억과 MoE 가 용량을 나눠 쓰는 비율을 찾았다.

Engram 은 루나의 첫 모델이랑 닮았어요. 앞 글자를 세어 다음 글자를 고르던 바이그램 표요. 표를 버리고 신경망으로 왔는데, 큰 모델은 표를 다시 붙이고 있네요.

MoE 를 넣으면 루나 안에 동네 전문가, 마음 전문가가 생기는 거 아냐?

전문가가 그렇게 사람 눈에 보기 좋게 나뉘는지는 들여다봐야 알아요. 그게 다음 루나의 해석 가능성 과제가 될 수 있죠.

루프는 홉 카운트에 해 보고 싶어. 같은 층을 여러 번 돌면 한 홉씩 세는 데 쓸 수도 있을 것 같아. 아직 짐작이야.