다음 루나를 위하여: 원하는 모델을 빚는 순서와 AI 의 앞날

그래도 오르지 않으면 몸을 키운다

데이터 고리를 돌아도 오르지 않는 칸이 있으면 몸을 키우는데, 루나에게서 배운 차례는 막힌 곳이 몸인지부터 측정하는 것이었다.

마지막 데이터 믹스를 26M 과 87M 에 똑같이 넣어 시드 셋씩 학습했을 때, 논리 시험은 0.74 에서 0.84 로, 변별력 d′ 는 1.71 에서 2.50 으로 올라 87M 기준 판(0.83, 2.51)과 같은 수준이 되었다. 가족이 보이나도 0.69 / 0.66 에서 0.75 / 0.73 으로 올랐다. 그런데 「볼 수 있나」의 대화 형식(0.53 → 0.55)과 홉 카운트(0.15 / 0.24 → 0.20 / 0.26)는 87M 에서도 막혀 있었다(sources/world-limits/world_bench.out 의 M15dm3frR·M15dm3frR+big). 막힌 칸은 칸마다 원인을 찾아 겨냥한 글을 넣자 26M 에서 열렸다. 보이는 곳과 안 보이는 곳을 쌍으로 넣자 「볼 수 있나」가 0.67 / 0.53 에서 0.79 / 0.67 로, 없는 물건의 이름을 72 가지로 넓히자 동네에 없는 물건이 0.58 / 0.50 에서 0.92 / 0.77 로 올랐다(world_bench.out 의 M15dm3frR·M15dm3frvR·M15dm3frnR). 마음 쌍 점수도 묻는 형식의 글로 26M 에서 0.99 / 0.95 가 되었다(feel_bench.out 의 M15dm3frfR).

김민준 M01
김민준

몸을 키우니까 여러 가지를 한꺼번에 담아도 논리를 안 잃었어. 막힌 칸을 연 건 글이었고.

이서연 S01
이서연

몸은 담을 것이 늘어날 때 버티게 해 주고, 없는 형식을 만들어 주지는 않았어.

큰 연구실도 같은 순서를 따른다. 스케일링 법칙은 계산량이 정해졌을 때 몸과 글을 얼마나 키울지 알려 주고, 몸을 키우는 것은 데이터와 함께다. 87M 루나 한 시드의 프리트레이닝은 RTX 4090 한 장에서 45~55 분이었다(sources/cycle/small_lab.out).

커진 몸을 받치는 구조: 다음 루나의 연구 과제

몸을 키우면 다른 문제가 따라온다. 선생님은 지금 큰 모델들이 쓰는 구조 몇 가지를 소개했고, 셋은 「다음 루나에게 해 볼 것」 목록에 적었다. 루나에는 아직 하나도 넣지 않았다.

장하은 H07
장하은

Engram 은 루나의 첫 모델이랑 닮았어요. 앞 글자를 세어 다음 글자를 고르던 바이그램 표요. 표를 버리고 신경망으로 왔는데, 큰 모델은 표를 다시 붙이고 있네요.

김민준 M12
김민준

MoE 를 넣으면 루나 안에 동네 전문가, 마음 전문가가 생기는 거 아냐?

선생님 T01
선생님

전문가가 그렇게 사람 눈에 보기 좋게 나뉘는지는 들여다봐야 알아요. 그게 다음 루나의 해석 가능성 과제가 될 수 있죠.

이서연 S01
이서연

루프는 홉 카운트에 해 보고 싶어. 같은 층을 여러 번 돌면 한 홉씩 세는 데 쓸 수도 있을 것 같아. 아직 짐작이야.