다음 루나를 위하여: 원하는 모델을 빚는 순서와 AI 의 앞날

이 장의 물음

개학을 일주일 앞둔 날, 라운지 화이트보드에는 한 학기 동안 붙인 메모가 겹겹이 남아 있었다. 맨 아래에는 처음 쓴 루나 설정서가, 맨 위에는 어제 붙인 마음 시험지의 쌍 점수가 있었다. 민준의 노트북에는 마지막 루나가 열려 있었다.

김민준 M02
김민준

다음에 다른 모델을 만든다면 뭐부터 해야 하지? 이번에는 하다 보니 여기까지 왔잖아.

이서연 S01
이서연

우리가 한 일을 순서로 적어 두면 돼. 루나 말고 다른 모델에도 쓸 수 있게.

장하은 H03
장하은

그 순서는 어디서 끝나요? 끝까지 하면 루나가 다 만들어지는 거예요?

선생님 T13
선생님

오늘은 그 두 가지를 정리하는 마지막 시간으로 하죠. 순서를 적어 보고, 그 순서가 끝나는 곳이 있는지 같이 생각해 봐요.

이 장의 물음은 루나에게 한 일을 처음 보는 다른 모델에도 따라 할 수 있는 순서로 적을 수 있을까, 그 순서는 어디서 끝날까이다. 이 장에서는 새로 학습한 모델이 없다. 숫자는 지금까지 남긴 출력 파일과, 마지막 루나(87M, 12층, 폭 768)가 무엇을 읽었는지 세어 본 스크립트(sources/cycle/)에서 온다.

한 장의 지도

서연이 화이트보드 가운데를 지우고 상자를 그렸다. 셋이 메모를 하나씩 떼어 상자에 붙였다.

원하는 모델을 빚는 순서. 공개 데이터로 프리트레이닝한 뒤, 원하는 것을 시험지로 적고, 측정 → 데이터 보강 → 대조 실험 → 믹스에 넣기의 데이터 고리를 돈다. 그래도 점수가 오르지 않으면 몸을 키우고 구조를 보강해 다시 측정하고, 하네스가 모델에 맥락을 건넨다(sources/cycle/plot_cycle_tables.py)
원하는 모델을 빚는 순서. 공개 데이터로 프리트레이닝한 뒤, 원하는 것을 시험지로 적고, 측정 → 데이터 보강 → 대조 실험 → 믹스에 넣기의 데이터 고리를 돈다. 그래도 점수가 오르지 않으면 몸을 키우고 구조를 보강해 다시 측정하고, 하네스가 모델에 맥락을 건넨다(sources/cycle/plot_cycle_tables.py)
김민준 M01
김민준

동화 GPT 가 맨 왼쪽 위 상자. 성적표가 「시험지로 적기」고, 킨더테일즈부터 마음 시험지까지는 다 가운데 고리를 돈 거네.

장하은 H02
장하은

제일 오래 붙들고 있던 건 「원하는 것」 상자예요. 다섯 살로 정할 때까지 몇 번을 다시 썼는지 몰라요.

이서연 S01
이서연

고리는 넷이야. 측정해서 모자란 칸을 찾고, 그 칸을 채울 데이터를 만들고, 한 가지만 바꾼 대조로 정말 나아졌는지 보고, 이긴 쪽을 믹스에 넣어. 그리고 다시 측정.

선생님 T01
선생님

오른쪽 보라색 상자는 데이터로 안 될 때만 가는 곳이에요. 아래 초록 상자는 학습이 끝난 모델을 쓰는 쪽이고요. 상자 하나씩 루나의 숫자로 짚어 보죠.

아래 절은 그림의 상자 차례를 따른다.