다음 루나를 위하여: 원하는 모델을 빚는 순서와 AI 의 앞날

대조한 뒤 믹스에 넣는다

데이터를 만들었으면 한 가지만 바꾼 대조로 정말 나아졌는지 본다. 이기면 믹스에 넣는다. 루나에게 배운 것은 「언제, 얼마나 넣나」가 「무엇을 넣나」만큼 중요하다는 것이었다.

할머니 이야기만 새로 읽힌 판은 할머니 사실을 배우는 대신 킨더테일즈 열두 사실을 잊었다. 바로 물으면 38~75% 이던 것이 0~4% 가 되었다. 옛 이야기를 함께 다시 읽힌 판은 옛 사실이 79~88% 로 남았고 새 사실도 75~100% 로 배웠다(sources/talk/, 판 둘, 시드 셋).

넣는 양도 따로 정해야 했다. 딥시크가 쓴 논리 이야기를 4,300 편으로 늘리면서 논리 글을 학습 토큰의 15% 로 묶어 두었더니, 이야기가 늘어난 만큼 프로그램 문항이 1,572만 토큰에서 852만 토큰으로 줄었고 yes·no 정답률이 63% 로 무너졌다. 같은 이야기를 넣되 프로그램 문항의 양을 지킨 판은 버텼다(sources/logic-limits/).

그래서 마지막 루나는 새로 가르친 것을 모두 프리트레이닝 글에 처음부터 섞었다. 동화와 지식 글로 된 바탕 121,231,659 토큰 사이에 논리·동네·마음·놀이·도구의 글 47,776,087 토큰을 끼워 넣었다(data_sources.out). 마지막에 따로 파인튜닝한 단계는 없다.

김민준 M03
김민준

그런데 왜 처음부터 섞으면 덜 잊을까? 나중에 따로 가르쳐도 똑같은 글인데.

선생님 T14
선생님

마침 처음부터 섞으면 왜 덜 잊느냐에 답한 논문을 가져왔어요. 우리가 겪은 걸 더 큰 모델로 측정했고, 부록에 수학으로 설명까지 붙어 있어요.