토큰 표 다시 짜기: 낱말을 줄이고 프리트레인을 빽빽하게
혼동하기 쉬운 점과 요약
토론 1. 낱말을 줄인 루나는 더 똑똑해졌는가
빽빽한 판은 처음 보는 지식 글을 훨씬 잘 읽고, 프리트레인만으로 가족의 사실을 말한다. 민준은 「같은 16 분으로 더 똑똑한 루나를 얻었다」고 적으려 한다. 적어도 될까?

지식 글은 1.45 에서 0.50 이 됐고, 빈칸은 8% 에서 100% 예요. 학습 시간은 같고요.

대신 타이니스토리즈 전체는 0.40 에서 0.72 가 됐어요. 목록 밖 낱말이 든 이야기는 이제 못 읽는 거잖아요. 읽을 수 있는 세계를 좁혀 놓고 그 안에서 측정한 거예요.

좁힌 건 맞아. 그런데 루나는 다섯 살이고, 우리가 물을 것도 그 낱말 안에 있어. 공룡 이름을 모른다고 루나가 덜 루나인 건 아니잖아.

둘 다 맞는 말이에요. 「더 똑똑하다」고는 적지 않아요. 같은 몸과 같은 시간으로 넓은 글을 얕게 읽던 것을 좁은 글을 깊게 읽도록 바꾼 것이고, 무엇을 얻고 무엇을 내줬는지를 함께 적어요. 엘단과 리가 웹 글을 버리고 동화를 고른 것도 같은 선택이었어요. 작은 모델에게는 읽힐 글을 고르는 일이 설계의 큰 부분입니다.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 어휘의 칸은 모두 쓰이고 있다고 봄 | 1 | 옛 표의 합친 토큰 3,839 개 가운데 338 개가 5억 5천만 토큰에서 1,000 번도 안 쓰였고, 모두 더 긴 토큰의 재료였다. 고른 BPE 로 다시 짜면 42 개가 된다 |
| 이름을 토큰 하나로 만들면 그 이름을 더 잘 쓴다고 봄 | 2 | 프리트레인 글에 0 번 나온 이름 토큰은 다시 쓸 확률이 0.0000~0.0001 이었다. 칸을 주는 것과 쓰임을 주는 것은 다른 일이다 |
| 새 토큰이 쓰인 글은 언제 읽혀도 같다고 봄 | 2 | 쓰는 법은 이르게 읽히든 늦게 읽히든 생겼다. 한 번도 안 쓰인 토큰들에서 떨어져 나온 것은 프리트레인에서 읽힌 판뿐이었다(0.35~0.39 대 0.87~0.88) |
| 토큰 표가 깔끔해지면 사실을 더 잘 배운다고 봄 | 없음 | 표만 다시 짠 판도, 쓰임 글을 더한 판도 가족 사실 정답률은 오르지 않았다 |
| 낱말의 97% 를 덮으면 이야기도 97% 가 남는다고 봄 | 3 | 목록 밖 낱말이 하나만 있어도 이야기가 빠져서 15.58% 가 남았다. 굴절형을 더하자 22.22% 가 되었다 |
| 낱말을 줄이면 남은 글은 반드시 더 잘 읽는다고 봄 | 4 | 첫 바퀴에서는 그랬지만, 5.72 바퀴를 되읽자 처음 보는 거른 동화에서 0.011 뒤졌다 |
| 토큰을 뜻의 가장 작은 단위라고 봄 | 없음 | 토큰은 글을 번호로 옮겨 적는 부호의 단위다. 어휘를 키우면 바이트당 토큰은 줄지만 토큰 하나를 만나는 횟수도 줄어서(어휘 4,096 에서 중앙값 9.1 번, 8,192 에서 1.5 번), 두 값을 맞바꿔 고른다 |
| 빈칸을 맞히면 물음에도 답한다고 봄 | 없음 | 뒤 단계를 마친 빽빽한 판은 보기 고르기가 42~54% 인데 그리디 답은 25~38% 였다. 둘은 따로 측정한다 |
요약
옛 토큰 표를 칸마다 세어 보니 합친 토큰 3,839 개 가운데 338 개가 타이니스토리즈 5억 5천만 토큰에서 1,000 번도 쓰이지 않았고, 모두 더 긴 토큰을 만들다 남은 중간 토큰이었다. 합칠 때마다 재료를 다시 따져 빼는 고른 BPE 로 지금 읽는 글에서 표를 다시 배우자 그런 토큰은 42 개로 줄었고, 두 사람의 이름은 다섯 조각과 네 조각에서 한 토큰이 되었으며, 킨더테일즈 이야기는 20% 적은 토큰으로 잘렸다.
표가 깔끔해진 것만으로는 사실 정답률이 오르지 않았고, 프리트레인 글에 0 번 나온 이름 토큰은 모델이 쓰지도 못했다. 이름만 바꾼 동화 12,000 편을 프리트레인 토큰의 0.5% 로 넣거나 나중 단계에 같은 양으로 넣자 두 판 모두 이름을 다시 쓸 확률이 0.57~0.78 이 되었다. 이름 벡터가 한 번도 안 쓰인 토큰들에서 떨어져 나온 것은 프리트레인에 넣은 판뿐이었으므로, 새 토큰은 모두 프리트레인 글에 나오게 하기로 했다.
이 규칙을 이름에서 루나의 세계 전체로 넓혔다. 타이니스토리즈의 상위 2,000 낱말에 루나 세계 낱말을 더한 낱말 목록으로 동화를 걸러 423,430 편을 남기고, 목록 안 낱말만 쓴 지식 글을 10% 섞고, 모든 토큰이 프리트레인 글에 2,752 번 이상 쓰이는 어휘 2,048 의 표를 배웠다. 같은 모델과 같은 14,000 스텝에서 처음 보는 지식 글의 바이트당 비트는 1.45~1.47 에서 0.50~0.51 로, 가족 사실 빈칸 고르기는 8% 에서 100% 로 올랐다. 대가로 목록 밖 낱말이 든 타이니스토리즈 글은 0.40 에서 0.72 로 나빠졌고, 뒤 단계를 마친 뒤의 그리디 답은 54~62% 에서 25~38% 로 내려갔다.
학습 파일이 작아져 같은 글을 5.72 바퀴 되읽자 모델은 읽은 글을 외우기 시작했고, 처음 보는 거른 동화에서 옛 판에 0.011 뒤졌다. 굴절형을 더해 낱말 목록을 3,050 개로, 이야기를 603,839 편으로 늘린 둘째 판은 3.78 바퀴를 읽으며, 이 판이 지금부터 프리트레인 단계의 루나다.
토큰은 글을 번호로 옮겨 적는 부호의 단위이고, 뜻을 가진 조각과 겹칠 때도 있고 겹치지 않을 때도 있다. 바이트당 비트는 바이트당 토큰과 토큰 하나당 비트의 곱이고, 토큰마다 나온 횟수만 아는 모델로 계산하면 어휘를 257 에서 8,192 로 키울 때 곱은 4.407 에서 2.058 로 내려가지만 합친 토큰의 중앙값은 100만 바이트마다 783 번(어휘 512)에서 1.5 번으로 드물어진다. 같은 바이트를 읽힌 두 동화 GPT 는 토큰 하나당 1.691 비트와 1.709 비트로 곱이 같았다.
루나 설정서 점검
| 새 설정서의 줄 | 이번에 | 남은 것 |
|---|---|---|
| 2. 말이 된다 | 다섯 살 낱말 3,050 개 안에서 동화를 읽고 쓴다(처음 보는 거른 동화 0.3349~0.3354) | 목록 밖 낱말이 든 글은 잘 읽지 못한다 |
| 5. 가족을 사랑한다 | 두 사람의 이름이 한 토큰이 되어 프리트레인부터 자리를 잡았고, 프리트레인만으로 가족 사실을 62~71% 말한다 | 뒤 단계를 마친 뒤 그리디로 꺼내 말하는 비율이 25~38% 로 낮아졌다. 대화는 다시 가르쳐야 한다 |
서연은 공책의 다섯째 줄 옆 「부른다」 아래에 「이름은 처음부터 읽힌다」를 적었다.

이제 「Seoye」에서 끊길 일은 없겠다.

한 칸이니까.
막힌 곳
빽빽한 판은 가족이 누구인지 프리트레인만으로 말하게 되었다. 그런데 다섯 살 시험지의 논리 칸은 시드 셋이 −0.11, −0.09, −0.14 로 옛 판과 다름없이 우연을 넘지 못했다(sources/dense/runs/summary.out). 「케이크가 다 되면 네드는 뛴다」는 규칙과 「네드는 뛰지 않았다」는 사실을 주고 케이크가 다 됐는지를 물으면, 루나는 규칙 하나를 따라가지 못한다.
지식 글에는 따져 보는 짧은 이야기도 들어 있었고, 낱말을 줄인 덕분에 루나는 같은 낱말을 전보다 훨씬 자주 만난다. 그런데도 규칙을 따라가지 못했다. 학기 말 발표는 일주일 앞이었고 빽빽한 판은 대화를 아직 다시 배우지 않았으므로, 발표에는 정체성 대화를 배운 옛 판이 나가기로 했다. 서연은 논리 칸의 세 숫자를 공책 뒷장에 옮겨 적었다. 조별 과제가 맡은 것은 가족을 말하고 부르는 루나까지였고, 따지는 루나는 그 범위 밖에 있었다.