토큰 표 다시 짜기: 낱말을 줄이고 프리트레인을 빽빽하게
뜻의 단위와 부호의 단위: 토큰은 무엇을 자르는가
둘째 판의 토큰 표를 확인하던 날, 하은은 「jump|ed」와 「tall|er」가 찍힌 줄에서 한참 머물렀다.

선배, 이건 언어학 교과서대로 잘렸어요. 「jump」는 뛴다는 뜻이고 「ed」는 지난 일이라는 뜻이잖아요. 뜻을 가진 가장 작은 조각을 형태소라고 하는데, 딱 그 경계예요. 그런데 옛 표의 「␣kitc」는요? 「S|e|oy|e|on」은요?

둘 다 뜻이 없지. 「␣kitc」는 만들다 만 계단이고, 「oy」는 이름을 자주 나오는 글자끼리 묶다 만 거고.

철학에는 합성성의 원리 (전체의 뜻은 부분의 뜻과 부분을 짜 맞춘 방식으로 정해진다는 원리 / principle of compositionality)가 있어요. 프레게의 원리라고도 부르는데, 프레게가 그 문장을 그대로 적은 건 아니고 뒤 사람들이 붙인 이름이에요. 근거로는 사람이 처음 듣는 문장도 알아듣는다는 점을 들어요. 문장을 하나씩 전부 외웠다면 그럴 수 없으니, 부분의 뜻과 잇는 법을 알고 있어야 한다는 거죠. 「jump|ed」는 그 원리에 맞춘 자르기예요. 「jumped」를 처음 봐도 두 조각의 쓰임을 가져다 쓰라는 거니까요.

그 원리는 어디까지 내려가? 「oy」의 뜻에서 「Seoyeon」의 뜻이 나오지는 않잖아.

형태소에서 멈춰요. 그 아래는 뜻이 없는 소리와 글자예요. 옛 표의 루나는 원리가 멈추는 곳보다 아래에서 선배 이름을 읽고 있었던 거죠. 그러면 토큰은 무엇의 단위예요? 뜻의 단위는 아닌 것 같은데요.

내가 아는 말로는 부호의 단위야. 토큰 표는 글을 번호의 줄로 옮겨 적는 규칙이고, 모델은 다음 번호 하나를 맞히는 데 몇 비트가 드는지로 점수를 받아. 글 전체에 드는 비트는 토큰 수에 토큰 하나당 비트를 곱한 값이야. 글의 바이트 수로 나누면 우리가 계속 써 온 바이트당 비트가 「바이트당 토큰 × 토큰 하나당 비트」로 갈라져. 표를 고르는 일은 이 곱을 두 값에 어떻게 나눠 실을지 고르는 일이고.

어휘를 키우면 긴 조각이 한 칸이 되니까 토큰 수는 줄겠네. 대신 고를 칸이 많아져서 하나를 맞히기는 어려워질 거고.

가장 작은 경우로 계산해 보자. 문맥을 전혀 안 보고 토큰마다 나온 횟수만 아는 모델이야. 이 모델이 토큰 하나에 쓰는 비트는 토큰 분포의 엔트로피라서, 학습 없이 세기만 하면 나와.
서연은 타이니스토리즈 학습 글 앞 5MB 로 보통의 BPE 를 어휘 크기만 바꿔 여섯 번 배우고, 검증 글 전체를 잘라 토큰을 세었다(sources/retokenize/code_tradeoff.py). 출력의 오른쪽 세 칸은 합친 토큰이 글 100만 바이트마다 나온 횟수의 중앙값, 가장 드문 10% 의 경계, 검증 글에 한 번도 안 나온 합친 토큰의 수다.
어휘 크기 바이트당 토큰 토큰 하나당 비트 바이트당 비트(곱) | 합친 토큰이 100만 바이트마다 나온 횟수: 중앙값 드문 10% | 0 번
257 1.0000 4.407 4.407 | - - | -
512 0.4150 7.526 3.123 | 783.1 336.2 | 0
1,024 0.3153 8.266 2.606 | 149.3 39.0 | 5
2,048 0.2721 8.507 2.315 | 38.9 7.8 | 14
4,096 0.2520 8.486 2.138 | 9.1 0.5 | 141
8,192 0.2445 8.417 2.058 | 1.5 0.0 | 771

어휘 257 은 바이트를 그대로 읽는 경우라 바이트당 4.407 비트야. 512 칸이면 바이트당 토큰이 0.4150 으로 줄고 토큰 하나는 7.526 비트로 늘어서 곱이 3.123 으로 내려가. 4,096 칸에서는 2.138, 8,192 칸에서는 2.058 이야. 토큰 하나당 비트는 2,048 칸부터 8.5 근처에 머물고, 토큰 수만 조금씩 더 줄어.

그럼 클수록 좋은 거잖아. 우리는 왜 2,048 로 줄였어?

오른쪽 칸을 봐. 합친 토큰의 중앙값이 512 칸에서는 100만 바이트마다 783 번인데 4,096 칸에서는 9.1 번, 8,192 칸에서는 1.5 번이야. 4,096 에서 8,192 로 가면 곱은 0.08 줄고 본보기는 여섯에 하나로 줄어. 한 번도 안 나온 칸도 141 개에서 771 개가 돼. 횟수만 세는 모델은 본보기가 드물어도 손해가 없지만, 루나는 토큰마다 벡터를 배워야 해. 「␣Seoyeon」이 0 번 나왔을 때 어떻게 됐는지는 우리가 봤고.

문맥을 읽는 루나도 같은 곱으로 갈라져요?
서연은 같은 바이트를 읽힌 두 동화 GPT 의 숫자를 같은 식에 넣어 토큰 하나당 비트를 거꾸로 구했다.
이 장의 기존 출력으로 같은 곱을 거꾸로: 토큰 하나당 비트 = 바이트당 비트 ÷ 바이트당 토큰
옛 토큰 표: 바이트당 비트 0.4253 ÷ 바이트당 토큰 0.2515 = 토큰 하나당 1.691 비트
다시 짠 토큰 표: 바이트당 비트 0.4253 ÷ 바이트당 토큰 0.2489 = 토큰 하나당 1.709 비트

갈라져. 다시 짠 표는 바이트당 토큰이 1% 줄었고 토큰 하나당 비트가 1.691 에서 1.709 로 1% 늘어서, 곱은 둘 다 0.4253 이야. 표가 깔끔해져도 바이트당 비트가 그대로였던 일이 두 값의 곱으로는 이렇게 보여. 횟수만 아는 모델이 어휘 4,096 에서 토큰 하나에 8.486 비트를 쓰는데 동화 GPT 는 1.7 비트쯤 쓰니까, 두 숫자는 토큰 표를 배운 글의 양이 달라서 꼭 맞는 비교는 못 되지만, 그 차이가 대략 문맥을 읽어서 번 비트야. 다만 루나에게 가장 좋은 어휘 크기는 측정하지 않았어. 2,048 은 낱말 목록에 맞춰 고른 값이고, 더 키우면 드문 토큰 때문에 곱이 다시 올라갈 거라는 건 내 짐작이야.

그러니까 자르는 자리는 우리가 세기 좋게 정하는 거고, 뜻은 루나가 조각을 다시 이으면서 생기는 거네. 한 번도 이어 본 적 없는 조각은 한 칸을 받아도 비어 있었고.

그 말도 프레게한테 있어요, 선배. 1884 년 『산수의 기초』(The Foundations of Arithmetic) 머리말에서 낱말의 뜻은 따로 떼어 묻지 말고 문장의 맥락 안에서 물으라고 했거든요. 부분에서 전체가 나온다는 원리와 전체 안에서만 부분이 뜻을 얻는다는 원리가 한 사람의 이름으로 같이 전해지는 거예요. 루나의 이름 토큰이 보여 준 건 둘째 원리고요.

토큰이 뜻의 단위일 필요가 없다는 점은 글 밖에서 더 크게 쓰여요. 사진에는 형태소가 없는데도 2020 년에 도소비츠키와 구글 연구진이 낸 비전 트랜스포머(ViT)는 사진을 가로세로 16 픽셀짜리 조각으로 잘라 조각마다 벡터 하나로 바꾸고, 그 벡터들을 토큰 자리에 넣어 트랜스포머로 읽었어요. 가로세로 224 픽셀인 사진이면 조각이 196 개이고, 논문 제목도 「그림 한 장은 16×16 낱말의 값을 한다」예요. 그보다 앞선 2017 년에 판 덴 오르트 연구진의 VQ-VAE 는 그림과 소리를 정해진 부호 표의 번호 열로 바꾸는 법을 내놓았는데, 번호 열이 되고 나면 다음 번호를 맞히는 언어 모델을 그대로 쓸 수 있어요. 글과 그림과 소리를 함께 읽는 모델은 입구에 이런 토크나이저를 둡니다. 조각을 크게 자르면 줄이 짧아지고 조각 하나에 담을 것이 많아진다는 맞바꿈도 오늘 본 것과 같아요.