부품을 다시 보기: 헤드는 왜 여럿인가

헤드 하나로는 왜 느린가: 평균 하나의 한계

다시 얌전한 헤드 수 표를 앞에 두고 서연은 트랜스포머 논문의 그 문장을 한 번 더 읽었다.

이서연 S01
이서연

「헤드 하나로는 평균을 내는 일이 이를 가로막는다」. 동화 표는 차이가 작아서 정말 그런지 모르겠어. 평균이 문제라면 평균으로는 못 하는 문제를 일부러 내 볼 수 없어?

김민준 M02
김민준

한 군데 말고 여러 군데를 읽어야 맞히는 문제? 값을 합치면 어느 게 어느 건지 헷갈리는 걸로.

헤드 하나가 위치 t 에서 내놓는 값은 앞 토큰들의 값 벡터를 어텐션 비중으로 평균한 벡터 하나다.

y=∑s≤tws vs,∑sws=1,ws≥0\textcolor{#a5003c}{y} = \sum_{\textcolor{#a67a63}{s} \le \textcolor{#a67a63}{t}} \textcolor{#c2408a}{w_{s}}\,\textcolor{#a5003c}{v_{s}}, \qquad \sum_{\textcolor{#a67a63}{s}} \textcolor{#c2408a}{w_{s}} = 1,\quad \textcolor{#c2408a}{w_{s}} \ge 0
y위치 t 에서 헤드 하나가 내놓는 벡터vs위치 s 토큰의 값 벡터ws위치 s 에 준 어텐션 비중(쿼리와 키의 내적에 소프트맥스를 씌운 값)s, t토큰 위치\begin{array}{ll} \textcolor{#a5003c}{y} & \text{위치 } \textcolor{#a67a63}{t} \text{ 에서 헤드 하나가 내놓는 벡터} \\ \textcolor{#a5003c}{v_{s}} & \text{위치 } \textcolor{#a67a63}{s} \text{ 토큰의 값 벡터} \\ \textcolor{#c2408a}{w_{s}} & \text{위치 } \textcolor{#a67a63}{s} \text{ 에 준 어텐션 비중(쿼리와 키의 내적에 소프트맥스를 씌운 값)} \\ \textcolor{#a67a63}{s},\ \textcolor{#a67a63}{t} & \text{토큰 위치} \end{array}

비중 ws 는 모두 0 이상이고 합이 1 이라서, 헤드 하나는 값들을 빼지 못하고 섞기만 한다. 층이 하나뿐이면 값 벡터 vs 는 토큰 임베딩과 위치 임베딩을 더한 것의 변환이어서, 그 자리의 숫자와 위치를 떼어 놓을 수 없게 묶어 주지도 못한다. 이 조건에서 평균이 약점이 되는 장난감 태스크를 만들었다.

문제 2. 평균만 알려 주는 친구

친구가 수학과 영어 두 과목을 보고, 시험 결과를 평균 점수 하나로만 알려 준다. (가) 평균이 80 이면 두 과목 점수를 알 수 있는가? 어느 과목이 더 높은지 알 수 있는가? (나) 친구가 「수학에 2/3, 영어에 1/3 을 곱해 더한 값」을 알려 주면 무엇이 달라지는가? 점수가 0~100 의 정수라면 이 값으로 두 점수를 언제나 가려낼 수 있는가? (다) 친구 둘이 각각 한 과목씩 알려 주면 어떤가?

김민준 M01
김민준

(가)는 안 돼. 70 과 90 이든, 90 과 70 이든 평균이 80 이야. 어느 쪽이 높은지도 몰라.

이서연 S02
이서연

(나)는 90, 70 이면 83.3… 이고 70, 90 이면 76.6… 이니까 순서는 갈리네. 그런데 언제나 가려지나? 수학을 1 올리고 영어를 2 내리면 2/3 − 2/3 = 0 이라 값이 그대로야. 80 과 80, 81 과 78 이 둘 다 80 이니까 안 돼.

김민준 M01
김민준

그럼 비중을 더 치우치게 주면 되겠네. 수학에 101/102, 영어에 1/102 를 주면 영어 점수가 수학 1 점 차이를 넘지 못하니까 가려져.

선생님 T01
선생님

맞아요. 숫자를 끝까지 정확히 읽을 수 있다면요. 그런데 그 값을 소수 셋째 자리까지만 읽을 수 있거나 과목이 넷으로 늘면 어떻게 될까요?

이서연 S01
이서연

칸이 모자라요. 과목이 많을수록 비중을 점점 더 치우치게 줘야 하는데, 알아볼 수 있는 자릿수는 그대로고요.

김민준 M01
김민준

(다)는 그냥 두 수를 그대로 받는 거니까 고민할 게 없고요.

선생님 T13
선생님

헤드 하나가 내놓는 것도 앞 토큰 값들의 평균 하나예요. 이 문제를 기억해 두고 장난감 태스크를 봐요.

장난감 태스크: 몇 군데를 동시에 읽어야 하는가

입력은 0~9 숫자 토큰 16 개와 물음 토큰 하나인데, 물음 토큰이 가리키는 자리들의 숫자를 읽어야 답할 수 있다. 층은 하나, 폭은 64 이고 헤드 수만 1, 2, 4, 8 로 바꾼다(폭을 나눠 쓰므로 파라미터는 모두 70,656 개로 같다). 물음 토큰은 240 가지다. 스텝마다 새 문제 512 개를 만들어 8,000 스텝 학습하니 데이터가 모자라 생긴 차이는 아니다. 시드는 셋이다.

태스크 답 읽을 군데
한 군데 x_a 1
두 군데 합 x_a + x_b 2, 순서 상관없음
두 군데 차 x_a − x_b 2, 순서가 중요
세·네·여섯 군데 x_a − x_b + x_c − x_d … 3, 4, 6, 더하는 자리와 빼는 자리가 번갈아
네 군데 합 x_a + x_b + x_c + x_d 4, 부호가 모두 같음
묶음         과제      층  헤드      평균      최소      최대 시드 수
d64_easy   first   1   1  1.0000  1.0000  1.0000    3
d64_easy   sum     1   1  0.9610  0.9490  0.9713    3
d64        diff    1   1  0.9498  0.9378  0.9625    3
d64        k3      1   1  0.1124  0.1023  0.1306    3
d64        k3      1   8  1.0000  1.0000  1.0000    3
d64        k4      1   1  0.2096  0.0934  0.3038    3
d64        k4      1   2  0.8255  0.7801  0.8551    3
d64        k4      1   8  0.9849  0.9589  0.9997    3
d64_a4     a4      1   1  0.9515  0.9369  0.9751    3

summary.out 뒷부분에서 줄을 골랐다(first 는 한 군데, sum·diff 는 두 군데 합·차, k3·k4 는 세·네 군데, a4 는 네 군데 합). 찍을 때의 정답률(언제나 가장 흔한 답을 낼 때)은 한 군데·두 군데 0.100, 세 군데 0.075, 네 군데 0.067 이다. 8,000 스텝 안에서 헤드 하나는 한 군데와 두 군데까지 잘하고(합 0.9610, 차 0.9498) 세 군데에서 0.1124 로 곤두박질친다. 여섯 군데도 헤드 하나는 0.0570 으로 찍는 수준이고 헤드 8 개는 0.9670 이다. 헤드 8 개는 어느 태스크든 0.96 을 넘는다. 헤드 둘은 시드마다 갈린다(세 군데에서 0.1032~0.9396).

장난감 태스크의 정답률. 가로는 헤드 수, 점 하나가 시드 하나다. 8,000 스텝에서 헤드 하나는 두 군데 차까지 해내고 세 군데부터 찍는 수준에 가까워지는데, 부호가 같은 네 군데 합은 해낸다. 파라미터는 모두 같다(sources/gpt-parts/toy_two_lookups.py)
장난감 태스크의 정답률. 가로는 헤드 수, 점 하나가 시드 하나다. 8,000 스텝에서 헤드 하나는 두 군데 차까지 해내고 세 군데부터 찍는 수준에 가까워지는데, 부호가 같은 네 군데 합은 해낸다. 파라미터는 모두 같다(sources/gpt-parts/toy_two_lookups.py)
김민준 M07
김민준

이건 얌전하지 않은데! 세 군데부터 헤드 하나는 찍는 수준이야. 파라미터는 똑같은데.

이서연 S06
이서연

잠깐, 두 군데 차는 헤드 하나로 왜 돼? 평균이 문제라면 x_a 랑 x_b 가 섞여서 순서를 잃어야 하잖아. 아까 문제에서도 평균으로는 어느 쪽이 큰지 몰랐는데.

김민준 M01
김민준

어디를 보는지 측정해 볼게.

[두 군데 차, 헤드 1 개]
  헤드 1: 빼이는 쪽(앞 자리) 0.603, 빼는 쪽(뒤 자리) 0.339, 둘의 합 0.942
이서연 S08
이서연

0.603 이랑 0.339. 반반이 아니야! 비중을 다르게 줘서 둘을 구별하는 거네. 수학에 2/3, 영어에 1/3 곱한 친구랑 똑같아.

김민준 M01
김민준

그럼 네 군데 차는 어떻게 했는지도 보자. 헤드 1, 2, 4 개.

[헤드 1 개] 정답률 0.1101
  헤드 1: 네 자리 비중 평균 0.289 0.178 0.327 0.176 | 합 0.970 | 나머지 숫자 자리 합 0.028 | 물음 자기 자리 0.002
[헤드 2 개] 정답률 0.7810
  헤드 1: 네 자리 비중 평균 0.059 0.357 0.067 0.355 | 합 0.838 | 나머지 숫자 자리 합 0.153 | 물음 자기 자리 0.009
  헤드 2: 네 자리 비중 평균 0.372 0.041 0.384 0.041 | 합 0.837 | 나머지 숫자 자리 합 0.152 | 물음 자기 자리 0.011
[헤드 4 개] 정답률 0.7471
  헤드 1: 네 자리 비중 평균 0.016 0.521 0.019 0.398 | 합 0.953 | 나머지 숫자 자리 합 0.044 | 물음 자기 자리 0.003
  헤드 2: 네 자리 비중 평균 0.030 0.399 0.018 0.494 | 합 0.940 | 나머지 숫자 자리 합 0.056 | 물음 자기 자리 0.004
  헤드 3: 네 자리 비중 평균 0.397 0.037 0.380 0.026 | 합 0.840 | 나머지 숫자 자리 합 0.150 | 물음 자기 자리 0.010
  헤드 4: 네 자리 비중 평균 0.144 0.124 0.129 0.121 | 합 0.517 | 나머지 숫자 자리 합 0.458 | 물음 자기 자리 0.025
네 군데 차를 학습한 모델(시드 0)에 문제 하나를 주고, 물음 자리에서 헤드마다 준 어텐션을 그렸다. 회색 띠가 물음이 가리킨 네 자리(11, 4, 5, 8)이고 앞에서부터 더하기, 빼기, 더하기, 빼기다. 헤드 2 개 모델은 빼는 자리(4, 8)와 더하는 자리(5, 11)를 헤드 하나씩 맡았다(sources/gpt-parts/toy_view.py)
네 군데 차를 학습한 모델(시드 0)에 문제 하나를 주고, 물음 자리에서 헤드마다 준 어텐션을 그렸다. 회색 띠가 물음이 가리킨 네 자리(11, 4, 5, 8)이고 앞에서부터 더하기, 빼기, 더하기, 빼기다. 헤드 2 개 모델은 빼는 자리(4, 8)와 더하는 자리(5, 11)를 헤드 하나씩 맡았다(sources/gpt-parts/toy_view.py)

헤드 2 개 모델의 표를 위아래로 읽으면 헤드 1 은 둘째·넷째 자리에 0.357, 0.355 를, 헤드 2 는 첫째·셋째 자리에 0.372, 0.384 를 준다. 물음이 가리킨 자리 가운데 빼는 자리와 더하는 자리를 헤드가 하나씩 맡았으니, 헤드 하나 안에서는 합만 내면 되고 부호가 다른 값끼리 섞이지 않는다. 시드 1, 2 의 헤드 2 개 모델도 같은 모양이다(toy_view2.out, 헤드마다 한쪽 부호 자리에 0.37~0.39, 다른 쪽에 0.04~0.05). 트랜스포머 논문이 말한 「서로 다른 표현 부분 공간의, 서로 다른 위치」가 이 모델에서는 부호별로 나뉜 두 헤드로 나타났다. 다만 늘 그렇게 나누는 것은 아니어서, 두 군데 차를 배운 헤드 2 개 모델(시드 0)은 두 헤드가 앞 자리에 0.32, 0.33, 뒤 자리에 0.54, 0.51 로 비슷하게 읽었다.

이 설명이 맞다면, 읽을 군데가 넷이어도 부호가 모두 같은 「네 군데 합」은 헤드 하나로 될 것이다. 평균을 내도 잃는 것이 없기 때문인데, 표의 마지막 묶음이 그 예측을 시험한 결과다.

네 군데 합은 헤드 하나로 평균 0.9515 다. 읽을 군데가 같은 네 군데 차(0.2096)와 비교하면 어려운 것은 군데 수 자체가 아니었다. 합쳐도 잃는 것이 없으면 평균 하나로 금세 배우고, 값끼리 구별해야 할 때 평균이 걸림돌이 된다.

이서연 S08
이서연

헤드가 많아서 푸는 게 아니었네. 더하는 자리랑 빼는 자리를 헤드 하나씩 맡으니까 부호가 안 섞이는 거야.

김민준 M07
김민준

그래서 네 군데 합은 하나로도 됐구나. 섞어도 잃는 게 없으니까.

이서연 S06
이서연

층을 쌓거나 폭을 넓히면 헤드 하나로도 네 군데 차를 풀 수 있어요?

선생님 T01
선생님

측정해 봤어요. 네 군데 차, 헤드 하나, 8,000 스텝이에요.

묶음         과제      층  헤드      평균      최소      최대 시드 수
d64_L2     k4      2   1  0.5945  0.1220  0.8364    3
d128       k4      1   1  0.5421  0.4008  0.7654    3
d256       k4      1   1  0.0705  0.0682  0.0751    3

summary.out 에서 옮긴 줄이다(d64_L2 는 폭 64 에 층 둘, d128·d256 은 층 하나에 폭 128·256). 층을 쌓거나 폭을 128 로 넓히면 시드에 따라 0.12 에서 0.84 까지 갈리고, 폭 256 은 0.0705 로 찍을 때(0.067)와 거의 같다. 폭 256 에서는 넓히는 것이 오히려 방해가 됐다.

김민준 M04
김민준

그럼 헤드 하나는 세 군데를 아예 못 하는 거네요.

선생님 T14
선생님

세 군데는 못 한다기보다 느려요. 스텝을 다섯 배인 40,000 으로 주면 헤드 하나의 세 군데도 시드 셋 평균 0.8415 까지 올라요(summary.out 「스텝을 늘리면」). 헤드 8 개는 8,000 스텝에 1.0000 이고요. 다만 여섯 군데는 40,000 스텝에서도 0.0822 라서, 이 말은 네 군데(0.7610)까지예요. 스텝 수만의 효과인지 학습률 스케줄 때문인지는 가르지 않았으니 「이 학습 스케줄에서는 느리다」까지만 말해요.

ML에서: 큰 언어 모델에도 이런 일이 일어날까

우리 장난감 태스크는 층이 하나뿐이고, 답을 내려면 값들을 정해진 방식으로 합쳐야 한다. 실제 언어 모델은 층이 많고 글에는 이런 산수가 드물어서, 동화 표처럼 헤드 수의 차이가 작게 나오는 것이 오히려 자연스럽다. 장난감에서 헤드 수가 크게 가른 것도 할 수 있느냐보다 정해진 학습량 안에 배우느냐였으니, 미헬 팀이 남긴 학습 과정과의 관계와 같은 방향의 관찰이지만 그 이상을 말해 주지는 않는다. 그래도 모델을 키울 때는 헤드 수도 함께 늘리는 것이 관례다. 우리 동화 GPT 는 폭 512 에 헤드 8 개(헤드 하나의 폭 64)를 썼고, 이 책이 따라가는 nanochat 의 학습 스크립트(scripts/base_train.py)는 헤드 하나의 폭을 설정으로 받아 모델 폭을 그 값으로 나눠 헤드 수를 정한다.

서연은 공책 첫 장에 적어 둔 물음 「파라미터가 그대로인데 헤드를 왜 나눌까」 아래에 두 줄을 옮겨 적었다(sources/gpt-parts/summary.out, 시드 셋 평균).

측정한 것 헤드 1 개 헤드 2 개 헤드 8 개
장난감 네 군데 차 정답률 0.2096 0.8255 0.9849
작은 GPT 의 바이트당 비트 0.6252 0.6192 0.6099
이서연 S09
이서연

나누는 건 일을 나누는 거였어. 파라미터는 한 개도 안 늘었는데 네 군데 차가 0.21 에서 0.83 이 됐잖아.

김민준 M01
김민준

대신 아랫줄은 0.6252 랑 0.6099. 동화에는 부호가 다른 값을 가려 읽을 일이 별로 없나 봐.

헤드 하나는 앞 토큰 값들의 평균 하나만 내므로, 값끼리 가려내야 하는 문제를 이 학습 스케줄 안에서는 느리게 배운다. 둘로 나누면 더하는 자리와 빼는 자리를 헤드가 하나씩 맡는다. 동화 글에서 헤드 1 개와 8 개가 바꾸는 바이트당 비트는 0.0153 이다.