MLP 는 무엇을 아는가: 물음과 답, 그리고 지식이 있는 곳

이 장의 물음

GPT 의 층 하나는 어텐션과 MLP 로 되어 있다. 어텐션은 헤드 여럿이 앞 토큰 가운데 어디를 읽을지 나눠 고른다는 것을 보았다. 그런데 층의 파라미터 가운데 3분의 2는 MLP 가 쓰고, MLP 가 무슨 일을 하는지는 코드 어디에도 적혀 있지 않다. 이 장은 그 MLP 를 열어 보고, 민준이 세운 추측 「루나의 지식은 MLP 에 있다」를 지우기 실험으로 확인해 본다.

부품의 역할을 시험하는 방법은 두 가지다. 학습을 마친 모델에서 부품의 출력을 0 으로 바꾸는 지우기는 지금 이 모델이 무엇에 의존하는지를 보여 주고, 그 부품 없이 처음부터 다시 학습하는 실험은 그 부품이 꼭 있어야 하는지를 보여 준다. 헤드 하나를 지웠을 때 멀쩡해도 함께 지우면 무너졌던 것처럼, 두 실험은 서로 다른 것을 측정한다.

이 장에서 부르는 이름 층 · 폭 · 헤드 쓰는 곳
작은 GPT (gpt_small.pt) 4층 · 256 · 4 개 은닉층 폭 실험, 은닉 단위 열기, 「Lily 의 개 이름」
동화 GPT 8층 · 512 · 8 개 층·부품·자리 지우기
다시 학습한 4층 4층 · 256 · 4 개에서 MLP 나 어텐션을 뺌 지우는 것과 처음부터 없는 것
장난감 모델 1층 · 64 · 2 개 기출 문제만 되풀이해 풀기

MLP 의 은닉층: 물음 1,024 개와 답 1,024 개

헤드 이야기를 마친 서연이 파라미터 표로 돌아가 「층 하나의 MLP」 줄에 밑줄을 그었다. 525,568 개로, 같은 층 어텐션의 263,168 개보다 두 배 많다.

이서연 S06
이서연

어텐션은 앞 토큰 가운데 무엇을 읽을지 고르는 장치라서 하는 일이 분명해. 그런데 MLP 는 파라미터를 어텐션의 두 배나 쓰면서 무슨 일을 하는지 잘 모르겠어.

김민준 M01
김민준

다음 토큰을 맞히는 거 아냐?

이서연 S01
이서연

그건 모델 전체가 하는 일이잖아. 어텐션도 출력 행렬도 다 그걸 위해 있는 거고. MLP 만 하는 일이 뭐냐는 거지.

김민준 M04
김민준

…그러네. 그럼 MLP 를 빼고 학습해 보자. 빼서 무엇이 나빠지는지 보면 알겠지.

층마다 어텐션과 MLP 는 잔차 연결로 이어지는 폭 d 의 벡터를 읽고, 계산한 것을 그 벡터에 더해 쓴다. 이 벡터를 잔차 스트림이라 부르는데, 이 장에서는 층마다 읽고 쓰는 벡터라는 것만 알면 된다. MLP 는 폭 256 인 잔차 스트림 벡터를 받아 폭 1,024 로 늘리고, GELU 를 씌운 뒤 다시 폭 256 으로 줄인다. 가운데의 1,024 칸을 은닉층 (MLP 안에서 폭을 늘린 가운데 칸들 / hidden layer)이라 부르고, 칸 하나를 은닉 단위라 부른다. 이 절은 은닉 단위 하나가 무엇을 하는지, 그리고 은닉층의 폭과 모델 폭 d 가 어떤 관계인지를 실험과 들여다보기로 확인한다.

은닉층을 빼고, 좁히고, 넓혀 보기

민준은 폭 d = 256 과 4층은 그대로 두고 MLP 은닉층의 폭만 0(MLP 없음), d, 2d, 4d, 8d 로 바꿔 다섯 모델을 학습했다. gpt.py 의 MLP 는 은닉층 폭이 4d 로 정해져 있어서, 스크립트 안에서 폭만 다른 MLP 를 바꿔 끼웠다. 학습 조건은 GPT 와 MLP 언어 모델을 비교할 때와 같다(4,000 스텝, 스텝당 16,384 토큰, 학습률 2e-3, 시드 1337).

# sources/gpt/mlp_width_sweep.py 에서 발췌
def make_mlp(hidden):
    class MLP(nn.Module):            # gpt.py 의 MLP 와 같고 은닉층 폭만 hidden
        def __init__(self, cfg):
            super().__init__()
            self.c_fc = nn.Linear(cfg.n_embd, hidden)
            self.c_proj = nn.Linear(hidden, cfg.n_embd)
        def forward(self, x):
            return self.c_proj(F.gelu(self.c_fc(x)))
    return MLP

G.MLP = make_mlp(max(hid, 1))       # Block 이 G.MLP 를 불러 층을 만든다
cfg = G.GPTConfig(vocab_size=tok.vocab_size, block_size=256, n_layer=L, n_head=4, n_embd=D, mlp=hid > 0)
## 2. 요약 (검증 글 전체)
  모델                      파라미터     MLP 파라미터       손실    바이트당 비트    학습 초
  4층, MLP 없음         2,169,344            0   2.0039     0.7294      94
  4층, 은닉 d           2,697,728      526,336   1.7863     0.6502     146
  4층, 은닉 2d          3,223,040    1,051,648   1.7334     0.6310     193
  4층, 은닉 4d          4,273,664    2,102,272   1.6838     0.6129     230
  4층, 은닉 8d          6,374,912    4,203,520   1.6394     0.5968     266
  12층, MLP 없음        4,278,784            0   1.9232     0.7001     262

sources/gpt/mlp_width_sweep.out 의 마지막 표에서 여섯 줄을 옮겼고, 모델 여덟 개에 1,867초가 걸렸다.

은닉 4d 줄은 앞에서 학습한 작은 GPT 와 같은 모델이고, 바이트당 비트도 0.6129 로 같게 나왔다. MLP 를 빼면 0.7294 로, 같은 4,000 스텝을 학습한 MLP 언어 모델(0.9326)보다는 낫지만 작은 GPT 와의 차이가 0.12 비트나 된다. 은닉층을 d 만 줘도 0.6502 로, MLP 없는 모델과 작은 GPT 사이의 0.1165 비트 가운데 2/3 가 메워지고, 2d 에서 0.6310, 4d 에서 0.6129, 8d 에서 0.5968 이 된다. 폭을 두 배로 할 때마다 MLP 파라미터도 두 배가 되는데, 줄어드는 비트는 0.0792, 0.0192, 0.0181, 0.0161 로 작아진다. 학습 초는 GPU 를 다른 작업과 나눠 쓴 값이라 앞의 50초와 비교하지 않고 모델끼리의 차이로만 읽는다.

마지막 줄은 파라미터 수를 은닉 4d·4층 모델과 거의 같게 맞춘 것이다. 층 하나의 가중치가 어텐션 4d² 에 MLP 2dm 이니, 층의 가중치 합이 48d² 가 되도록 MLP 를 빼고 어텐션 층을 12층으로 늘렸다. 이 모델은 0.7001 로, 4층에 MLP 가 없는 모델(0.7294)보다 조금 나을 뿐이다. 같은 파라미터라도 이 학습량(4,000 스텝)에서는 어텐션만으로 MLP 가 하던 일을 대신하지 못했다.

왼쪽: 4층, 폭 d = 256 에서 MLP 은닉층 폭만 바꿨을 때 검증 글 전체의 바이트당 비트. MLP 가 없으면 0.7294, 은닉 d 에서 0.6502, 4d 에서 0.6129 다. 오른쪽: 층의 파라미터를 모두 48d²(3,145,728 개)로 맞춘 두 모델로, MLP 없는 12층이 0.7001, 은닉 4d 4층이 0.6129 다(sources/gpt/mlp_width_sweep.py, 그림은 plot_mlp_width_sweep.py)
왼쪽: 4층, 폭 d = 256 에서 MLP 은닉층 폭만 바꿨을 때 검증 글 전체의 바이트당 비트. MLP 가 없으면 0.7294, 은닉 d 에서 0.6502, 4d 에서 0.6129 다. 오른쪽: 층의 파라미터를 모두 48d²(3,145,728 개)로 맞춘 두 모델로, MLP 없는 12층이 0.7001, 은닉 4d 4층이 0.6129 다(sources/gpt/mlp_width_sweep.py, 그림은 plot_mlp_width_sweep.py)
이서연 S01
이서연

MLP 를 빼면 확실히 나빠지네. 그런데 숫자만 봐서는 은닉 단위 하나가 무엇을 하는지는 여전히 모르겠어.

선생님 T01
선생님

그럼 학습을 마친 모델의 은닉 단위를 하나씩 열어 봐요. 그 전에 같은 물음을 먼저 던진 사람들의 이야기를 해 볼까요.

역사: 피드포워드 층은 키–값 기억이다

MLP 를 논문들은 피드포워드 층(feed-forward layer)이라 부른다. 우리 모델에서도 층 하나의 가중치 12d² 가운데 8d² 가 MLP 인데, 텔아비브 대학의 게바(Mor Geva) 팀은 이 사정을 「피드포워드 층이 트랜스포머 파라미터의 3분의 2를 차지하는데도 그 역할은 덜 연구되었다」고 적으며 연구를 시작했다. 그들은 「Transformer Feed-Forward Layers Are Key-Value Memories」(EMNLP 2021)에서 MLP 의 식을 다시 읽었다. 바이어스를 빼면 MLP 는 f(x·Kᵀ)·V 로 적히는데, 이것은 어텐션의 식에서 소프트맥스를 다른 함수로 바꾸고 키와 값을 문맥 대신 파라미터로 둔 것과 같다. 그래서 W_up 의 행 하나를 키, W_down 의 열 하나를 값으로 보고, 은닉 단위 하나를 키–값 기억 한 칸으로 보자고 했다.

키–값으로 나란히 본 셀프 어텐션과 MLP. 어텐션의 키와 값은 문맥 속 앞 토큰들이 그때그때 만들고, MLP 의 키(물음, W_up 의 행)와 값(답, W_down 의 열)은 학습이 끝나면 고정된다. 어텐션은 쿼리와 키의 내적에 소프트맥스를, MLP 는 내적에 GELU 를 씌운다. 게바 팀 2021 의 식 FF(x) = f(x·Kᵀ)·V 를 이 책의 낱말로 다시 그린 도식이다(sources/gpt/mlp_figures.py)
키–값으로 나란히 본 셀프 어텐션과 MLP. 어텐션의 키와 값은 문맥 속 앞 토큰들이 그때그때 만들고, MLP 의 키(물음, W_up 의 행)와 값(답, W_down 의 열)은 학습이 끝나면 고정된다. 어텐션은 쿼리와 키의 내적에 소프트맥스를, MLP 는 내적에 GELU 를 씌운다. 게바 팀 2021 의 식 FF(x) = f(x·Kᵀ)·V 를 이 책의 낱말로 다시 그린 도식이다(sources/gpt/mlp_figures.py)

확인은 사람 손으로 했다. 위키백과 글 WikiText-103 으로 학습한 16층 언어 모델(폭 1,024, 은닉층 4,096)에서 층마다 키를 10 개씩 무작위로 골라, 학습 글의 모든 문장 앞부분 가운데 그 키에 가장 크게 반응한 25 개를 뽑았다. 그리고 자연어 처리 대학원생들에게 25 개에서 되풀이되는 규칙을 찾게 했다. 모든 키에서 적어도 규칙 하나가 나왔고(키마다 평균 3.6 개), 뽑힌 앞부분의 65~80% 가 찾은 규칙에 들어맞았다. 아래층(1~9층)의 키는 「substitutes 로 끝난다」처럼 마지막 낱말이 같은 얕은 규칙에, 위층(10~16층)의 키는 「TV 프로그램 이야기」처럼 뜻이 같은 규칙에 반응했다.

값 쪽은 출력 임베딩으로 읽었는데, 값 벡터에 출력 임베딩 행렬을 곱하면 어휘 전체에 점수가 하나씩 생긴다. 그 1등 토큰이, 같은 단위의 키에 가장 크게 반응한 문장의 실제 다음 토큰과 같은 단위의 비율을 구했더니 1~10층에서는 0 에 가깝다가 11층부터 올라 3.5% 까지 갔다. 어휘가 27만 개쯤인 모델이라 아무 토큰이나 찍으면 0.0004% 가 나오는 비율이다. 다만 층 하나의 최종 예측은 많은 경우 단위 하나의 예측과 달랐다. 층의 예측이 그 층의 어느 단위의 1등 토큰과도 다른 경우가 적어도 68% 였고, 저자들은 층의 출력을 여러 기억이 합쳐진 결과라고 적었다.

이듬해 같은 팀(게바, 카치울라루, 왕, 골드버그)은 「Transformer Feed-Forward Layers Build Predictions by Promoting Concepts in the Vocabulary Space」(EMNLP 2022)에서 GPT-2 로 범위를 넓혔다. 값 벡터 하나가 올리는 토큰들을 사람이 읽어 보니, 11층의 한 값은 drinks, coffee, tea, soda, burgers 를 올렸고 다른 값은 which, whose, whom, where 를 올렸다. GPT-2 에서 값 벡터의 상위 토큰 가운데 개념으로 묶이는 것이 37% 로, 같은 통계를 가진 무작위 벡터의 16% 보다 많았다. 값 10 개의 무게를 키우는 것만으로 GPT-2 가 쓰는 글의 유해성을 50% 가까이 줄인 실험도 함께 실었다.

이 생각은 강의 영상으로도 널리 퍼졌다. 황자빈(Jia-Bin Huang)의 유튜브 영상 「Mixture of Experts (MoE), Visually Explained」는 W_up 의 행을 토큰에 던지는 물음으로, W_down 의 열을 그 물음에 관련된 사실로 읽으며 「The capital of Taiwan is」에서 타이베이를 담은 열 하나를 예로 든다.

물음과 답으로 읽기

MLP 의 계산을 은닉 단위마다 나눠 적으면 다음과 같다.

MLP(h)=Wdown GELU(Wup h+bup)+bdown=∑i=1mai vi+bdown,ai=GELU(ui⋅h+bi)\mathrm{MLP}(\textcolor{#a5003c}{h}) = \textcolor{#665522}{W_{\text{down}}}\,\mathrm{GELU}\big(\textcolor{#665522}{W_{\text{up}}}\,\textcolor{#a5003c}{h} + \textcolor{#665522}{b_{\text{up}}}\big) + \textcolor{#665522}{b_{\text{down}}} = \sum_{\textcolor{#a67a63}{i}=1}^{\textcolor{#3c4bff}{m}} \textcolor{#a5003c}{a_{i}}\,\textcolor{#665522}{v_{i}} + \textcolor{#665522}{b_{\text{down}}}, \qquad \textcolor{#a5003c}{a_{i}} = \mathrm{GELU}\big(\textcolor{#665522}{u_{i}} \cdot \textcolor{#a5003c}{h} + \textcolor{#665522}{b_{i}}\big)
hMLP 에 들어오는 잔차 스트림 벡터(정규화를 거친 것), 길이 duiWup 의 i 번째 행, 길이 d (은닉 단위 i 의 물음)viWdown 의 i 번째 열, 길이 d (은닉 단위 i 의 답)bi, bup, bdown바이어스ai은닉 단위 i 의 활성값(GELU 를 지난 값)i은닉 단위 번호m은닉층 폭(은닉 단위의 수), 우리 모델은 4d=1,024d모델 폭, 256\begin{array}{ll} \textcolor{#a5003c}{h} & \text{MLP 에 들어오는 잔차 스트림 벡터(정규화를 거친 것), 길이 } \textcolor{#3c4bff}{d} \\ \textcolor{#665522}{u_{i}} & \textcolor{#665522}{W_{\text{up}}} \text{ 의 } \textcolor{#a67a63}{i} \text{ 번째 행, 길이 } \textcolor{#3c4bff}{d} \text{ (은닉 단위 } \textcolor{#a67a63}{i} \text{ 의 물음)} \\ \textcolor{#665522}{v_{i}} & \textcolor{#665522}{W_{\text{down}}} \text{ 의 } \textcolor{#a67a63}{i} \text{ 번째 열, 길이 } \textcolor{#3c4bff}{d} \text{ (은닉 단위 } \textcolor{#a67a63}{i} \text{ 의 답)} \\ \textcolor{#665522}{b_{i}},\ \textcolor{#665522}{b_{\text{up}}},\ \textcolor{#665522}{b_{\text{down}}} & \text{바이어스} \\ \textcolor{#a5003c}{a_{i}} & \text{은닉 단위 } \textcolor{#a67a63}{i} \text{ 의 활성값(GELU 를 지난 값)} \\ \textcolor{#a67a63}{i} & \text{은닉 단위 번호} \\ \textcolor{#3c4bff}{m} & \text{은닉층 폭(은닉 단위의 수), 우리 모델은 } 4\textcolor{#3c4bff}{d} = 1{,}024 \\ \textcolor{#3c4bff}{d} & \text{모델 폭, 256} \end{array}

은닉 단위 i 는 세 가지 일을 한다. 먼저 들어온 벡터 h 와 자기 행 ui 의 내적으로 「지금 읽는 위치가 내가 찾는 경우인가」를 묻는다. 다음으로 GELU 가 음수 쪽을 0 근처로 눌러 「아니오」로 나온 물음을 지운다. 마지막으로 남은 물음마다 자기 열 vi 를 활성값 ai 만큼 곱해 잔차 스트림에 더한다. MLP 의 출력은 켜진 단위들의 답을 활성값의 무게로 더한 것이다.

어텐션과 나란히 놓으면 차이가 분명해진다. 어텐션도 쿼리와 키의 내적으로 고르고 값을 섞었지만, 어텐션의 키와 값은 문맥 속 앞 토큰들이 그때그때 만들어 내고, MLP 의 ui 와 vi 는 학습이 끝나면 고정되는 파라미터다. 어텐션은 「이 글의 앞」에서 찾아 읽고, MLP 는 학습 글 전체에서 배워 가중치에 적어 둔 것에서 찾아 읽는다. 서연이 물은 「MLP 만 하는 일」에 대한 첫 대답이 이것이다.

민준이 은닉 단위의 식과 키–값 그림을 번갈아 보다가 의자에서 몸을 일으켰다.

김민준 M08
김민준

잠깐. 어텐션에만 키랑 값이 있는 줄 알았는데, MLP 도 W_up 으로 올리고 W_down 으로 내리면서 키–값 저장소 노릇을 하는 거잖아!

이서연 S01
이서연

그렇게 읽을 수 있다는 거지. 그게 그렇게 신나?

김민준 M01
김민준

생각해 봐. 어텐션의 키랑 값은 그 글 안에서 그때그때 만들어지고 글이 끝나면 사라져. MLP 의 키랑 값은 파라미터에 남아. 모델 자체의 기억을 여기에 담고 있다는 거잖아. 그러면 여기가 루나의 지식을 좌우하는 가장 중요한 부분이겠네! 별과 우주를 가르치는 것도 결국 여기에 적는 일이고.

이서연 S06
이서연

「가장 중요한 부분」은 어떻게 측정하는데?

김민준 M11
김민준

…지워 보면 되지. 일단 단위부터 열어 볼게.

이렇게 읽으면 모델 폭 d 와 은닉층 폭 m 이 맡는 일이 나뉜다.

256 차원 공간에서 서로 직각인 방향은 256 개뿐인데 물음은 1,024 개라서, 물음 방향들은 서로 겹칠 수밖에 없다. 그래도 되는 이유는 한 자리에서 켜지는 물음이 몇 개뿐이어서다. 검증 글 200만 토큰에서 활성값이 0 보다 큰 단위는 자리마다 평균 1층 27.0%, 2층 7.7%, 3층 9.8%, 4층 14.3% 였다(sources/gpt/mlp_units.out, GELU 는 음수 쪽에 작은 값을 남기므로 0 보다 큰 것만 셌다).

평면에 축 셋을 둔 별 모양처럼, 256 차원에 물음 1,024 개를 두고 자리마다 그 가운데 일부만 켠다. 은닉층이 모델 폭보다 넓은 것은 그래서 낭비가 아니다.

단위 하나를 열어 보기

앞에서 학습한 작은 GPT 를 검증 글 앞 1,999,872 토큰에 걸고, 자리마다 층별 은닉 단위 1,024 개의 활성값을 기록했다. 단위마다 가장 크게 반응한 20 자리가 그 단위의 물음을 보여 준다. 답은 그 단위의 vi 를 모델이 마지막에 쓰는 정규화의 눈금과 출력 행렬(토큰 임베딩과 같은 행렬)로 읽어, 로짓을 가장 크게 올리는 토큰들로 본다. 게바 팀이 값 벡터를 출력 임베딩으로 읽은 방법과 같다.

# sources/gpt/mlp_units.py 에서 발췌
WU = m.lm_head.weight.detach().float()          # (V, d) 출력 행렬
gamma = m.ln_f.weight.detach().float()          # 마지막 정규화의 눈금 (d,)

def answer_logits(l):
    Wd = m.blocks[l].mlp.c_proj.weight.detach().float()   # (d, 1024), 열 i = 단위 i 의 답
    cols = Wd - Wd.mean(0, keepdim=True)                  # 마지막 정규화가 평균을 빼므로
    return (WU @ (gamma[:, None] * cols)).T               # (1024, V): 답이 토큰마다 주는 로짓

4층에서 물음과 답이 잘 맞물리는 단위 셋과 무작위로 고른 단위 하나를 옮기는데, 대괄호 안이 단위가 반응한 위치의 토큰이고 화살표 뒤가 실제 다음 토큰이다.

[4층 단위 658] 맞물림 1.00, 상위 20 자리의 지금 토큰이 같은 비율 1.00, 최대 활성값 5.31
  답(올리는 토큰): ' after' ' cold' ' win' 'thing' ' night' ' morning' ' S' ' day' ' s' ' soon'
  물음 1 (5.31): …, but he felt lonely.\nOne[ sunny] → ' day'
  물음 2 (5.30): …. She lived near the beach. One[ sunny] → ' day'
  물음 3 (5.23): … at peace. It belonged.One[ sunny] → ' day'

[4층 단위 788] 맞물림 1.00, 상위 20 자리의 지금 토큰이 같은 비율 0.35, 최대 활성값 6.16
  답(올리는 토큰): 's' 'es' 'ies' 'les' 'ves' 'ers' 'ses' 'ts' 'cks' 't'
  물음 1 (6.16): …art. He sees the leopard. He[ throw] → 's'
  물음 5 (5.72): … very kind and gets a ladder. She[ climb] → 's'
  물음 6 (5.65): …. The dog is very friendly. He[ wag] → 's'

[4층 단위 384] 맞물림 0.95, 상위 20 자리의 지금 토큰이 같은 비율 0.35, 최대 활성값 5.21
  답(올리는 토큰): ' her' ' she' ' She' 'She' ' herself' ' Her' ' go' ' went' 'Her' ' pretty'
  답(내리는 토큰): ' brothers' 'His' ' His' ' himself' ' roar' 'ood'
  물음 1 (5.21): … angry too. He yelled at Sara and[ pushed] → ' her'
  물음 2 (5.18): … she grew up. Her mom and dad[ gave] → ' her'
  물음 6 (4.90): …ion. He said sorry to Lily and[ gave] → ' it'

[4층 단위 958] 맞물림 0.00, 상위 20 자리의 지금 토큰이 같은 비율 0.25, 최대 활성값 5.08
  답(올리는 토큰): 'ct' ' saying' 'g' ' t' ' tal' ' op' 'c' ' batter' ' job' ':'
  물음 1 (5.08): … poked Pokie's ear very[ gently] → '.'
  물음 2 (4.14): … an idea. She found a soft leaf[ and] → ' put'
  물음 3 (3.99): … It had a hurt leg.\nSam[ gently] → ' touched'

출력에서 줄 몇 개를 줄였다(전체는 sources/gpt/mlp_units.out 3절). 단위 658 의 물음은 「One sunny 바로 뒤인가」이고, 답은 day, morning, night 같은 때를 나타내는 낱말이다. 단위 788 은 지금 토큰이 throw, climb, wag 처럼 서로 달라도 「He, She 뒤에 온 동사 줄기인가」를 묻고, 답으로 s, es, ies 같은 3인칭 어미를 올린다. 단위 384 는 동사 뒤에 여자아이를 가리키는 말이 올 자리를 알아보고 her, she, herself 를 올리면서 His, himself 는 내린다. 앞 문장의 Sara, Lily 가 여자아이라는 정보는 어텐션이 앞에서 읽어 와 잔차 스트림에 올려 두었을 것이다. MLP 는 그 위에서 물음을 던진다.

단위 958 은 다르다. gently 와 and 에 반응하는데 그 사이에 공통점을 찾기 어렵고, 답의 상위 토큰(ct, saying, g)도 물음과 이어지지 않는다. 이런 단위가 드물지 않다. 단위마다 가장 크게 반응한 20 자리의 실제 다음 토큰이 그 단위의 답 상위 10 개에 드는 비율(맞물림)을 층마다 평균하면 다음과 같다.

## 2. 물음과 답이 맞물리는가 (단위마다: 가장 크게 반응한 20 자리의 실제 다음 토큰이 답의 상위 10 토큰에 드는 비율)
  무작위 짝: 단위의 물음에 다른 단위(무작위로 섞음)의 답을 붙여 같은 비율을 잰 것
    층    평균 비율    무작위 짝    비율≥0.5 단위   top1 일치   top1 무작위     같은 토큰 비율
    1    0.087    0.014       44/1024     0.024      0.003        0.523
    2    0.097    0.016       65/1024     0.035      0.002        0.604
    3    0.126    0.018       85/1024     0.029      0.002        0.515
    4    0.101    0.014       60/1024     0.032      0.003        0.446

물음과 답을 단위끼리 무작위로 섞어 짝지으면 비율이 0.014~0.018 인데, 제짝끼리는 0.087~0.126 으로 여섯 배가 넘는다. 한 단위의 물음과 답이 서로 맞물리도록 함께 학습되었다는 뜻이다. 그러나 맞물림이 0.5 를 넘는 단위는 4층 1,024 개 가운데 60 개, 가장 많은 3층에서도 85 개다. 대부분의 단위는 658 번처럼 한 문장으로 설명되지 않는다. 단위 하나가 서로 관계없어 보이는 여러 경우에 반응하는 현상을 연구자들은 중첩(superposition)이라는 이름으로 설명하는데, 단위 하나가 아니라 여러 단위에 걸친 방향을 읽어야 한다는 이야기다. 이 장에서는 이름만 적어 둔다.

우리 작은 GPT 의 층마다, 은닉 단위가 가장 크게 반응한 검증 글 20 자리의 실제 다음 토큰이 그 단위의 답(W_down 열을 어휘로 읽은 상위 10 토큰)에 든 비율. 회색은 물음과 답을 단위끼리 무작위로 섞어 짝지은 값이다. 게바 팀 2021 의 일치율(1등 토큰 하나끼리 비교)을 우리 모델에서 조금 느슨하게 다시 측정한 것이다(sources/gpt/mlp_units.py)
우리 작은 GPT 의 층마다, 은닉 단위가 가장 크게 반응한 검증 글 20 자리의 실제 다음 토큰이 그 단위의 답(W_down 열을 어휘로 읽은 상위 10 토큰)에 든 비율. 회색은 물음과 답을 단위끼리 무작위로 섞어 짝지은 값이다. 게바 팀 2021 의 일치율(1등 토큰 하나끼리 비교)을 우리 모델에서 조금 느슨하게 다시 측정한 것이다(sources/gpt/mlp_units.py)
작은 GPT 4층의 실제 은닉 단위 넷이 시작 문장 「Lily lived near the beach. One sunny」의 마지막 자리에서 낸 활성값. 「One sunny 뒤인가」를 묻는 단위 658 이 크게 켜져 day, morning 같은 답을 더하고, 나머지는 거의 꺼져 답을 더하지 않는다. 물음 상자의 문장은 mlp_units.out 의 상위 자리를 보고 우리가 붙인 설명이다(sources/gpt/mlp_figures.py)
작은 GPT 4층의 실제 은닉 단위 넷이 시작 문장 「Lily lived near the beach. One sunny」의 마지막 자리에서 낸 활성값. 「One sunny 뒤인가」를 묻는 단위 658 이 크게 켜져 day, morning 같은 답을 더하고, 나머지는 거의 꺼져 답을 더하지 않는다. 물음 상자의 문장은 mlp_units.out 의 상위 자리를 보고 우리가 붙인 설명이다(sources/gpt/mlp_figures.py)

「Lily 의 개 이름」을 맞힐 때

동영상의 「대만의 수도」처럼 사실 하나를 묻는 문장이면 그 사실을 담은 단위가 따로 있을까? 동화만 읽은 작은 GPT 에 맞춰 「Lily had a little dog. Lily’s dog was named」를 주고(여기서 쓰는 체크포인트는 gpt_small.pt 로, 헤드 수 실험의 split_H4.pt 와 설정은 같지만 따로 학습했다. Max 의 확률이 0.463 이 아니라 0.624 인 것도 그 때문이다), 모델이 고른 토큰의 로짓에 마지막 층 MLP 의 단위들이 얼마씩 더했는지 계산했다. 기여는 활성값 × (그 단위의 답이 그 토큰에 주는 로짓)을 마지막 정규화가 나누는 크기까지 반영해 계산했다.

시작 문장: "Lily had a little dog. Lily's dog was named"
  모델의 다음 토큰 상위 5: ' Max' 0.624, ' Spot' 0.236, ' Buddy' 0.058, ' Ben' 0.015, ' Rex' 0.007
  ' Max' 에 마지막 층 MLP 가 더한 로짓 합 2.68, 활성 단위 196/1024
    단위 818: 활성값 2.22, 기여 0.62 | 답 상위: ' Spot' ' Max' ' Bob' ' Dad' ' Sam' ' Anna' ' Tim' ' Lily'
      이 단위의 물음 1: ….\nShe ran to her big brother[,] → ' Tom'
    단위 166: 활성값 2.49, 기여 0.55 | 답 상위: ' Ollie' ' Timmy' ' Bob' ' Buzzy' ' Remy' ' Billy' ' Blue' ' Tom'
      이 단위의 물음 1: … yard. One day, they see their[ dad] → ' with'
    단위 141: 활성값 1.88, 기여 0.49 | 답 상위: ' B' ' L' ' Sue' ' Tim' ' Sam' ' Bob' ' O' ' J'
      이 단위의 물음 1: … He paused to look at the fish[.] → ' The'
    단위 171: 활성값 3.31, 기여 0.47 | 답 상위: ' Tina' ' Br' ' Buzzy' ' Momo' ' Em' ' vill' ' Ollie' ' Jerry'
      이 단위의 물음 1: … was a little rhinoceros[ named] → ' Remy'

모델은 동화 속 개 이름으로 그럴듯한 Max(0.624)와 Spot(0.236)을 고르는데, 단위들의 기여 목록을 어떻게 읽을지는 아래 문제 2 에서 함께 따져 본다.

ML에서: 은닉층을 넓히는 값과 전문가 혼합

은닉층을 넓히면 물음과 답의 쌍이 늘어 더 많은 경우를 가려낼 수 있지만, 토큰마다 물음을 전부 계산해야 하므로 계산량과 메모리가 폭에 비례해 는다. 그런데 한 자리에서 켜지는 단위는 앞에서 측정한 대로 일부뿐이다. 은닉층을 여러 덩어리로 나누고 토큰마다 몇 덩어리만 계산하는 전문가 혼합 (Mixture of Experts, MoE)은 이 관찰을 계산 절약으로 바꾼 구조다. 황자빈의 영상도 피드포워드 층의 역할을 설명한 바로 뒤에 「토큰 하나에 상관없는 물음과 답이 많으니 그 계산을 건너뛰자」는 이유로 전문가 혼합을 꺼낸다.

문제 1. 물음을 두 배로 늘리는 값

은닉층 폭 실험의 표에서 4층 모델의 은닉층을 d → 2d → 4d → 8d 로 두 배씩 넓혔다. (가) 구간마다 늘어난 MLP 파라미터 100만 개당 바이트당 비트가 얼마나 줄었는지 구하라. (나) 폭 d = 256 을 그대로 두고 은닉층만 계속 넓혀 가면 바이트당 비트를 얼마든지 낮출 수 있을까?

김민준 M01
김민준

표에서 빼 볼게. d → 2d 는 MLP 파라미터가 525,312 개 늘고 바이트당 비트가 0.0192 줄었으니 100만 개당 0.0366. 2d → 4d 는 1,050,624 개에 0.0181 이라 0.0172, 4d → 8d 는 2,101,248 개에 0.0161 이라 0.0077 이야.

이서연 S02
이서연

구간마다 절반 아래로 줄어드네. 같은 파라미터 100만 개가 폭이 넓을수록 덜 듣는 거구나.

선생님 T01
선생님

(나)를 생각할 때는 물음 하나가 무엇을 읽는지부터 봐요. 단위 1,024 개의 물음은 각자 무엇을 읽죠?

이서연 S01
이서연

모두 같은 잔차 스트림 256 개의 수요. 물음 벡터 길이가 d 니까.

김민준 M06
김민준

그럼 물음을 2,048 개로 늘려도 읽는 건 256 개 그대로야. 앞 토큰에서 무엇을 가져와 그 256 칸에 올릴지는 어텐션이 정하고.

이서연 S08
이서연

아, 잔차 스트림에 실려 있지 않은 정보로는 물음이 아무리 많아도 경우를 가를 수가 없겠네. 은닉층 폭은 물음의 개수고, d 는 물음과 답이 오가는 길의 폭이니까 한쪽만 키우면 다른 쪽이 막혀.

선생님 T14
선생님

그래요. 그리고 하나 더 있어요. 이 실험은 모두 4,000 스텝만 학습했어요. 파라미터가 많은 모델이 그만큼 좋아지려면 학습량도 늘려야 할 수 있으니, 표의 체감은 「이 학습량에서」라는 단서를 달고 읽어요. 트랜스포머 논문(폭 512, 은닉층 2,048)부터 GPT-2 까지 은닉층을 폭의 4배로 둔 것도, 두 폭을 함께 키우는 관례로 보면 돼요.

문제 2. Lily 의 개 이름을 아는 단위가 있을까

「Lily had a little dog. Lily’s dog was named」의 마지막 자리에서 계산한 마지막 층 MLP 단위들의 기여 출력을 보고 답하라. 이 모델에 「Lily 의 개 이름은 Max」를 담은 단위가 있다고 말할 수 있는가? 있다면 어느 단위인가? 없다면 Max 의 로짓에 더해진 2.68 은 어디서 왔는가?

이서연 S01
이서연

단위 818 은 답 상위에 Spot 이랑 Max 가 둘 다 있어. 이게 개 이름 단위 아닐까?

김민준 M01
김민준

그런데 818 이 가장 크게 반응한 자리는 「She ran to her big brother,」야. 개 얘기가 아니야.

이서연 S06
이서연

brother 다음 쉼표에서 켜지는데 답은 개 이름이라니, 이상한데.

선생님 T01
선생님

넷의 물음 자리를 나란히 놓아 볼까요. 각 자리 바로 뒤에 실제로 온 토큰은 무엇이었죠?

김민준 M01
김민준

818 은 brother, 뒤에 Tom. 166 은 「their dad」 뒤라 with 이긴 한데, 171 은 「rhinoceros named」 뒤에 Remy. 141 은 마침표나 느낌표 뒤고요.

이서연 S07
이서연

818 이랑 171 은 이름이 올 수 있는 자리에서 켜지고, 답으로는 이름 목록을 올리는구나. 「개」를 묻는 단위가 아니라 「여기에 이름이 오나」를 묻는 단위야.

선생님 T01
선생님

그러면 Max 의 2.68 은 어떻게 쌓였을까요?

김민준 M01
김민준

가장 큰 게 0.62 니까 넷을 다 더해도 2.13 이에요. 나머지 0.55 는 켜진 196 개 가운데 다른 단위들이 더하고 뺀 합이고요. 단위 하나가 Max 를 정한 게 아니네요.

선생님 T13
선생님

그래요. 이름 단위 여럿이 이름 목록을 조금씩 더하고, 그 합에서 Max 가 앞섰어요. 왜 하필 개 이름이 앞서는지는 이 출력만으로는 알 수 없어요. 앞 층들과 어텐션이 잔차 스트림에 올려 둔 것까지 함께 봐야 해요. 게바 팀도 층의 예측이 그 층 어느 단위의 1등 토큰과도 다른 경우가 68% 를 넘는다고 했죠. 「타이베이를 담은 열 하나」는 생각을 시작하기 좋은 그림이고, 실제 모델은 여러 열의 합으로 답을 만든다고 보는 편이 맞아요.