MLP 는 무엇을 아는가: 물음과 답, 그리고 지식이 있는 곳
아는 것과 할 줄 아는 것: 키 하나에 값 하나를 묶는 행렬
다음 날 라운지 화면에는 기출 실험의 표가 그대로 떠 있었고, 민준은 문제 1,000 개 줄에 손가락을 올려놓고 있었다.

선생님, 이 모델은 차를 구하는 문제를 안다고 해야 해요, 모른다고 해야 해요? 기출 1,000 개의 답은 전부 아는데 새 문제는 7% 예요.

「안다」는 말이 두 가지 일을 함께 가리켜서 생기는 물음이에요. 옥스퍼드의 철학자 길버트 라일(Gilbert Ryle)이 1949 년에 낸 『마음의 개념』(The Concept of Mind)에서 두 가지를 구분했어요. 하나는 「~임을 안다」(knowing that)이고, 다른 하나는 「~할 줄 안다」(knowing how)예요. 당시에는 일을 잘하는 사람이 머릿속에서 규칙을 먼저 떠올리고 그 규칙대로 실행한다는 설명이 널리 받아들여졌는데, 라일은 그 설명이 끝나지 않는다고 반박했어요. 떠올린 규칙을 지금의 경우에 맞게 적용하는 것도 잘할 수도 있고 못할 수도 있는 일이에요. 그 적용을 잘하려면 다시 다른 규칙을 알아야 한다고 하면, 그 규칙의 적용에 또 규칙이 필요해지죠. 그래서 라일은 할 줄 아는 것을 사실의 목록으로 바꿔 적을 수 없다고 결론지었어요. 체스의 규칙을 말로는 한 줄도 적지 못하면서 규칙대로 두는 아이가 있고, 규칙을 전부 암기하고도 서툴게 두는 사람이 있다는 것이 그의 예예요.

그러면 「~임을 안다」 쪽은 수학으로 적을 수 있어요. 가장 작은 형태는 키 하나에 값 하나를 묶는 행렬이에요. 길이가 1 인 키 벡터 k 와 값 벡터 v 가 있을 때 W = v kᵀ 로 두면, W 에 k 를 곱한 결과는 v 에 k·k = 1 을 곱한 것이라서 v 가 그대로 나와요. 역사 소절에서 본 「벡터 둘의 곱으로 적히는 행렬」, 랭크 1 행렬이 이거예요. 쌍이 여럿이면 그런 행렬을 더하면 되고요.
서연은 2 차원에서 쌍 둘을 묶어, 키 둘이 직교할 때와 직교하지 않을 때를 차례로 출력했다(sources/mlp-parts/kv_memory.py).
키가 직교할 때
k1 = [1. 0.], k2 = [0. 1.], k1·k2 = 0.0
W = v1 k1^T + v2 k2^T = [[2.0, 0.0], [0.0, 3.0]]
W k1 = [2. 0.] (v1 = [2. 0.])
W k2 = [0. 3.] (v2 = [0. 3.])
키가 직교하지 않을 때
k1 = [1. 0.], k2 = [0.6 0.8], k1·k2 = 0.6
W = v1 k1^T + v2 k2^T = [[2.0, 0.0], [1.8, 2.4]]
W k1 = [2. 1.8] (v1 = [2. 0.])
W k2 = [1.2 3. ] (v2 = [0. 3.])

키가 직교하면 v1 과 v2 가 정확하게 복원돼. 키끼리의 내적이 0.6 이면 k1 로 복원한 [2, 1.8] 은 v1 에 v2 의 0.6 배가 더해진 값이고, k2 로 복원한 [1.2, 3] 은 v2 에 v1 의 0.6 배가 더해진 값이야. 한 키로 복원할 때 다른 쌍의 값이 키끼리의 내적만큼 더해져 나오는 것을 간섭 (한 기억에 함께 저장한 다른 쌍의 값이 복원 결과에 더해지는 일 / interference)이라고 해. 2 차원에서 서로 직교하는 방향은 둘뿐이라서, 셋째 쌍부터는 간섭을 피할 수 없어.

그럼 차원보다 많이 저장하면 얼마나 망가지는지 측정해 보자. 장난감 모델의 폭이 64 였으니까 64 차원에서.
서연은 기출 실험과 같은 문제를 만들어, 문제마다 64 차원의 무작위 방향 하나를 키로 주고 답 19 가지 가운데 하나를 값으로 묶었다. 키가 무작위 방향이라서 문제의 내용은 키에 들어 있지 않고, 키는 민준의 「문제 번호」 역할만 한다. 기억은 세 가지를 비교했다. v kᵀ 를 더하기만 한 단순 합, 같은 크기의 행렬 가운데 복원 오차가 가장 작은 것을 계산한 최소제곱, 그리고 키를 고정한 무작위 물음 256 개와 ReLU 에 통과시킨 뒤 최소제곱을 적용한 은닉 256 이다.
## 2. 폭 64 에서 쌍의 수를 늘리기 (시드 0, 1, 2 의 평균)
오차 = 복원한 벡터와 값의 차의 제곱 길이(값의 길이는 1), 기출 = 복원한 벡터에서 가장 큰 칸이 답과 같은 비율
쌍의 수 n/64 | 단순 합 오차 기출 | 최소제곱 오차 기출 | 은닉 256 기출
16 0.25 | 0.230 1.000 | 0.000 1.000 | 1.000
32 0.50 | 0.480 1.000 | 0.000 1.000 | 1.000
64 1.00 | 0.968 0.969 | 0.000 1.000 | 1.000
128 2.00 | 2.006 0.797 | 0.512 0.953 | 1.000
256 4.00 | 3.920 0.626 | 0.756 0.704 | 1.000
1000 15.62 | 15.744 0.265 | 0.935 0.264 | 0.665
10000 156.25 | 160.626 0.114 | 0.993 0.114 | 0.173
## 3. 처음 보는 문제 2,000 개의 정답률 (키는 새 무작위 방향)
쌍의 수 | 단순 합 최소제곱 은닉 256
… |
256 | 0.076 0.072 0.071
1000 | 0.067 0.068 0.076
10000 | 0.071 0.072 0.084
답이 0 인 문제의 비율(문제 100만 개): 0.100, 19 가지를 고르게 찍을 때 0.053

단순 합의 오차는 n/64 와 거의 같아. 64 차원의 무작위 방향 둘은 내적의 제곱이 평균 1/64 이라서, 쌍 하나가 늘 때마다 간섭이 그만큼씩 누적되는 거야. 최소제곱은 64 쌍까지 오차가 0.000 이야. 무작위 방향 64 개는 직교하지 않아도 64 차원을 다 채우니까 간섭을 상쇄하는 W 가 존재해. 65 번째 쌍부터는 그런 W 가 없어서 128 쌍에서 0.512, 1,000 쌍에서 0.935 가 돼. 값의 길이가 1 이니까 0.935 는 값을 거의 복원하지 못했다는 뜻이야.

은닉 256 은 256 쌍까지 기출이 1.000 이야! 폭은 64 그대로인데. 은닉층 폭이 물음과 답의 쌍 수라는 게 이 숫자네.

응. 그리고 처음 보는 문제는 세 기억 모두, 몇 쌍을 저장했든 0.064 에서 0.084 사이야. 새 키는 저장한 어느 키와도 관계가 없으니 이건 계산하기 전에도 예상할 수 있었어. 그런데 기출 실험의 장난감 모델이 문제 100 개와 1,000 개에서 얻은 새 문제 정답률이 0.063 에서 0.074 였거든. 숫자의 범위가 겹쳐.

그러면 기출 실험의 장난감 모델도 문제 번호로 암기한 거네?

거기까지는 말 못 해. 범위가 겹친다는 것만 측정했고, 장난감 모델의 안을 확인한 건 아니니까 추측이야. 맞지 않는 숫자도 있어. 은닉 256 기억은 1,000 쌍에서 기출이 0.665 인데 장난감 모델은 1,000 문제를 1.0000 으로 다 맞혔어. 장난감 모델은 물음을 학습으로 정하고 어텐션도 있으니 더 많이 저장할 수 있었을 것 같은데, 이것도 추측이고.

그래도 하나는 알겠어. 「~임을 안다」는 표에 적어 둔 줄이고, 「~할 줄 안다」는 표에 없는 줄의 답을 만들어 내는 계산이야. 표는 차원만큼만 저장되고 적어 둔 줄만 돌려주는데, 계산은 줄 수와 상관이 없어. 내가 기출을 다섯 번 돌린 건 같은 줄 위에 다섯 번 덧쓴 거였네.

민준 학생의 정리대로예요. 그리고 큰 모델을 만드는 사람들은 그 두 가지를 다른 곳에 두는 설계를 선택했어요. 먼저 표 쪽부터 보면, 역사 소절에서 본 편집 방법이 MLP 행렬에 더한 것이 서연 학생이 방금 쓴 v kᵀ 한 장이에요. 그 방법이 키의 방향을 그대로 쓰지 않고 다른 키들과의 간섭이 작아지도록 보정해서 더하는 이유도 오늘의 표에 있어요. 그래도 사실을 고칠 때마다 가중치를 수정해야 하고, 표의 칸은 한정되어 있어요. 그래서 2020 년에 패트릭 루이스(Patrick Lewis)와 동료 연구자들은 사실을 모델 밖의 문서에 두는 방법을 제안했어요. 위키백과를 짧은 조각으로 분할해 조각마다 벡터를 하나씩 붙여 두고, 질문이 들어오면 질문의 벡터와 가까운 조각을 검색해서 질문과 함께 모델에게 읽혀요. 이 방법을 검색 증강 생성 (모델 밖의 문서에서 관련된 조각을 검색해 입력에 붙여 주고 답을 쓰게 하는 방법 / retrieval-augmented generation, RAG)이라고 해요. 바깥의 문서는 키와 값을 한 행렬에 더하지 않고 따로 보관하니 간섭이 없고, 문서를 교체하면 모델을 다시 학습하지 않아도 답이 달라져요. 모델에게 남는 일은 붙여 준 조각에서 필요한 부분을 읽어 답을 쓰는 것인데, 우리 실험에서는 문맥의 이름을 이어 쓰는 베끼기가 그 일에 가장 가까워요. 아는 것은 밖에 두고, 할 줄 아는 것은 모델에 두는 설계예요.

그러면 이렇게 정리할 수 있겠네요. 가중치에 묶은 사실은 칸이 한정되어 있고 서로 간섭하며, 저장한 키에만 답한다. 새 문제의 답을 만드는 계산이 가중치의 어디에 어떤 형태로 들어 있는지는 오늘의 행렬로는 적지 못했고, 그건 아직 추측이에요.
민준은 설정서 셋째 줄로 돌아갔다. 자기가 큰 글씨로 적은 「가장 중요한 부분. MLP 에 넣으면 끝」 옆에 서연이 그려 둔 조그만 물음표가 그대로 있었다. 민준은 그 아래에 코끼리 문장 하나와 표 한 장을 옮겨 붙였다(sources/gpt-parts/knockouts.out, knockouts2.out).
입력: The elephant had a long
지우지 않음 ' trunk' 0.824
주어 자리 어텐션 지움 ' trunk' 0.966
주어 자리 MLP 지움 ' day' 0.007
| 동화 지식(문장 40 개) | 온전한 모델 | 2층부터 MLP 를 지움 | 2층부터 어텐션을 지움 |
|---|---|---|---|
| 동화 GPT | 0.875 | 0.200 | 0.175 |
| 작은 GPT | 0.675 | 0.350 | 0.525 |

주어 자리 MLP 를 지우면 trunk 가 0.007 이니까, 여기까지는 내 말이 맞아. 그런데 동화 GPT 는 어텐션을 지워도 0.175 야. 지식은 MLP 에 많이 있지만, 거기에만 있는 건 아니었어.
민준은 「MLP 에 넣으면 끝」의 「끝」에 줄을 긋고, 그 옆에 「여기도 있음」이라고 적었다.

틀린 자리를 표로 짚어 냈잖아요. 추측을 지우기로 시험하고, 처음부터 다시 학습한 모델과 대어 보고, 마지막에는 키와 값을 묶는 행렬로 MLP 가 무엇을 적어 두는지까지 왔어요.
MLP 는 학습 글에서 배운 물음과 답을 가중치에 적어 둔 기억이어서, 지우면 지식이 크게 준다. 지식이 있는 곳이 MLP 하나는 아니다. 동화 GPT 에서는 어텐션을 지워도 비슷하게 줄었고, MLP 없이 처음부터 배운 모델도 지식이 크게 줄지 않았다. 가중치에 묶은 사실은 칸 수가 허락하는 만큼만 간섭 없이 돌아오고(폭 64 의 최소제곱은 64 쌍까지 오차 0.000, 은닉 256 은 256 쌍까지 기출 1.000), 처음 보는 문제를 풀게 한 것은 같은 문제를 되풀이한 횟수가 아니라 서로 다른 문제의 수였다.