MLP 는 무엇을 아는가: 물음과 답, 그리고 지식이 있는 곳
혼동하기 쉬운 점과 요약
토론 1. MLP 는 지식을, 어텐션은 문맥을 맡는다고 딱 나눌 수 있는가
은닉 단위를 물음과 답으로 읽으면 MLP 는 학습 글에서 배운 것을 가중치에 적어 둔 기억처럼 보인다. 그러면 모델이 아는 사실은 모두 MLP 에 있고, 어텐션은 문맥만 옮긴다고 나눠 말해도 되는가?

우리 실험이 그렇게 말하는 것 같아요. 파라미터를 똑같이 맞춰도 MLP 없는 12층은 0.7001 이고, MLP 가 있으면 0.61 대였잖아요.

그 실험은 4,000 스텝 동안 동화를 읽힌 뒤의 바이트당 비트를 측정한 거예요. 사실을 몇 개 외웠는지를 센 건 아니에요. 외운 사실의 양을 직접 측정한 연구가 있어요. 제위안 알렌주(Zeyuan Allen-Zhu)와 위안즈 리는 「Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws」(2024)에서 (미국, 수도, 워싱턴 D.C.) 같은 세 짝으로 적히는 사실을 합성 데이터에 넣고, 모델이 외운 지식의 양을 측정했어요. 같은 사실을 학습 중에 1,000 번 본 조건에서는 GPT-2 형태 모델의 MLP 를 1/4 크기로 줄여도, 아예 빼도 담은 지식의 양이 그대로였어요. 저자들은 어텐션 층도 지식을 담을 수 있다고 적었어요.

빼도 그대로요? 그럼 우리 12층은 왜 나빴죠?

같은 논문에서 사실을 100 번만 본 조건에서는 MLP 를 빼자 담은 양이 1.5 배 넘게 줄었어요. 우리 학습은 학습 글의 12% 쯤만 읽고 멈췄으니, 많이 보지 못한 쪽에 가까워요.

그럼 MLP 가 기억을 맡는다는 건 칸막이가 아니라 경향이네요. 같은 사실을 충분히 많이 보면 어텐션도 외울 수 있고, 적게 볼 때는 MLP 가 있어야 더 많이 외우는 거고요.

그렇게 정리하면 돼요. 물음과 답으로 읽기는 MLP 가 하는 일을 이해하는 좋은 출발점이고, 지식이 MLP 에만 있다는 뜻은 아니에요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| MLP 를 넓히기만 하면 계속 좋아진다고 봄 | 1 | 폭을 두 배로 할 때마다 파라미터 100만 개당 줄어드는 비트가 0.0366, 0.0172, 0.0077 로 줄었다. 물음은 모두 폭 d 인 잔차 스트림만 읽는다 |
| 사실 하나를 단위 하나가 담는다고 봄 | 2 | Max 의 로짓에 마지막 층 MLP 단위들이 더한 2.68 가운데 가장 큰 단위가 0.62 였다. 상위 단위들은 「여기에 이름이 오나」를 묻는다 |
| 지식은 MLP 에만, 어텐션은 문맥만 맡는다고 봄 | 토론 1 | 같은 사실을 1,000 번 본 조건에서는 MLP 를 빼도 담은 지식의 양이 그대로였다(알렌주·리 2024). 우리 4,000 스텝 실험에서는 MLP 없는 12층이 0.7001 로 나빴다 |
| 지웠을 때 크게 나빠지면 그 부품에 지식이 들어 있다고 봄 | 3 | 1층 MLP 는 코끼리 자리에서 지워도(0.158) 코끼리가 없는 자리에서 지워도(0.180) 똑같이 무너진다. 대조군이 있어야 한다 |
| 큰 모델의 결론이 작은 모델에도 그대로일 거라고 봄 | 본문 | 메릉 팀의 6.6%, 1.6% 는 GPT-2 XL 에서 문장 1,000 개를 평균한 값이다. 우리 8층과 문장 12 개로는 주어 자리와 다른 자리가 갈리지 않는다 |
요약
MLP 의 은닉 단위 하나는 W_up 의 행으로 「지금 읽는 위치가 그 행이 찾는 경우인가」를 묻고, 켜지면 W_down 의 열을 잔차 스트림에 더한다. 어텐션이 문맥 속 앞 토큰에서 찾아 읽는다면, MLP 는 학습 글에서 배워 가중치에 적어 둔 물음과 답에서 찾아 읽는다(게바 팀 2021 의 키–값 기억). 모델 폭 d 는 물음과 답 하나의 길이이고, 은닉층 폭 4d 는 물음과 답의 개수다. 4층 모델에서 MLP 를 빼면 바이트당 비트가 0.7294, 은닉 d 에서 0.6502, 4d 에서 0.6129, 8d 에서 0.5968 이었고, 같은 파라미터를 어텐션 층에만 쓴 12층 모델은 0.7001 이었다. 물음과 답이 깔끔하게 읽히는 단위는 일부(4층 1,024 개 가운데 60 개)이고, 「Lily 의 개 이름」 같은 답도 여러 단위의 합으로 만들어진다.
민준의 「가장 중요한 부분」은 숫자로 다듬어졌다. 사실 기억이 가운데 층 MLP 를 지나고(메릉 팀 2022), 꺼내기에는 어텐션 헤드가 함께 일하며(게바 팀 2023), 찾아낸 위치가 고칠 위치와 같지도 않다(하세 팀 2023). 동화 GPT 에서 2층부터 MLP 를 지우면 동화 지식이 0.875 에서 0.200, 어텐션을 지우면 0.175 로 줄었다(작은 GPT 에서는 0.675 에서 0.350, 0.525). 베끼기는 어텐션을 지울 때 0.042 로, MLP 를 지울 때는 0.190 으로 줄었고, 5층 어텐션 하나만 지워도 0.370 이 됐다. 처음부터 부품 없이 다시 학습하면 그림이 달라져서, 작은 GPT 조건에서 MLP 없는 4층의 동화 지식은 0.600, 0.625 로 온전한 모델(0.675, 0.650)에 가까웠고 어텐션 없는 4층은 0.125 에 그쳤다.
장난감 태스크를 같은 횟수(스텝마다 512 문제, 8,000 스텝)만큼 풀게 해도, 문제 1,000 개를 되풀이한 모델은 기출을 다 맞히면서 새 문제는 7% 안팎에 그쳤고, 서로 다른 문제 10,000 개를 푼 모델은 새 문제도 95% 안팎을 맞혔다. 학습 끝 손실은 둘 다 0 이었으니, 새 문제를 풀게 한 것은 되풀이한 횟수가 아니라 서로 다른 문제의 수였다. 기출 정답률과 새 문제 정답률을 따로 측정하는 방법은
라일은 「~임을 안다」와 「~할 줄 안다」를 구분하고, 할 줄 아는 것은 사실의 목록으로 바꿔 적을 수 없다고 했다(『마음의 개념』, 1949). 「~임을 안다」의 가장 작은 형태는 키 k 에 값 v 를 묶는 행렬 W = v kᵀ 다. 64 차원에서 이런 행렬을 더하기만 하면 복원 오차가 쌍의 수 n 에 대해 n/64 만큼 커졌고, 오차가 가장 작은 행렬을 계산해도 64 쌍까지만 오차가 0.000 이고 1,000 쌍에서는 0.935 였다. 은닉층 256 칸을 거치면 256 쌍까지 기출을 다 맞혔다. 처음 보는 키에는 어느 기억도 0.064~0.084 에 그쳤는데, 장난감 모델이 문제 100 개와 1,000 개에서 얻은 새 문제 정답률 0.063~0.074 와 범위가 겹친다. 사실을 모델 밖의 문서에 두고 검색해 읽히는 검색 증강 생성(패트릭 루이스와 동료 연구자들, 2020)은 아는 것은 밖에, 할 줄 아는 것은 모델에 두는 설계다.
루나 설정서 점검
| 설정서의 줄 | 이번에 | 남은 것 |
|---|---|---|
| 2. 앞에서 한 말을 기억한다 | 베끼기는 어텐션에 크게 의존하고, 우리 동화 GPT 체크포인트에서는 5층 어텐션을 지울 때 가장 크게 무너진다(0.958 → 0.370) | 베끼는 일을 어느 부품이 하는지는 아직 모른다 |
| 3. 별과 우주를 안다 | 적어 넣을 곳이 MLP 하나만은 아니다. 꺼낼 어텐션도 함께 있어야 한다 | 아직 비었다 |
| 4. 묻는 말에 대답한다 | 답의 내용이 되는 사실은 MLP 만의 일이 아니다. 동화 GPT 에서 2층부터 MLP 를 지우면 동화 지식이 0.875 에서 0.200, 어텐션을 지우면 0.175 로 줄었다 | 대화로 가르친 루나가 답할 때 어느 부품이 사실을 꺼내는지는 측정하지 않았다 |

셋째 줄 옆에 네가 쓴 「MLP 에 넣으면 끝」은 지울게.

「가장 중요한 부분」도 지워야 해?

그건 놔둬. 네 글씨 큰 거 볼 때마다 웃기니까. 대신 둘째 줄에 적을게. 5층.
막힌 곳
지우기로 알 수 있는 것은 어디가 필요한가까지다. 이 장의 지식 점수는 우리가 고른 문장 40 개로 구한 값이고, 사실이 가중치 어디에 어떤 형태로 적혀 있는지는 읽지 않았다.