MLP 는 무엇을 아는가: 물음과 답, 그리고 지식이 있는 곳

혼동하기 쉬운 점과 요약

토론 1. MLP 는 지식을, 어텐션은 문맥을 맡는다고 딱 나눌 수 있는가

은닉 단위를 물음과 답으로 읽으면 MLP 는 학습 글에서 배운 것을 가중치에 적어 둔 기억처럼 보인다. 그러면 모델이 아는 사실은 모두 MLP 에 있고, 어텐션은 문맥만 옮긴다고 나눠 말해도 되는가?

김민준 M01
김민준

우리 실험이 그렇게 말하는 것 같아요. 파라미터를 똑같이 맞춰도 MLP 없는 12층은 0.7001 이고, MLP 가 있으면 0.61 대였잖아요.

선생님 T14
선생님

그 실험은 4,000 스텝 동안 동화를 읽힌 뒤의 바이트당 비트를 측정한 거예요. 사실을 몇 개 외웠는지를 센 건 아니에요. 외운 사실의 양을 직접 측정한 연구가 있어요. 제위안 알렌주(Zeyuan Allen-Zhu)와 위안즈 리는 「Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws」(2024)에서 (미국, 수도, 워싱턴 D.C.) 같은 세 짝으로 적히는 사실을 합성 데이터에 넣고, 모델이 외운 지식의 양을 측정했어요. 같은 사실을 학습 중에 1,000 번 본 조건에서는 GPT-2 형태 모델의 MLP 를 1/4 크기로 줄여도, 아예 빼도 담은 지식의 양이 그대로였어요. 저자들은 어텐션 층도 지식을 담을 수 있다고 적었어요.

김민준 M06
김민준

빼도 그대로요? 그럼 우리 12층은 왜 나빴죠?

선생님 T01
선생님

같은 논문에서 사실을 100 번만 본 조건에서는 MLP 를 빼자 담은 양이 1.5 배 넘게 줄었어요. 우리 학습은 학습 글의 12% 쯤만 읽고 멈췄으니, 많이 보지 못한 쪽에 가까워요.

이서연 S08
이서연

그럼 MLP 가 기억을 맡는다는 건 칸막이가 아니라 경향이네요. 같은 사실을 충분히 많이 보면 어텐션도 외울 수 있고, 적게 볼 때는 MLP 가 있어야 더 많이 외우는 거고요.

선생님 T13
선생님

그렇게 정리하면 돼요. 물음과 답으로 읽기는 MLP 가 하는 일을 이해하는 좋은 출발점이고, 지식이 MLP 에만 있다는 뜻은 아니에요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
MLP 를 넓히기만 하면 계속 좋아진다고 봄 1 폭을 두 배로 할 때마다 파라미터 100만 개당 줄어드는 비트가 0.0366, 0.0172, 0.0077 로 줄었다. 물음은 모두 폭 d 인 잔차 스트림만 읽는다
사실 하나를 단위 하나가 담는다고 봄 2 Max 의 로짓에 마지막 층 MLP 단위들이 더한 2.68 가운데 가장 큰 단위가 0.62 였다. 상위 단위들은 「여기에 이름이 오나」를 묻는다
지식은 MLP 에만, 어텐션은 문맥만 맡는다고 봄 토론 1 같은 사실을 1,000 번 본 조건에서는 MLP 를 빼도 담은 지식의 양이 그대로였다(알렌주·리 2024). 우리 4,000 스텝 실험에서는 MLP 없는 12층이 0.7001 로 나빴다
지웠을 때 크게 나빠지면 그 부품에 지식이 들어 있다고 봄 3 1층 MLP 는 코끼리 자리에서 지워도(0.158) 코끼리가 없는 자리에서 지워도(0.180) 똑같이 무너진다. 대조군이 있어야 한다
큰 모델의 결론이 작은 모델에도 그대로일 거라고 봄 본문 메릉 팀의 6.6%, 1.6% 는 GPT-2 XL 에서 문장 1,000 개를 평균한 값이다. 우리 8층과 문장 12 개로는 주어 자리와 다른 자리가 갈리지 않는다

요약

MLP 의 은닉 단위 하나는 W_up 의 행으로 「지금 읽는 위치가 그 행이 찾는 경우인가」를 묻고, 켜지면 W_down 의 열을 잔차 스트림에 더한다. 어텐션이 문맥 속 앞 토큰에서 찾아 읽는다면, MLP 는 학습 글에서 배워 가중치에 적어 둔 물음과 답에서 찾아 읽는다(게바 팀 2021 의 키–값 기억). 모델 폭 d 는 물음과 답 하나의 길이이고, 은닉층 폭 4d 는 물음과 답의 개수다. 4층 모델에서 MLP 를 빼면 바이트당 비트가 0.7294, 은닉 d 에서 0.6502, 4d 에서 0.6129, 8d 에서 0.5968 이었고, 같은 파라미터를 어텐션 층에만 쓴 12층 모델은 0.7001 이었다. 물음과 답이 깔끔하게 읽히는 단위는 일부(4층 1,024 개 가운데 60 개)이고, 「Lily 의 개 이름」 같은 답도 여러 단위의 합으로 만들어진다.

민준의 「가장 중요한 부분」은 숫자로 다듬어졌다. 사실 기억이 가운데 층 MLP 를 지나고(메릉 팀 2022), 꺼내기에는 어텐션 헤드가 함께 일하며(게바 팀 2023), 찾아낸 위치가 고칠 위치와 같지도 않다(하세 팀 2023). 동화 GPT 에서 2층부터 MLP 를 지우면 동화 지식이 0.875 에서 0.200, 어텐션을 지우면 0.175 로 줄었다(작은 GPT 에서는 0.675 에서 0.350, 0.525). 베끼기는 어텐션을 지울 때 0.042 로, MLP 를 지울 때는 0.190 으로 줄었고, 5층 어텐션 하나만 지워도 0.370 이 됐다. 처음부터 부품 없이 다시 학습하면 그림이 달라져서, 작은 GPT 조건에서 MLP 없는 4층의 동화 지식은 0.600, 0.625 로 온전한 모델(0.675, 0.650)에 가까웠고 어텐션 없는 4층은 0.125 에 그쳤다.

장난감 태스크를 같은 횟수(스텝마다 512 문제, 8,000 스텝)만큼 풀게 해도, 문제 1,000 개를 되풀이한 모델은 기출을 다 맞히면서 새 문제는 7% 안팎에 그쳤고, 서로 다른 문제 10,000 개를 푼 모델은 새 문제도 95% 안팎을 맞혔다. 학습 끝 손실은 둘 다 0 이었으니, 새 문제를 풀게 한 것은 되풀이한 횟수가 아니라 서로 다른 문제의 수였다. 기출 정답률과 새 문제 정답률을 따로 측정하는 방법은

라일은 「~임을 안다」와 「~할 줄 안다」를 구분하고, 할 줄 아는 것은 사실의 목록으로 바꿔 적을 수 없다고 했다(『마음의 개념』, 1949). 「~임을 안다」의 가장 작은 형태는 키 k 에 값 v 를 묶는 행렬 W = v kᵀ 다. 64 차원에서 이런 행렬을 더하기만 하면 복원 오차가 쌍의 수 n 에 대해 n/64 만큼 커졌고, 오차가 가장 작은 행렬을 계산해도 64 쌍까지만 오차가 0.000 이고 1,000 쌍에서는 0.935 였다. 은닉층 256 칸을 거치면 256 쌍까지 기출을 다 맞혔다. 처음 보는 키에는 어느 기억도 0.064~0.084 에 그쳤는데, 장난감 모델이 문제 100 개와 1,000 개에서 얻은 새 문제 정답률 0.063~0.074 와 범위가 겹친다. 사실을 모델 밖의 문서에 두고 검색해 읽히는 검색 증강 생성(패트릭 루이스와 동료 연구자들, 2020)은 아는 것은 밖에, 할 줄 아는 것은 모델에 두는 설계다.

루나 설정서 점검

설정서의 줄 이번에 남은 것
2. 앞에서 한 말을 기억한다 베끼기는 어텐션에 크게 의존하고, 우리 동화 GPT 체크포인트에서는 5층 어텐션을 지울 때 가장 크게 무너진다(0.958 → 0.370) 베끼는 일을 어느 부품이 하는지는 아직 모른다
3. 별과 우주를 안다 적어 넣을 곳이 MLP 하나만은 아니다. 꺼낼 어텐션도 함께 있어야 한다 아직 비었다
4. 묻는 말에 대답한다 답의 내용이 되는 사실은 MLP 만의 일이 아니다. 동화 GPT 에서 2층부터 MLP 를 지우면 동화 지식이 0.875 에서 0.200, 어텐션을 지우면 0.175 로 줄었다 대화로 가르친 루나가 답할 때 어느 부품이 사실을 꺼내는지는 측정하지 않았다
이서연 S01
이서연

셋째 줄 옆에 네가 쓴 「MLP 에 넣으면 끝」은 지울게.

김민준 M18
김민준

「가장 중요한 부분」도 지워야 해?

이서연 S12
이서연

그건 놔둬. 네 글씨 큰 거 볼 때마다 웃기니까. 대신 둘째 줄에 적을게. 5층.

막힌 곳

지우기로 알 수 있는 것은 어디가 필요한가까지다. 이 장의 지식 점수는 우리가 고른 문장 40 개로 구한 값이고, 사실이 가중치 어디에 어떤 형태로 적혀 있는지는 읽지 않았다.