혼동하기 쉬운 점과 요약
토론 1. 층 번호를 보면 그 층이 하는 일을 알 수 있나
초반은 탈토큰화, 중반은 추론, 후반은 토큰이라는 말을 들었다. 그러면 동화 GPT 의 층 4 는 「추론 담당」이라고 말해도 되는가?

대충은 되지 않아요? 탐침이 층 3 에서 다 맞히고 렌즈는 층 6 에서 다 맞히니까, 층 4·5 가 그 사이에서 뭔가 하는 거잖아요.

층 4 를 지운 일치율은 78.9% 예요. 층 5 는 80.8%, 층 3 은 76.6% 고요. 층 4 만 튀지 않으니, 맡은 일이 따로 있다고 보기 어려워요.

그리고 문장마다 달랐어. 「hot」 다음의 「stove」는 층 8 에서 처음 나오고 「green」은 층 6 이고. 층이 맡은 일이 정해져 있으면 그렇게 안 될 것 같아.

그래요. 단계는 많은 입력을 평균하면 보이는 경향이고, 논문 저자들도 경계가 대략적이라고 적었어요. 한 층에 한 임무가 붙어 있다기보다, 앞쪽일수록 뒤 층이 읽을 것을 만들고 뒤쪽일수록 출력에 직접 적는 일이 많다는 정도로 기억해 두면 돼요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 내 이름만 안 모였다고 봄 | 4 | 여섯 낱말 가운데 넷은 모이고 둘은 모이지 않았다. 조각 평균도 답이 아니다(「 Minjun」 0.17, 「 Seoyeon」 0.73 → 0.51) |
| 첫 임베딩과의 코사인이 작으면 모델이 토큰을 잊었다고 봄 | 1 | 코사인은 방향 하나만 비교한다. 층 1 의 MLP 가 임베딩을 읽어 다른 방향에 34.4 크기로 다시 적으므로 토큰 정보는 남는다 |
| 크게 더한 층이 정답에 많이 보탠다고 봄 | 2 | 층 8 의 MLP 는 31.7 을 더하고 1.25 를 보탰다. 층 7 은 19.1 을 더하고 1.82 를 보탰다 |
| 렌즈에 안 읽히면 그 층에 정보가 없다고 봄 | 3, 5 | 층 3 의 탐침은 처음 보는 이름의 성별을 1.000 맞히지만 렌즈는 0.780 이다 |
| 탐침이 맞히면 모델이 그 정보를 쓴다고 봄 | 5 | 있다는 증거일 뿐이다. 쓰는지는 지워 봐야 안다. 학습한 이름으로 시험하면 외운 것까지 정답이 된다 |
| 뒤 층으로 갈수록 낱말을 더 잘 구별한다고 봄 | 6 | 낱말 구별 점수는 동화 GPT 에서 층 1 의 0.987 에서 층 8 의 0.871 로, GPT-2 에서 층 8 의 0.778 에서 층 12 의 0.644 로 내려온다 |
| 칠판에 더하는 구조면 어느 층이든 빠져도 괜찮다고 봄 | 7, 8 | 층 1 을 지우면 일치율 2.7%, 손실 8.3234(ln 4096 = 8.318)다. 뒤 층들이 층 1 이 만든 벡터를 받지 못해서 무너진 것으로 보인다(직접빼기와의 차이에서 읽은 해석) |
| 끝 층을 지우면 어느 모델에서나 가운데보다 크게 나쁘다고 봄 | 본문 | GPT-2 는 60.2% 로 가장 낮지만 동화 GPT 는 78.8% 로 가운데 범위 안이고 XL 은 89.7% 로 가운데 바로 아래다 |
| 층마다 맡은 임무가 정해져 있다고 봄 | 토론 1 | 층 3~5 의 지우기 일치율은 76.6~80.8% 로 고르고, 답이 드러나는 층은 문장마다 다르다 |
요약
임베딩을 지난 벡터는 잔차 스트림을 타고 올라가면서 어텐션과 MLP 가 만든 변형을 층마다 더해 간다. 동화 GPT 의 임베딩은 크기 1.3 인데 층 1 의 MLP 가 34.4 를 더해 곧바로 묻히고, 그 뒤 층들이 h 크기의 3분의 1 정도씩 더한다. 정답 토큰의 로짓 16.09 를 항으로 나누면 임베딩이 0.02, 어텐션이 4.74, MLP 가 10.56 을 보태고(나머지는 바이어스 β 0.78), 층 1 과 층 6·7 이 가장 많이 보탠다.
로짓 렌즈(nostalgebraist, 2020)로 읽으면 층이 뒤로 갈수록 답에 가까워진다. 「Tom gave the ball to」는 층 1 에서 「␣the」, 층 2~6 에서 「␣a」였다가 층 7 에서 「␣Lily」가 된다. 대체적인 경향은 초반에 토큰 조각을 의미로 바꾸고(탈토큰화, 「ip」가 층 1 에서 「␣rocket」 옆으로), 중반에 토큰으로 읽히지 않는 특징을 쌓고(성별 탐침 층 3 에서 1.000, 렌즈는 층 6 에서 1.000), 후반에 다시 토큰으로 바꾸는 것이다(낱말 쌍의 가까움이 임베딩보다 다음 토큰 분포를 따라간다). 라드 팀(2024)의 네 단계와 대응하지만, 경계는 대략적이고 문장마다 다르다.
층을 지우면 동화 GPT 는 층 1 에서 일치율 2.7% 로 무너지고 나머지는 71.8~80.8% 가 남는다. 12층 GPT-2 는 층 2~11 에서 72.6~86.7%, 48층 XL 은 층 2~47 에서 90.4~94.2% 다. 첫 층이 무너지고 가운데가 버티는 것은 원 논문과 같다. 가운데 층은 잔차 연결이 벡터를 이어 주어 지워도 살아남는다고 논문은 설명한다. 층 1 이 더한 값만 끝에서 빼면 일치율이 78.7% 남으니, 첫 층은 뒤 층이 읽을 벡터를 만드는 것으로 보인다(해석이고, 바꿔 끼우는 실험은 하지 않았다). 끝 층의 지우기 일치율은 GPT-2 60.2%, XL 89.7%, 동화 GPT 78.8% 로 모델마다 다르다. 앞 층이 눈처럼 인식하는 자리이고 끝 층이 발성처럼 표현하는 자리인지는 측정한 숫자로 가를 수 없어서 물음으로 남긴다.
루나 설정서 점검
| 설정서의 줄 | 이번에 | 남은 것 |
|---|---|---|
| 1. 말이 된다 | 층 하나를 빼도(층 1 말고) 이야기를 쓴다. 층 1 은 빼면 「and and and」 | 왜 어떤 문장은 층 7 에서야 답이 나오는지 |
| 2. 앞에서 한 말을 기억한다 | 「Tom gave the ball to」에서 앞에 나온 「Lily」가 층 7 에서 로짓 렌즈에 나타난다 | 무작위 반복 글로는 층 6 헤드 8 을 지워 봤지만, 이 문장에서 그 헤드를 지우면 층 7 의 Lily 가 사라지는지는 아직 |

줄이 새로 채워진 건 없네. 대신 루나 안이 층마다 조금 읽혀.
민준은 공책의 「만들고 나면 꼭 열어 보기」 옆에 표시를 했고, 그 아래에 작게 「층 1: 건드리지 말 것」이라고 적었다.
막힌 곳
이 장의 숫자는 8층과 12층, 48층의 모델에서 나왔다. 앞 층과 끝 층이 눈과 발성에 가까운지는 답하지 못했고, 끝 층의 손해가 왜 모델마다 다른지도 모른다. 탐침으로 본 것은 이름의 성별 하나뿐이고, 같은 8층 루나에 자코비안 렌즈를 걸면 가운데 층에서 무엇이 읽히는지는 아직 걸어 보지 않았다.