들여다보기 2: 층을 지나는 벡터

로짓 렌즈: 층마다 무슨 토큰을 떠올리고 있나

기여는 평균이어서 한 문장 안에서 무슨 일이 일어나는지는 보여 주지 않는다. 한 문장의 한 위치에서, 층 3 을 지난 h 는 무슨 토큰을 떠올리고 있을까? 마지막 h 는 층 정규화를 하고 언임베딩 행렬을 곱하면 로짓이 되는데, 같은 계산을 중간 층의 h 에 걸면 어떻게 될까?

역사: 필명의 블로그 글 하나

2020년 8월 31일, nostalgebraist 라는 필명을 쓰는 글쓴이가 LessWrong 에 「GPT 해석하기: 로짓 렌즈(interpreting GPT: the logit lens)」를 올렸다. 블로그 글에 담긴 생각은 중간 층의 상태에 마지막 출력 행렬을 그대로 곱해 보자는 것이었다. 층들은 그렇게 읽히도록 학습되지 않았으니 의미 없는 토큰만 나올 수도 있었는데, GPT-2 의 가장 큰 판(48층)에서 층마다 그럴듯한 다음 토큰 분포가 나왔고 깊어질수록 마지막 출력에 가까워졌다. 글쓴이는 흔한 흐름을 「알아볼 수 없는 것, 품사와 말투만 맞는 얕은 추측, 더 나은 추측」으로 적었고, 앞 글을 베껴 쓰는 드문 토큰은 마지막 몇 층에서야 위로 올라온다고 적었다. 그는 로짓으로 읽는 것이 상태가 담은 것의 일부일 뿐이라는 단서도 스스로 달았다.

이 방법이 늘 통하지는 않는다. 2023년 튠드 렌즈(tuned lens) 논문은 GPT-Neo, BLOOM, OPT 125M 같은 모델에서 로짓 렌즈가 잘 되지 않고, BLOOM 과 OPT 125M 에서는 절반이 넘는 층에서 렌즈의 1위가 입력 토큰인 일이 잦았다고 보고했다. 그러니 우리 루나에서 렌즈가 읽히는지는 먼저 측정해 봐야 안다.

로짓 렌즈로 읽은 동화 GPT. 가로는 입력 토큰, 세로는 층이고, 칸마다 그 위치 그 층의 렌즈 1위 토큰을 적었다. 색이 진할수록 확률이 높고, 굵은 글자는 마지막 층의 1위와 같은 칸이다. nostalgebraist(2020)의 격자를 우리 모델로 다시 그린 것(sources/layers/plot_layers.py)
로짓 렌즈로 읽은 동화 GPT. 가로는 입력 토큰, 세로는 층이고, 칸마다 그 위치 그 층의 렌즈 1위 토큰을 적었다. 색이 진할수록 확률이 높고, 굵은 글자는 마지막 층의 1위와 같은 칸이다. nostalgebraist(2020)의 격자를 우리 모델로 다시 그린 것(sources/layers/plot_layers.py)

작은 로짓 렌즈

중간 층의 h 에 층 정규화와 언임베딩 행렬을 그대로 걸어 토큰 확률로 읽는 것을 로짓 렌즈 (중간 층의 벡터를 마지막 출력 계산에 바로 넣어 보기 / logit lens)라 한다. 학습할 것이 없어서 코드는 한 줄이다.

# sources/layers/common_layers.py 에서 발췌
def lens(m, h):
    return m.lm_head(m.ln_f(h))

동화 GPT 에게 시작 문장 넷을 주고 문장 끝 위치를 층마다 읽었다(sources/layers/lens_table.out). 층 0 은 임베딩이고, 층 8 은 모델의 실제 출력이다.

### 'Tom and Lily went to the park. Tom gave the ball to'
  층 0: ␣to 1.000, ␣for 0.000, ␣and 0.000
  층 1: ␣the 0.247, ␣a 0.140, ␣have 0.038
  층 2: ␣a 0.231, ␣the 0.224, ␣his 0.038
  층 3: ␣a 0.291, ␣the 0.152, ␣his 0.115
  층 4: ␣a 0.342, ␣the 0.112, ␣his 0.092
  층 5: ␣a 0.403, ␣the 0.160, ␣his 0.059
  층 6: ␣a 0.324, ␣the 0.274, ␣his 0.125
  층 7: ␣Lily 0.709, ␣the 0.144, ␣a 0.091
  층 8: ␣Lily 0.745, ␣the 0.209, ␣a 0.018

### 'The sky was blue and the grass was'
  층 1: ␣a 0.169, ␣not 0.162, ␣still 0.078
  층 3: ␣very 0.510, ␣so 0.088, ␣not 0.067
  층 5: ␣very 0.587, ␣so 0.065, ␣a 0.020
  층 6: ␣green 0.312, ␣very 0.262, ␣soft 0.103
  층 8: ␣green 0.512, ␣soft 0.126, ␣dry 0.043

### 'One, two, three, four,'
  층 1: ␣but 0.239, ␣Tim 0.077, ␣and 0.064
  층 5: ␣and 0.285, ␣then 0.045, ␣went 0.037
  층 6: ␣and 0.512, ␣five 0.090, ␣the 0.029
  층 7: ␣five 0.185, ␣and 0.182, ␣the 0.062
  층 8: ␣five 0.444, ␣and 0.233, ␣four 0.061

### 'Mom said, "Do not touch the hot'
  층 1: , 0.217, ␣and 0.083, ␣sun 0.065
  층 5: , 0.150, ␣sun 0.095, ␣dog 0.074
  층 7: ␣thing 0.136, ␣sun 0.100, ␣water 0.057
  층 8: ␣stove 0.172, ␣oven 0.133, ␣pot 0.072

층 0 은 네 문장 모두 입력 토큰 자신이다. 언임베딩 행렬이 임베딩 행렬과 같아서, 자기 임베딩과의 내적이 대개 가장 크기 때문이다. 층 1 부터는 입력 토큰을 떠나 다음에 올 만한 토큰을 말하는데, 층 1~5 는 「␣the」, 「␣a」, 「␣very」처럼 문법만 맞는 낱말이고 답은 뒤쪽에서 나타난다. 「Lily」는 층 6 까지 상위 3 에 없다가 층 7 에서 0.709 로 올라오고, 「green」은 층 6 에서, 「five」는 층 6 에서 2위로 나타나 층 7 에서 앞선다. 「stove」는 마지막 층에서야 처음 나온다. 이 층 번호는 우리 체크포인트의 값이고 체크포인트마다 다를 수 있다.

김민준 M04
김민준

층 5 의 루나는 공 받을 사람을 「a」라고 생각했네. 받을 사람도 없이 그냥 관사.

이서연 S07
이서연

층 7 에서 갑자기 Lily 야. 8층 GPT 에서 베끼는 헤드라고 약하게 찾은 게 층 5 헤드 7 이랑 층 6 헤드 8 이었잖아. 그 뒤 층에서 이름이 나타나네.

김민준 M01
김민준

그 헤드가 올려 줬다는 뜻이야?

이서연 S01
이서연

그건 모르지. 무작위 반복 글에서는 층 6 헤드 8 을 지우면 베끼기가 크게 나빠지는 걸 봤지만, 이 문장에서 Lily 를 올린 게 그 헤드인지는 이 문장으로 지워 봐야 알아.

검증 글 전체로 측정하면 렌즈가 어느 정도 믿을 만한지 나온다. 층 1 의 렌즈 1위가 실제 정답인 비율은 0.183 이고, 층마다 0.267, 0.332, 0.388, 0.451, 0.538, 0.614 로 오르다 마지막 층에서 0.664 가 된다. 마지막 층과의 KL 발산은 3.260 에서 0 으로 고르게 줄어든다. 동화 GPT 에서는 로짓 렌즈가 읽힌다고 말할 수 있고, 입력 토큰을 그대로 말하는 비율은 층 1 에서 벌써 0.064, 층 2 부터는 0.006 이하로 떨어진다.

GPT-2 를 같은 렌즈로

12층의 GPT-2 에서는 도시 이름이 좁혀지는 과정이 보인다.

### 'The Eiffel Tower is located in the city of'
  층 0: ␣destro 0.603, ␣mathemat 0.259, ␣challeng 0.117
  층 1: ␣the 0.733, ␣course 0.054, ␣a 0.029
  층 5: ␣the 0.295, ␣La 0.075, ␣course 0.041
  층 6: ␣England 0.079, ␣La 0.048, ␣the 0.039
  층 7: ␣South 0.055, ␣Georgia 0.054, ␣East 0.052
  층 8: ␣Ing 0.215, ␣San 0.059, ␣Chicago 0.043
  층 9: ␣Chicago 0.114, ␣Rome 0.094, ␣London 0.081
  층10: ␣London 0.351, ␣Amsterdam 0.161, ␣Paris 0.155
  층11: ␣London 0.195, ␣Paris 0.137, ␣Amsterdam 0.125
  층12: ␣Paris 0.069, ␣London 0.069, ␣Amsterdam 0.040

층 1~5 는 「␣the」라고 하다가 층 6 부터 지명을 말하기 시작하는데 처음에는 잉글랜드이고 시카고, 런던을 거쳐 마지막 층에서 파리가 된다. 지명이라는 종류가 먼저 정해지고 어느 도시인지는 뒤에서 좁혀지는 것처럼 보인다. 다만 층 8 의 1위 「␣Ing」처럼 뜻을 알 수 없는 조각도 끼어 있고, 마지막 층에서도 「␣Paris」와 「␣London」이 0.069 로 나란하니 렌즈의 확률을 모델의 믿음으로 읽으면 안 된다. 층 0 의 「␣destro」, 「␣mathemat」도 입력과 상관없는 조각인데, GPT-2 의 층 0 은 렌즈가 잘 맞지 않는 자리라서 이 줄은 읽지 않는다.

로짓 렌즈로 읽은 GPT-2. 「 E | iff | el」의 마지막 조각 「el」 자리는 층 5 까지 horn, stra 같은 철자 조각을 말하다가 층 6 부터 「␣Tower」를 말한다. 맨 오른쪽 「␣spaceship」 자리는 한동안 입력 자체나 「␣ship」을 말한다. 굵은 글자는 마지막 층의 1위와 같은 칸이다(sources/layers/plot_layers.py)
로짓 렌즈로 읽은 GPT-2. 「 E | iff | el」의 마지막 조각 「el」 자리는 층 5 까지 horn, stra 같은 철자 조각을 말하다가 층 6 부터 「␣Tower」를 말한다. 맨 오른쪽 「␣spaceship」 자리는 한동안 입력 자체나 「␣ship」을 말한다. 굵은 글자는 마지막 층의 1위와 같은 칸이다(sources/layers/plot_layers.py)

검증 글에서 GPT-2 렌즈의 정답 비율은 층 1~4 까지 웹 글 기준 0.05 안팎에 머물다 층 8 이 0.170, 층 12 가 0.387 이다. 렌즈가 앞쪽 층에서 잘 읽히지 않고, 입력 토큰을 그대로 말하는 비율도 층 1 에서 0.438, 층 3 에서 0.201 로 오래 남는다. 같은 렌즈인데 동화 GPT 보다 앞쪽 층이 입력에 오래 붙어 있다.

세 모델의 로짓 렌즈를 깊이에 따라 비교한 곡선(초록 동화 GPT 두 개는 같은 설정에 시드만 바꿔 학습한 것, 파랑 GPT-2, 점선은 GPT-2 에 동화 글, 보라는 48층짜리 GPT-2 XL). 왼쪽부터 렌즈 1위가 정답인 비율, 마지막 층과의 KL 발산, 렌즈 1위가 지금 입력 토큰인 비율. 가로축은 층 번호를 층 수로 나눈 값이다(sources/layers/plot_layers.py)
세 모델의 로짓 렌즈를 깊이에 따라 비교한 곡선(초록 동화 GPT 두 개는 같은 설정에 시드만 바꿔 학습한 것, 파랑 GPT-2, 점선은 GPT-2 에 동화 글, 보라는 48층짜리 GPT-2 XL). 왼쪽부터 렌즈 1위가 정답인 비율, 마지막 층과의 KL 발산, 렌즈 1위가 지금 입력 토큰인 비율. 가로축은 층 번호를 층 수로 나눈 값이다(sources/layers/plot_layers.py)

문제 3. 추리 소설을 읽다 덮고 범인 말하기

추리 소설을 다섯 장 읽을 때마다 책을 덮고 범인을 적어 내는 놀이를 했다. 어떤 친구의 답은 「모름, 모름, 집사, 집사, 조카」였고, 마지막 장에서 밝혀진 범인은 조카다. (가) 셋째 장에서 「집사」라고 쓴 친구의 머릿속에 조카에 대한 단서가 없었다고 말할 수 있는가? (나) 이 놀이와 로짓 렌즈는 어떤 점이 같고 어떤 점이 다른가?

이서연 S01
이서연

(가)는 말 못 하지. 조카가 수상하다고 생각하면서도 지금 하나만 꼽으라면 집사일 수 있잖아. 답 하나로는 머릿속을 다 못 봐.

김민준 M01
김민준

(나)에서 같은 점은, 읽다 말고 지금까지의 생각으로 답을 내게 하는 거. 다른 점은… 사람은 「지금 답을 써」라고 하면 답을 쓰려고 생각을 정리하잖아. 렌즈는 층한테 묻는 일 없이 그 층의 벡터에 마지막 계산을 그냥 건 거고.

선생님 T14
선생님

맞아요. 층은 렌즈에 읽히려고 학습된 적이 없어요. 뒤 층이 읽을 메모를 적었는데 우리가 그 메모를 답안지 채점기에 넣은 것이죠.

이서연 S08
이서연

그럼 렌즈로 읽히면 있다는 증거가 되는데, 안 읽힌다고 없다는 증거는 안 되겠네요.