생각의 깊이: LLM 물리학 시험과 캐논 층

여러 단계 찾기: 캐논 층을 덧붙인 GPT 는 이 시험을 배울까

캐논 층이 앞 토큰 헤드의 일을 대신한다면 층 하나를 아끼는 효과는 있다. 그런데 화살표를 네 번 따라가야 하는 물음에서는 층 하나를 아끼는 것보다 더 큰 차이가 날까? 우리 시험으로 직접 측정해 보자.

같은 크기, 같은 스텝, 시드 셋

두 모델은 캐논 층 말고는 모두 같다. 4층, 폭 256, 헤드 4 개, 문맥 512 토큰의 GPT 이고, 배치 64 로 8,000 스텝을 학습했다. 옵티마이저는 AdamW(학습률 1e-3, 워밍업 200 스텝 뒤 코사인으로 10% 까지, 가중치 감쇠 0.03, 모멘트 계수 β(베타) = (0.9, 0.98))로, 논문 부록의 설정을 따랐다. 캐논 층을 네 자리에 모두 넣은 모델의 파라미터는 3,360,256 개로, 넣지 않은 모델(3,323,392 개)보다 36,864 개(1.1%) 많다. 학습 데이터는 시드마다 새로 만들고, 시험 문제는 모든 모델이 같은 것을 푼다.

[캐논 없음] 파라미터 3,323,392 개 (캐논 층 0)
  depo_N16_K4_L4_base_s1: k=1:  8.5% k=2:  8.1% k=3:  8.9% k=4:  9.9%
  depo_N16_K4_L4_base_s2: k=1:  8.5% k=2:  7.9% k=3:  9.2% k=4:  8.9%
  depo_N16_K4_L4_base_s3: k=1:  8.3% k=2:  7.9% k=3:  7.7% k=4:  7.3%
[캐논 ABCD] 파라미터 3,360,256 개 (캐논 층 36,864)
  depo_N16_K4_L4_ABCD_s1: k=1: 97.5% k=2: 90.8% k=3: 45.2% k=4: 16.4%
  depo_N16_K4_L4_ABCD_s2: k=1: 96.3% k=2: 92.0% k=3: 72.7% k=4: 40.3%
  depo_N16_K4_L4_ABCD_s3: k=1: 97.8% k=2: 96.8% k=3: 91.0% k=4: 70.7%
  시드 평균: k=1: 97.2% k=2: 93.2% k=3: 69.6% k=4: 42.5% | 가장 낮은 시드~가장 높은 시드: 96.3~97.8 90.8~96.8 45.2~91.0 16.4~70.7
무작위로 고를 때의 정답률: 노드 16 개 가운데 하나 = 6.25%
노드 16 개 고리에서 k 단계 찾기의 마지막 정답률. 막대는 시드 셋의 평균, 점은 시드 하나. 캐논 층이 없는 4층 GPT(회색)는 1 단계부터 무작위(점선 6.25%) 언저리이고, 캐논-ABCD 를 넣은 모델(갈색)은 1 단계 97.2%, 2 단계 93.2% 이며, 3·4 단계는 시드에 따라 크게 갈린다(sources/canon/analyze.py)
노드 16 개 고리에서 k 단계 찾기의 마지막 정답률. 막대는 시드 셋의 평균, 점은 시드 하나. 캐논 층이 없는 4층 GPT(회색)는 1 단계부터 무작위(점선 6.25%) 언저리이고, 캐논-ABCD 를 넣은 모델(갈색)은 1 단계 97.2%, 2 단계 93.2% 이며, 3·4 단계는 시드에 따라 크게 갈린다(sources/canon/analyze.py)

캐논 층이 없는 모델은 세 시드 모두 1 단계 물음부터 8% 언저리에 머물렀다. 캐논 층을 넣은 모델은 세 시드 모두 1 단계를 96% 넘게, 2 단계를 90% 넘게 맞혔고, 3 단계와 4 단계는 시드마다 갈렸다(45.2~91.0%, 16.4~70.7%).

이 표를 「캐논 층이 추론 깊이를 몇 배 늘렸다」로 읽을 수는 없다. 캐논 층이 없는 모델이 가장 쉬운 1 단계조차 배우지 못해 깊이를 측정하지 못했으니, 우리가 본 것은 「8,000 스텝 안에 이 시험을 배우기 시작하느냐」의 차이다. 논문의 모델은 RoPE(회전 위치 부호)를 쓴 8~12층 모델이라 1 단계는 캐논 층이 있든 없든 쉽게 풀었고, 차이는 더 깊은 단계에서 났다. 우리 GPT 는 GPT-2 처럼 위치마다 배우는 위치 임베딩을 쓰는데, 논문은 위치 부호가 없는 모델(NoPE)일수록 캐논 층 덕을 크게 본다고 보고했다.

쉬운 단계부터 차례로 배운다

정답률이 언제 오르는지를 단계마다 따로 보면 순서가 보인다.

2. k 마다 정답률이 처음 50% 를 넘은 스텝 (없으면 -)
  [캐논 ABCD] depo_N16_K4_L4_ABCD_s1: k=1:500 k=2:4000 k=3:- k=4:-
  [캐논 ABCD] depo_N16_K4_L4_ABCD_s2: k=1:500 k=2:4500 k=3:6000 k=4:-
  [캐논 ABCD] depo_N16_K4_L4_ABCD_s3: k=1:500 k=2:3500 k=3:5000 k=4:6500
학습하며 단계마다 정답률이 오르는 모습(500 스텝마다 잼). 진한 선은 시드 1, 옅은 선은 시드 2·3. 캐논 층을 넣은 모델은 1 단계가 500 스텝에 58% 로 먼저 오르고, 2 단계는 3,500~4,500 스텝, 3 단계는 5,000~6,000 스텝에 50% 를 넘는다. 캐논 층이 없는 모델은 네 단계 모두 무작위 정답률(6.25%) 언저리에 머문다(sources/canon/analyze.py)
학습하며 단계마다 정답률이 오르는 모습(500 스텝마다 잼). 진한 선은 시드 1, 옅은 선은 시드 2·3. 캐논 층을 넣은 모델은 1 단계가 500 스텝에 58% 로 먼저 오르고, 2 단계는 3,500~4,500 스텝, 3 단계는 5,000~6,000 스텝에 50% 를 넘는다. 캐논 층이 없는 모델은 네 단계 모두 무작위 정답률(6.25%) 언저리에 머문다(sources/canon/analyze.py)

세 시드 모두 1 단계가 500 스텝 만에 먼저 올랐고, 2 단계는 3,500~4,500 스텝, 3 단계는 5,000~6,000 스텝(시드 둘)에 50% 를 넘었다. 4 단계가 50% 를 넘은 것은 시드 3 의 6,500 스텝 하나뿐이다. 모델은 네 단계를 한꺼번에 배우지 않고, 쉬운 단계를 먼저 익힌 다음 그 위에 한 단계씩 쌓았다.

논문은 캐논 층의 큰 효과를 이 순서로 설명한다. 논문의 실험 가운데에는 캐논 층이 1 단계 찾기의 학습 곡선을 거의 바꾸지 않고 2 단계 이상만 크게 올린 경우가 있었고(8층 모델), 첫 층에만 캐논 층을 넣은 모델은 효과의 작은 일부만 얻었다. 그래서 알렌주는 캐논 층이 표현할 수 있는 것을 늘린 것보다 깊은 단계를 배우는 속도를 높인 것이 크다고 보았다. 알렌주와 리의 이론(「역방향 특징 수정(Backward Feature Correction)」, COLT 2023)에 따르면 깊은 함수를 배우는 신경망은 위 층이 k 단계를 배우는 동안 아래 층도 k − 1 단계에는 쓸모없지만 k 단계에는 필요한 특징을 더 갖추도록 함께 고쳐진다. 언어 모델에서는 그 특징이 아래 층에만 아니라 앞 토큰 위치에도 있어야 하므로, 고치는 신호가 층을 따라 내려가면서 토큰 축을 따라 앞으로도 가야 한다. 층 사이에는 잔차 연결이 그 신호를 실어 나르지만, 토큰 사이에는 어디를 볼지 먼저 배워야 하는 어텐션밖에 없다. 캐논 층은 모든 층에 「토큰 축의 잔차 연결」을 깔아 준다는 것이 논문의 설명이다.

캐논 층이 없는 모델이 1 단계에서 이미 막혔으니 우리 결과로는 이 설명을 시험하지 못하고, 쉬운 단계부터 차례로 배웠다는 순서가 논문의 그림과 같다는 데까지만 말할 수 있다.

캐논 층이 없는 모델에 스텝을 더 주면

캐논 층이 없는 모델은 이 시험을 못 배우는 걸까, 늦게 배우는 걸까? 시드 1 로 스텝을 2.5 배인 20,000 스텝까지 늘린 기록이 있다.

[캐논 없음, 20,000 스텝] 파라미터 3,323,392 개 (캐논 층 0) | 마지막 k=1: 19.2% k=2: 10.8% k=3:  8.9% k=4: 10.9% | 8,000 스텝에서 k=1:8.9% k=2:8.6% k=3:9.4% k=4:8.9%

이 실행은 학습률 스케줄(워밍업 뒤 코사인으로 줄이기)을 20,000 스텝에 맞춰 짰으므로, 8,000 스텝 시점의 값(8.9%)이 8,000 스텝에서 끝나는 실행(시드가 같고 8.5%)과 조금 다르다. 16,000 스텝까지 10% 안팎이던 1 단계 정답률이 그 뒤로 오르기 시작해 20,000 스텝에서 19.2% 가 되었다. 시드 하나의 기록이지만, 못 배우는 쪽보다 아주 늦게 배우는 쪽에 가깝다.

늦게라도 배우기는 한다. 그래도 같은 8,000 스텝에 나란히 세우면, 파라미터 36,864 개(1.1%)를 더한 캐논 층이 낸 차이는 이만큼이다. 위 줄은 이 시험의 시드 평균이고, 아래 줄은 캐논 층을 처음 넣어 본 어텐션 전용 1층 모델의 무작위 반복 글 시험이다(sources/canon/analyze.out).

측정한 것(시드 평균) 캐논 층 없음 캐논 층 넣음
4층 GPT 의 1 단계 / 2 단계 정답률(8,000 스텝) 8.4% / 8.0% 97.2% / 93.2%
어텐션 전용 1층 모델의 무작위 반복 글 두 번째 절반 손실(10,000 스텝) 12.517 5.299

앞 토큰 헤드가 하던 일을 캐논 층에 맡기자 1층 모델에도 유도 헤드가 생겼고, 같은 층을 넣은 4층 GPT 는 우연(6.25%) 언저리를 맴돌던 시험을 같은 스텝 안에 배우기 시작했다.

김민준 M09
김민준

한 번 따라가는 것도 8% 였던 애가 두 번까지 93% 야. 무게는 1.1% 만 더 줬는데.

선생님 T14
선생님

큰 모델 없이 구조의 차이를 갈라 낸 거예요. 시험지를 우리가 직접 만들었으니 할 수 있었던 일이고요. 다만 3·4 단계는 시드마다 16.4% 에서 91.0% 까지 갈렸어요. 큰 모델에서도 그런지, 깊이를 몇 배 늘렸는지는 아직 쓰지 않아요.

문제 5. 「캐논 층이 생각의 단계를 0 에서 4 로 늘렸다」

캐논 층이 없는 4층 GPT 는 8,000 스텝에서 1 단계 정답률 8.4%(시드 평균), 20,000 스텝에서 19.2%(시드 1)였고, 캐논-ABCD 모델은 8,000 스텝에서 4 단계 42.5%(시드 평균, 시드마다 16.4~70.7%)였다. (가) 「캐논 층을 넣으면 4층 GPT 가 생각할 수 있는 단계가 0 에서 4 로 늘어난다」는 문장에서 맞지 않는 곳은 어디인가? (나) 같은 시드 1 에서 캐논 없는 모델에 스텝을 2.5 배 준 결과(20,000 스텝)와 캐논 모델의 8,000 스텝 결과를 나란히 놓으면 무엇이 보이나? (다) 논문의 「추론 깊이 2~4 배」와 같은 종류의 비교를 하려면 실험을 어떻게 바꿔야 하나?

김민준 M15
김민준

그 문장 맞는 것 같은데? 캐논이 없으면 1 단계도 못 하고, 있으면 4 단계까지 맞히잖아. 0 에서 4.

선생님 T01
선생님

캐논 층이 없는 모델을 20,000 스텝까지 돌린 기록을 같이 볼까요?

김민준 M04
김민준

8,000 스텝에서는 1 단계 8.9% 였는데 마지막엔 19.2%… 올라가고 있었네요. 못 하는 게 아니라 늦은 거면 「0」은 틀린 말이에요.

이서연 S01
이서연

「4」도 이상해. 4 단계 정답률은 시드마다 16.4% 에서 70.7% 까지였잖아. 4 단계를 「할 수 있다」고 하려면 몇 % 를 넘어야 한다는 기준부터 있어야지.

선생님 T01
선생님

그럼 (나)는요?

김민준 M01
김민준

스텝을 2.5 배 줘도 캐논 없는 모델은 1 단계 19.2%, 캐논 모델은 같은 시드에서 1 단계 97.5% 예요. 차이가 줄긴 해도 여전히 커요.

이서연 S01
이서연

(다)는 캐논 층이 없는 모델도 1 단계는 푸는 설정을 골라야 비교가 되겠다. 층을 늘리든 RoPE 로 바꾸든 해서 둘 다 출발선에 세운 다음, 몇 단계까지 같은 정답률을 넘는지를 보는 거야.

선생님 T01
선생님

그래요. 우리 실험이 보여 준 건 「캐논 층이 있으면 이 시험을 훨씬 일찍 배우기 시작한다」예요. 논문의 숫자는 둘 다 배우기 시작한 뒤 몇 단계까지 가느냐를 측정한 것이라, 우리 결과를 그 숫자와 같은 줄에 놓으면 안 돼요.