혼동하기 쉬운 점과 요약
토론 1. 바로 앞 세 토큰만 보는 층이 어떻게 네 단계 찾기를 돕나
캐논 층은 지금 토큰과 바로 앞 세 토큰만 섞는다. 그런데 Depo 의 화살표는 뒤섞여 있어서, 4 단계 물음에 답하려면 문맥 이곳저곳에 흩어진 쌍 네 개를 이어야 한다. 캐논 층이 그 쌍들을 이어 주는가?

캐논 층을 넣었더니 4 단계까지 올라갔으니까, 캐논 층이 화살표를 따라가 주는 거 아니에요?

아니에요. 노드 16 개면 화살표 쌍이 16 개고 쌍 하나가 네 토큰 안쪽인데, 뒤섞여 있으니 「라 마」 쌍과 「마 바」 쌍은 수십 토큰 떨어져 있을 수도 있어요. 캐논 층 창은 네 칸이라 거기까지 못 닿아요.

그럼 먼 쌍을 찾아가는 건 여전히 어텐션이 하는 거고, 캐논 층은 가까운 데만 정리해 주는 거네. 「이 위치는 어느 이름의 둘째 토큰이다」, 「이 이름은 쌍의 앞쪽이다」 같은 거.

논문도 그렇게 봤어요. Depo2 는 화살표 쌍 하나가 10~14 토큰에 걸쳐서 네 칸 창으로는 쌍 하나도 못 덮는데, 거기서도 캐논 층을 넣은 모델은 16 단계를 높은 정답률로 풀었고 넣지 않은 모델은 완전히 실패했어요. 캐논 층은 이웃을 정리해 줄 뿐이고, 멀리 이어 붙이는 일은 어텐션이 한다는 거죠.

그러면 캐논 층이 하는 건 유도 헤드 실험 때 앞 토큰 헤드가 하던 일이랑 같은 종류네. 유도 헤드가 멀리 찾아갈 수 있게 각 위치에 「내 앞이 누구였나」를 적어 두는 것.

그래요. 다만 앞 토큰 헤드는 첫째 층에만 있었는데, 캐논-ABCD 는 모든 층의 네 자리에 있어요. 층마다 새로 만든 특징도 바로 옆 토큰과 섞인다는 것이 논문이 「토큰 축의 잔차 연결」이라고 부른 이유예요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 사고 체인을 써도 k 단계 찾기는 추론의 깊이를 측정한다고 봄 | 1 | 중간 노드를 적어 가면 토큰마다 1 단계 찾기만 하면 된다. 논문은 사고 체인 없는 깊이를 따로 측정한다 |
| 벤치마크 점수 1~2% 차이로 구조의 우열을 가린다고 봄 | 2 | 시드만 바꿔도 2~4% 움직였고, 13억 파라미터 모델도 두 단계 생년 물음을 찍어서 맞혔다 |
| 캐논 층을 합성곱 층처럼 채널을 모두 섞는 무거운 층으로 봄 | 3 | 칸마다 따로 무게 넷. 캐논-A 1,024 개는 헤드 하나(32,768 개)의 32 분의 1, 4층 GPT 의 캐논-ABCD 는 1.1% |
| 층이 하나면 유도 헤드를 만들 수 없다고 봄 | 4 | 1층 + 캐논 AB 는 앞 토큰 헤드 없이 유도 점수 0.697~0.753. 바로 앞 토큰을 읽는 일은 캐논 층이 맡았다 |
| 우리 실험으로 「캐논 층이 추론 깊이를 몇 배 늘렸다」고 봄 | 5 | 캐논 층이 없는 모델은 1 단계부터 8% 언저리였다. 우리가 본 것은 배우기 시작하느냐의 차이다 |
| 캐논 층이 먼 토큰끼리 이어 준다고 봄 | 토론 1 | 창은 네 칸이다. 먼 쌍을 잇는 것은 어텐션이고, 캐논 층은 모든 층에서 이웃을 정리한다 |
요약
알렌주의 「언어 모델의 물리학」 연작은 완성된 큰 모델의 점수 대신, 데이터를 직접 만들어 한 능력만 떼어 시험하는 합성 시험을 썼다. 13억 파라미터 모델을 1,000억 토큰으로 학습하는 크기에서는 시드만 바꿔도 점수가 2~4% 움직이고 두 단계 추론조차 나타나지 않기 때문이다. 4.1부는 추론의 깊이(Depo), 너비(Brevo), 지식 용량(Capo), 지식 다루기(Mano), 계층 구조(Lano)의 다섯 시험을 만들고, 그 시험으로 캐논 층을 찾았다. 캐논 층은 위치 t 의 벡터에 앞 세 위치의 벡터를 칸마다 다른 무게로 곱해 더하고 입력을 그대로 한 번 더하는 길이 4 의 인과 합성곱으로, 층마다 어텐션 앞(A), 쿼리·키·값 다음(B), MLP 앞(C), MLP 안(D)에 넣는다. 논문은 무게를 0.5% 늘려 RoPE 트랜스포머의 추론 깊이를 2~4 배, 너비를 30% 늘렸다고 보고했다.
우리 실험에서 캐논 층은 유도 회로의 앞 토큰 헤드가 하던 일을 대신했다. 웹 글로 학습한 어텐션 전용 1층 모델에 무게 4,096 개의 캐논 층을 넣자 앞 토큰 헤드 없이 유도 점수 0.697~0.753 의 헤드가 980만~1,060만 토큰 만에 생겼고, 층을 하나 더 쌓은 2층 모델보다 웹 글 손실도 낮았다. 노드 16 개 고리의 1~4 단계 찾기에서는 캐논 층이 없는 4층 GPT 가 세 시드 모두 1 단계부터 8% 언저리에 머물렀고, 캐논-ABCD 를 넣은 모델은 쉬운 단계부터 차례로 배워 1 단계 97.2%, 2 단계 93.2%(시드 평균)에 닿았고, 3·4 단계는 시드마다 갈렸다.
루나 설정서 점검

캐논 층은 루나한테 넣자. 무게 1.1% 로 두 단계까지 따라가잖아.

그건 노드 16 개짜리 시험지에서 측정한 거잖아. 동화 쓰는 루나에 넣어서 좋아지는지는 루나로 다시 측정해야 알아.
서연은 설정서 둘째 줄 옆에 「캐논 층은 루나로 측정해서 정하기」라고 적고, 펜 끝으로 다른 줄들을 차례로 짚어 내려갔다. 넷째 줄에는 대화로 가르친 루나의 「형태는 됨」과 바꿔 쓴 글로 배운 사실이, 여백에는 Depo 시험 점수가 적혀 있었다.
| 설정서의 줄 | 학교에서 | 남은 것 |
|---|---|---|
| 1. 말이 된다 | 동화 수준으로는 된다(바이트당 비트 0.4253, 온도 0.8 과 top-p 0.95 로 매번 다른 이야기). 우리 이름도 거의 틀리지 않고 쓴다 | 동화 밖의 말을 모른다. 대화로 가르칠 때 동화를 섞지 않으면 동화 실력이 깎인다(대화만 읽힌 루나 0.4253 → 0.553~0.554, 배치의 4분의 1 을 동화로 섞으면 0.440~0.441) |
| 2. 앞에서 한 말을 기억한다 | 웹 글 2층 모델에서 유도 헤드를 찾았다(시드 셋에서 유도 점수 0.546~0.584, 지우기 실험으로 확인). 동화만 읽은 루나에게는 약하게만 있다. 캐논 층을 넣은 실험용 GPT 는 앞에서 읽은 화살표를 두 번 이어 따라가는 물음을 90% 넘게 맞혔다. | 동화 루나에서 이름을 이어 쓰는 힘을 측정하는 방법. 대화가 끝나면 사라진다. 루나에 캐논 층을 넣을지 루나로 다시 측정해서 정해야 한다 |
| 3. 별과 우주를 안다 | 아직 | 동화에는 별 이야기가 드물다. 무엇을 읽힐지부터 정해야 한다 |
| 4. 묻는 말에 대답한다 | 대화로 가르친 루나는 쉬운 물음에 한두 문장으로 답한다. 학습 글에 없던 문장으로 물어도 사실 열 가지의 절반 정도를 후보 여덟 가운데 맞게 고른다(51.7%). 거꾸로 묻는 물음은 거꾸로 쓴 글을 함께 읽혀야 답한다. 다만 모두 다른 체크포인트의 점수다 | 한 루나에 모으기. 대화로 가르친 루나는 답하는 형태만 갖췄고 산수 같은 내용은 따로 가르쳐야 한다 |
| 5. 밝고 말이 빠르다 | 아직 | |
| 6. 모르면 모른다고 한다 | 「모르는 것을 묻기」 대화를 읽혔다 | 실제로 모른다고 하는지는 측정하지 않았다 |
막힌 곳
캐논 층이 없는 모델이 1 단계에서 막혔기 때문에, 논문이 말한 「깊은 단계를 배우는 속도」의 효과는 따로 떼어 보지 못했다. 캐논 층 없이도 1 단계를 푸는 설정(RoPE, 더 많은 층, 한 토큰짜리 이름)에서 측정해야 볼 수 있다. 그리고 우리가 측정한 것은 실험용 모델이지 동화를 쓰는 루나가 아니다.