생각의 깊이: LLM 물리학 시험과 캐논 층

혼동하기 쉬운 점과 요약

토론 1. 바로 앞 세 토큰만 보는 층이 어떻게 네 단계 찾기를 돕나

캐논 층은 지금 토큰과 바로 앞 세 토큰만 섞는다. 그런데 Depo 의 화살표는 뒤섞여 있어서, 4 단계 물음에 답하려면 문맥 이곳저곳에 흩어진 쌍 네 개를 이어야 한다. 캐논 층이 그 쌍들을 이어 주는가?

김민준 M01
김민준

캐논 층을 넣었더니 4 단계까지 올라갔으니까, 캐논 층이 화살표를 따라가 주는 거 아니에요?

선생님 T01
선생님

아니에요. 노드 16 개면 화살표 쌍이 16 개고 쌍 하나가 네 토큰 안쪽인데, 뒤섞여 있으니 「라 마」 쌍과 「마 바」 쌍은 수십 토큰 떨어져 있을 수도 있어요. 캐논 층 창은 네 칸이라 거기까지 못 닿아요.

이서연 S01
이서연

그럼 먼 쌍을 찾아가는 건 여전히 어텐션이 하는 거고, 캐논 층은 가까운 데만 정리해 주는 거네. 「이 위치는 어느 이름의 둘째 토큰이다」, 「이 이름은 쌍의 앞쪽이다」 같은 거.

선생님 T01
선생님

논문도 그렇게 봤어요. Depo2 는 화살표 쌍 하나가 10~14 토큰에 걸쳐서 네 칸 창으로는 쌍 하나도 못 덮는데, 거기서도 캐논 층을 넣은 모델은 16 단계를 높은 정답률로 풀었고 넣지 않은 모델은 완전히 실패했어요. 캐논 층은 이웃을 정리해 줄 뿐이고, 멀리 이어 붙이는 일은 어텐션이 한다는 거죠.

김민준 M01
김민준

그러면 캐논 층이 하는 건 유도 헤드 실험 때 앞 토큰 헤드가 하던 일이랑 같은 종류네. 유도 헤드가 멀리 찾아갈 수 있게 각 위치에 「내 앞이 누구였나」를 적어 두는 것.

선생님 T01
선생님

그래요. 다만 앞 토큰 헤드는 첫째 층에만 있었는데, 캐논-ABCD 는 모든 층의 네 자리에 있어요. 층마다 새로 만든 특징도 바로 옆 토큰과 섞인다는 것이 논문이 「토큰 축의 잔차 연결」이라고 부른 이유예요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
사고 체인을 써도 k 단계 찾기는 추론의 깊이를 측정한다고 봄 1 중간 노드를 적어 가면 토큰마다 1 단계 찾기만 하면 된다. 논문은 사고 체인 없는 깊이를 따로 측정한다
벤치마크 점수 1~2% 차이로 구조의 우열을 가린다고 봄 2 시드만 바꿔도 2~4% 움직였고, 13억 파라미터 모델도 두 단계 생년 물음을 찍어서 맞혔다
캐논 층을 합성곱 층처럼 채널을 모두 섞는 무거운 층으로 봄 3 칸마다 따로 무게 넷. 캐논-A 1,024 개는 헤드 하나(32,768 개)의 32 분의 1, 4층 GPT 의 캐논-ABCD 는 1.1%
층이 하나면 유도 헤드를 만들 수 없다고 봄 4 1층 + 캐논 AB 는 앞 토큰 헤드 없이 유도 점수 0.697~0.753. 바로 앞 토큰을 읽는 일은 캐논 층이 맡았다
우리 실험으로 「캐논 층이 추론 깊이를 몇 배 늘렸다」고 봄 5 캐논 층이 없는 모델은 1 단계부터 8% 언저리였다. 우리가 본 것은 배우기 시작하느냐의 차이다
캐논 층이 먼 토큰끼리 이어 준다고 봄 토론 1 창은 네 칸이다. 먼 쌍을 잇는 것은 어텐션이고, 캐논 층은 모든 층에서 이웃을 정리한다

요약

알렌주의 「언어 모델의 물리학」 연작은 완성된 큰 모델의 점수 대신, 데이터를 직접 만들어 한 능력만 떼어 시험하는 합성 시험을 썼다. 13억 파라미터 모델을 1,000억 토큰으로 학습하는 크기에서는 시드만 바꿔도 점수가 2~4% 움직이고 두 단계 추론조차 나타나지 않기 때문이다. 4.1부는 추론의 깊이(Depo), 너비(Brevo), 지식 용량(Capo), 지식 다루기(Mano), 계층 구조(Lano)의 다섯 시험을 만들고, 그 시험으로 캐논 층을 찾았다. 캐논 층은 위치 t 의 벡터에 앞 세 위치의 벡터를 칸마다 다른 무게로 곱해 더하고 입력을 그대로 한 번 더하는 길이 4 의 인과 합성곱으로, 층마다 어텐션 앞(A), 쿼리·키·값 다음(B), MLP 앞(C), MLP 안(D)에 넣는다. 논문은 무게를 0.5% 늘려 RoPE 트랜스포머의 추론 깊이를 2~4 배, 너비를 30% 늘렸다고 보고했다.

우리 실험에서 캐논 층은 유도 회로의 앞 토큰 헤드가 하던 일을 대신했다. 웹 글로 학습한 어텐션 전용 1층 모델에 무게 4,096 개의 캐논 층을 넣자 앞 토큰 헤드 없이 유도 점수 0.697~0.753 의 헤드가 980만~1,060만 토큰 만에 생겼고, 층을 하나 더 쌓은 2층 모델보다 웹 글 손실도 낮았다. 노드 16 개 고리의 1~4 단계 찾기에서는 캐논 층이 없는 4층 GPT 가 세 시드 모두 1 단계부터 8% 언저리에 머물렀고, 캐논-ABCD 를 넣은 모델은 쉬운 단계부터 차례로 배워 1 단계 97.2%, 2 단계 93.2%(시드 평균)에 닿았고, 3·4 단계는 시드마다 갈렸다.

루나 설정서 점검

김민준 M15
김민준

캐논 층은 루나한테 넣자. 무게 1.1% 로 두 단계까지 따라가잖아.

이서연 S06
이서연

그건 노드 16 개짜리 시험지에서 측정한 거잖아. 동화 쓰는 루나에 넣어서 좋아지는지는 루나로 다시 측정해야 알아.

서연은 설정서 둘째 줄 옆에 「캐논 층은 루나로 측정해서 정하기」라고 적고, 펜 끝으로 다른 줄들을 차례로 짚어 내려갔다. 넷째 줄에는 대화로 가르친 루나의 「형태는 됨」과 바꿔 쓴 글로 배운 사실이, 여백에는 Depo 시험 점수가 적혀 있었다.

설정서의 줄 학교에서 남은 것
1. 말이 된다 동화 수준으로는 된다(바이트당 비트 0.4253, 온도 0.8 과 top-p 0.95 로 매번 다른 이야기). 우리 이름도 거의 틀리지 않고 쓴다 동화 밖의 말을 모른다. 대화로 가르칠 때 동화를 섞지 않으면 동화 실력이 깎인다(대화만 읽힌 루나 0.4253 → 0.553~0.554, 배치의 4분의 1 을 동화로 섞으면 0.440~0.441)
2. 앞에서 한 말을 기억한다 웹 글 2층 모델에서 유도 헤드를 찾았다(시드 셋에서 유도 점수 0.546~0.584, 지우기 실험으로 확인). 동화만 읽은 루나에게는 약하게만 있다. 캐논 층을 넣은 실험용 GPT 는 앞에서 읽은 화살표를 두 번 이어 따라가는 물음을 90% 넘게 맞혔다. 동화 루나에서 이름을 이어 쓰는 힘을 측정하는 방법. 대화가 끝나면 사라진다. 루나에 캐논 층을 넣을지 루나로 다시 측정해서 정해야 한다
3. 별과 우주를 안다 아직 동화에는 별 이야기가 드물다. 무엇을 읽힐지부터 정해야 한다
4. 묻는 말에 대답한다 대화로 가르친 루나는 쉬운 물음에 한두 문장으로 답한다. 학습 글에 없던 문장으로 물어도 사실 열 가지의 절반 정도를 후보 여덟 가운데 맞게 고른다(51.7%). 거꾸로 묻는 물음은 거꾸로 쓴 글을 함께 읽혀야 답한다. 다만 모두 다른 체크포인트의 점수다 한 루나에 모으기. 대화로 가르친 루나는 답하는 형태만 갖췄고 산수 같은 내용은 따로 가르쳐야 한다
5. 밝고 말이 빠르다 아직
6. 모르면 모른다고 한다 「모르는 것을 묻기」 대화를 읽혔다 실제로 모른다고 하는지는 측정하지 않았다

막힌 곳

캐논 층이 없는 모델이 1 단계에서 막혔기 때문에, 논문이 말한 「깊은 단계를 배우는 속도」의 효과는 따로 떼어 보지 못했다. 캐논 층 없이도 1 단계를 푸는 설정(RoPE, 더 많은 층, 한 토큰짜리 이름)에서 측정해야 볼 수 있다. 그리고 우리가 측정한 것은 실험용 모델이지 동화를 쓰는 루나가 아니다.