혼동하기 쉬운 점과 요약
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 헤드는 많을수록 좋다고 봄 | 본문 | 폭을 나눠 쓰는 작은 GPT 에서 헤드 1, 8, 32 개의 평균이 0.6252, 0.6099, 0.6142 였다. 헤드 하나의 폭이 8 까지 줄면 다시 나빠진다 |
| 헤드 수 표의 차이는 파라미터나 폭 때문이라고 봄 | 본문 | 파라미터를 똑같이 늘린 두 모델에서도 헤드를 나눈 쪽이 낮았다(H = 4 에서 0.6106 대 0.6258) |
| 지웠을 때 멀쩡하면 필요 없는 헤드라고 봄 | 1 | 하나씩은 0.0031 아래인 헤드 32 개를 함께 지우면 0.1311 오른다(하나씩의 합은 0.0636). 지우기는 나머지가 다 있을 때의 값이다 |
| 헤드 하나는 평균을 내므로 두 곳을 구별 못 한다고 봄 | 2 | 비중을 다르게 주면 된다. 두 군데 차를 학습한 헤드 하나는 0.603, 0.339 로 나눠 읽었다 |
| 헤드 하나로는 세 군데를 읽을 수 없다고 봄 | 본문 | 8,000 스텝에는 0.1124 였지만 40,000 스텝에는 0.8415 였다. 헤드 8 개는 8,000 스텝에 1.0000 이니 세 군데에서는 헤드 하나가 못 하는 것이 아니라 느리다(여섯 군데는 40,000 스텝에도 0.0822) |
| 헤드가 곧 합성곱 채널이라고 봄 | 본문 | 나란히 둔다는 점만 같다. 헤드는 파라미터가 그대로이고 어디를 볼지를 계산한다. 합성곱을 흉내 내려면 헤드 하나가 커널의 한 칸을 맡는다 |
요약
헤드 수는 파라미터를 바꾸지 않고 바이트당 비트를 조금 바꾼다. 작은 GPT 에서 헤드 1, 2, 4, 8, 16, 32 개의 평균은 0.6252, 0.6192, 0.6125, 0.6099, 0.6110, 0.6142 였고 같은 헤드 수끼리는 시드가 달라도 많아야 0.0023 벌어진다. 파라미터를 같게 늘려 비교해도 폭을 유지한 헤드 4 개(0.6106)가 넓은 헤드 하나(0.6258)보다 낮으니, 좋아진 것은 나눴기 때문이다. 차이는 작아도 헤드들은 서로 다른 곳을 보고, 지울 때 손해도 헤드마다 크게 다르다. 미헬 팀의 큰 모델은 헤드를 하나씩 지우면 대부분 점수가 그대로였다. 처음부터 헤드 하나로 배운 모델(0.6232)이 16 헤드 모델의 한 층을 하나로 줄인 모델(0.6757)보다 낫다는 점도 보았다.
헤드 하나는 앞 토큰 값들의 평균 하나만 낸다. 층 하나짜리 모델에서 헤드 하나는 8,000 스텝 안에 한 군데와 두 군데 차(0.9498)까지 비중을 다르게 줘서 해내지만 세 군데부터 찍는 수준에 가깝고(0.1124), 네 군데라도 부호가 같은 합은 0.9515 로 해낸다. 스텝을 다섯 배로 주면 헤드 하나도 세 군데를 0.84 까지 배우니, 못 한다기보다 이 학습 스케줄에서 느리다. 합성곱을 흉내 낼 때 헤드 하나는 채널이 아니라 커널의 한 칸이다(코르도니에 팀).
루나 설정서 점검
| 설정서의 줄 | 이번에 | 남은 것 |
|---|---|---|
| 2. 앞에서 한 말을 기억한다 | 앞 토큰을 읽는 일은 헤드 여럿이 나눠 맡는다. 작은 GPT 에서 헤드마다 보는 곳이 다르고(바로 앞 토큰에 0.399 를 주는 헤드, 평균 42.7 칸 뒤를 보는 헤드), 하나를 지우면 멀쩡해도 함께 지우면 무너진다 | 어느 헤드가 이름을 이어 쓰는지는 측정하지 않았다 |

헤드는 정리됐네. 어디를 읽을지 나눠 고르는 장치.
막힌 곳
헤드 수가 바꾸는 값은 동화 글에서는 작다. 헤드 1 개와 8 개의 바이트당 비트 차이는 0.0153 이고, 같은 동화 문장의 다음 토큰도 헤드 수에 따라 거의 같다.