혼동하기 쉬운 점과 요약
토론 1. 시드 셋이 0.0003 안이면 시드 사이의 차이는 늘 0.0003 인가
시드만 바꾼 동화 GPT 셋의 끝 값은 0.4253~0.4256 이었다. 그렇다면 앞으로 무엇을 바꿨을 때 0.0003 보다 크게 달라지면 늘 진짜 차이라고 볼 수 있을까?

셋을 측정했더니 0.0003 안이었으니까, 그보다 크면 진짜 차이 아니에요?

오늘 바꾼 것을 다시 떠올려 봐요. 무엇이 같았죠?

배치를 뽑는 순서요. 스크립트에서 바꾼 건 처음 파라미터 시드뿐이었어요.

그래요. 데이터 순서, 바꾼 구조, 학습 길이가 달라지면 시드 사이의 차이도 달라질 수 있어요. 그리고 셋은 적은 수예요. 넷째 시드가 0.4260 을 낼 수도 있어요. 그래서 이 책은 시드 사이의 차이를 숫자 하나로 고정해 두지 않고, 비교할 때마다 두 쪽을 모두 시드 셋으로 돌려 범위가 겹치는지를 봐요.

비교할 때마다 시드 사이의 차이도 같이 측정하는 거네요. 동화 크기라서 그게 되는 거고.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 학습을 한 번씩만 돌리면 더 빨리 고를 수 있다고 봄 | 1 | 빨라지는 대신 운으로 잘 나온 판을 고를 수 있다. 바꾼 쪽과 안 바꾼 쪽을 시드 셋씩 돌려도 15.7분짜리라 실습 한 번에 비교 다섯 번을 정한다 |
| 시드 하나로 측정한 값이 기준보다 낮으면 나아졌다고 봄 | 2 | 기준 셋도 0.4253~0.4256 으로 다르다. 바꾼 쪽도 시드 셋으로 돌려 범위가 겹치지 않을 때만 |
| 파라미터당 2비트면 어떤 지식이든 그만큼 담긴다고 봄 | 3 | 2비트는 지식을 1,000번 본 경우다. 100번이면 약 1비트, 쓸모없는 글이 7/8 이면 20분의 1. 담을 자리와 꺼내 쓰는 힘도 다르다 |
| 시드 셋의 범위가 시드 사이의 차이로 늘 고정된다고 봄 | 토론 1 | 이번에는 처음 파라미터만 바꿨다. 조건이 바뀌면 시드 사이의 차이도 바뀌니 비교마다 두 쪽을 시드 셋으로 |
요약
한 루나에 무엇을 가르칠지 고르는 일은 하나만 바꾼 두 루나의 비교를 쌓는 일이다. 비교 하나에 시드 셋씩 여섯 번 학습해야 하므로, 학습 한 번의 길이가 하루에 할 수 있는 비교의 수를 정한다. 동화 GPT 는 RTX 4090 한 장에서 15.7분이라 하루에 92번, 비교로는 열다섯 개를 돌릴 수 있다. 그래서 루나는 동화 크기에 남는다.
같은 동화 GPT 를 처음 파라미터 시드만 바꿔 셋 학습하면 검증 글 전체의 바이트당 비트가 0.4253~0.4256 이다(RTX 4090 한 장, 시드 하나에 학습 15.6~15.7분). 앞서 사실 열 가지를 가르칠 때도 배치 순서 시드만 바꿔 물음 40 개짜리 정답률이 27.5~32.5% 로 움직였고, 바꿔 쓰기는 그보다 큰 차이(47.5~57.5%)를 만들었기에 믿을 수 있었다. 앞으로의 비교는 두 쪽을 모두 시드 셋으로 돌려 범위가 겹치지 않을 때만 「나아졌다」고 쓴다.
「언어 모델의 물리학」 3.3부는 지식을 1,000번 본 경우 파라미터당 약 2비트, 100번이면 약 1비트를 담고, 쓸모없는 글이 7/8 이면 20분의 1로 떨어진다고 보고했다. 파라미터당 비트 수를 루나의 2,760만 파라미터에 옮기면 5,520만 비트, 2,760만 비트, 140만 비트라는 추정이 나온다. 담을 양을 정하는 것은 넓이보다 되풀이이고, 꺼내 쓰려면 바꿔 쓴 글이 필요하다. 두 사람은 서너 살 낱말을 읽은 루나를 다섯 살 아이로 정하고, 새 설정서 여섯 줄을 썼다.
루나 설정서 점검
| 새 설정서의 줄 | 지금 |
|---|---|
| 1. 다섯 살처럼 말하고 생각한다 | 정했다. 동화를 쓰고, 대화로 가르친 루나는 쉬운 물음에 한두 문장으로 답한다. 말투는 아직 누구의 것도 아니다 |
| 2. 말이 된다 | 동화 수준으로는 된다(바이트당 비트 0.4253~0.4256, 시드 셋) |
| 3. 앞에서 한 말을 기억한다 | 동화 안에서 지은 이름을 이어 쓰는 정도 |
| 4. 세상을 궁금해하고 물어본다 | 아직. 루나는 묻지 않는다 |
| 5. 가족을 사랑한다 | 아직. 가족이 누구인지도 안 정했다 |
| 6. 모르면 모른다고 한다 | 아직 |

여섯 줄 가운데 셋은 아직이네. 그래도 적어 놓으니까 루나가 어떤 아이인지는 보여.

아직인 건 채우면 되지. 루나가 다섯 살이라는 건 정했잖아.
막힌 곳
새 설정서의 비교 잣대는 생겼지만, 여섯 줄이 얼마나 채워졌는지는 아직 측정하지 못했다. 이 장에서 시드 사이의 차이를 측정한 것은 바이트당 비트뿐이다.