루나는 몇 살일까: 무엇을 가르칠지 먼저 정하기

혼동하기 쉬운 점과 요약

토론 1. 시드 셋이 0.0003 안이면 시드 사이의 차이는 늘 0.0003 인가

시드만 바꾼 동화 GPT 셋의 끝 값은 0.4253~0.4256 이었다. 그렇다면 앞으로 무엇을 바꿨을 때 0.0003 보다 크게 달라지면 늘 진짜 차이라고 볼 수 있을까?

이서연 S01
이서연

셋을 측정했더니 0.0003 안이었으니까, 그보다 크면 진짜 차이 아니에요?

선생님 T01
선생님

오늘 바꾼 것을 다시 떠올려 봐요. 무엇이 같았죠?

김민준 M01
김민준

배치를 뽑는 순서요. 스크립트에서 바꾼 건 처음 파라미터 시드뿐이었어요.

선생님 T01
선생님

그래요. 데이터 순서, 바꾼 구조, 학습 길이가 달라지면 시드 사이의 차이도 달라질 수 있어요. 그리고 셋은 적은 수예요. 넷째 시드가 0.4260 을 낼 수도 있어요. 그래서 이 책은 시드 사이의 차이를 숫자 하나로 고정해 두지 않고, 비교할 때마다 두 쪽을 모두 시드 셋으로 돌려 범위가 겹치는지를 봐요.

이서연 S01
이서연

비교할 때마다 시드 사이의 차이도 같이 측정하는 거네요. 동화 크기라서 그게 되는 거고.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
학습을 한 번씩만 돌리면 더 빨리 고를 수 있다고 봄 1 빨라지는 대신 운으로 잘 나온 판을 고를 수 있다. 바꾼 쪽과 안 바꾼 쪽을 시드 셋씩 돌려도 15.7분짜리라 실습 한 번에 비교 다섯 번을 정한다
시드 하나로 측정한 값이 기준보다 낮으면 나아졌다고 봄 2 기준 셋도 0.4253~0.4256 으로 다르다. 바꾼 쪽도 시드 셋으로 돌려 범위가 겹치지 않을 때만
파라미터당 2비트면 어떤 지식이든 그만큼 담긴다고 봄 3 2비트는 지식을 1,000번 본 경우다. 100번이면 약 1비트, 쓸모없는 글이 7/8 이면 20분의 1. 담을 자리와 꺼내 쓰는 힘도 다르다
시드 셋의 범위가 시드 사이의 차이로 늘 고정된다고 봄 토론 1 이번에는 처음 파라미터만 바꿨다. 조건이 바뀌면 시드 사이의 차이도 바뀌니 비교마다 두 쪽을 시드 셋으로

요약

한 루나에 무엇을 가르칠지 고르는 일은 하나만 바꾼 두 루나의 비교를 쌓는 일이다. 비교 하나에 시드 셋씩 여섯 번 학습해야 하므로, 학습 한 번의 길이가 하루에 할 수 있는 비교의 수를 정한다. 동화 GPT 는 RTX 4090 한 장에서 15.7분이라 하루에 92번, 비교로는 열다섯 개를 돌릴 수 있다. 그래서 루나는 동화 크기에 남는다.

같은 동화 GPT 를 처음 파라미터 시드만 바꿔 셋 학습하면 검증 글 전체의 바이트당 비트가 0.4253~0.4256 이다(RTX 4090 한 장, 시드 하나에 학습 15.6~15.7분). 앞서 사실 열 가지를 가르칠 때도 배치 순서 시드만 바꿔 물음 40 개짜리 정답률이 27.5~32.5% 로 움직였고, 바꿔 쓰기는 그보다 큰 차이(47.5~57.5%)를 만들었기에 믿을 수 있었다. 앞으로의 비교는 두 쪽을 모두 시드 셋으로 돌려 범위가 겹치지 않을 때만 「나아졌다」고 쓴다.

「언어 모델의 물리학」 3.3부는 지식을 1,000번 본 경우 파라미터당 약 2비트, 100번이면 약 1비트를 담고, 쓸모없는 글이 7/8 이면 20분의 1로 떨어진다고 보고했다. 파라미터당 비트 수를 루나의 2,760만 파라미터에 옮기면 5,520만 비트, 2,760만 비트, 140만 비트라는 추정이 나온다. 담을 양을 정하는 것은 넓이보다 되풀이이고, 꺼내 쓰려면 바꿔 쓴 글이 필요하다. 두 사람은 서너 살 낱말을 읽은 루나를 다섯 살 아이로 정하고, 새 설정서 여섯 줄을 썼다.

루나 설정서 점검

새 설정서의 줄 지금
1. 다섯 살처럼 말하고 생각한다 정했다. 동화를 쓰고, 대화로 가르친 루나는 쉬운 물음에 한두 문장으로 답한다. 말투는 아직 누구의 것도 아니다
2. 말이 된다 동화 수준으로는 된다(바이트당 비트 0.4253~0.4256, 시드 셋)
3. 앞에서 한 말을 기억한다 동화 안에서 지은 이름을 이어 쓰는 정도
4. 세상을 궁금해하고 물어본다 아직. 루나는 묻지 않는다
5. 가족을 사랑한다 아직. 가족이 누구인지도 안 정했다
6. 모르면 모른다고 한다 아직
이서연 S01
이서연

여섯 줄 가운데 셋은 아직이네. 그래도 적어 놓으니까 루나가 어떤 아이인지는 보여.

김민준 M11
김민준

아직인 건 채우면 되지. 루나가 다섯 살이라는 건 정했잖아.

막힌 곳

새 설정서의 비교 잣대는 생겼지만, 여섯 줄이 얼마나 채워졌는지는 아직 측정하지 못했다. 이 장에서 시드 사이의 차이를 측정한 것은 바이트당 비트뿐이다.