루나는 몇 살일까: 무엇을 가르칠지 먼저 정하기

이 장의 물음

다음 실습 시간, 서연은 라운지 테이블에 설정서 공책을 펼쳐 놓았다. 여백에는 그동안 서로 다른 루나에서 측정한 숫자들이 적혀 있었다. 거북이를 아는 루나, 대화로 답하는 루나, 화살표를 따라가는 실험용 GPT 는 모두 다른 체크포인트였다.

김민준 M15
김민준

이제 한 루나에 모으자. 나는 지금까지 한 걸 전부 넣고 싶은데. 동화 섞듯이 섞어 가면서.

이서연 S06
이서연

전부? 동화에 대화에 시험지까지 다 넣으면 무엇이 무엇을 밀어내는지는 어떻게 알아. 대화 하나만 넣을 때도 동화가 깎여서 섞어야 했잖아.

선생님 T01
선생님

그래서 오늘은 모으는 방법보다 먼저 정할 것이 있어요. 한 루나에 무엇을 가르칠지, 그리고 가르친 것이 효과가 있었는지를 어떻게 확인할지요.

이 장의 줄기 물음은 하나다. 루나가 여럿으로 흩어진 지금, 한 루나에게 무엇을 얼마나 가르칠지는 무엇으로 정할까? 이 장이 끝나면 우리는 비교의 잣대로 같은 동화 GPT 를 시드만 바꿔 세 번 학습한 차이를 측정하고, 새 루나에게 가르칠 범위를 다섯 살로 정한 새 설정서를 쓴다.

한 루나에 모으려면: 빨리, 여러 번

무엇을 가르칠지 고르는 일은 비교의 연속이다. 캐논 층을 넣은 루나와 넣지 않은 루나, 바꿔 쓴 사실 글을 섞은 루나와 섞지 않은 루나처럼, 하나만 바꾼 두 루나를 같은 조건에서 학습해 비교해야 한다. 그리고 한 번만 학습해서는 우연히 잘 나온 것인지 알 수 없으니, 쪽마다 시드를 바꿔 여러 번 학습해야 한다.

이서연 S01
이서연

비교 하나에 바꾼 쪽 시드 셋, 안 바꾼 쪽 시드 셋이면 학습 여섯 번이네. 동화 GPT 는 한 번에 얼마였지?

김민준 M01
김민준

15.7분. 그럼 비교 하나가 한 시간 반쯤이고, 하루 종일 걸어 두면 학습 92번이니까 비교 열다섯 개(sources/five/five.out).

선생님 T01
선생님

그게 동화 크기의 가장 큰 장점이에요. 결과를 보고 다음에 무엇을 바꿀지 정하는 고리가 하루에도 여러 번 돌아요. 다만 그 장점은 루나가 읽은 글의 범위 안에서만 써요. 범위를 넓히면 학습 시간도, 담아야 할 것도 함께 늘어나니까요.

비교를 빠르게 여러 번 할 수 있다는 것만으로는 모자라다. 비교를 하려면 먼저 「아무것도 바꾸지 않았을 때 결과가 얼마나 달라지는가」를 알아야 한다. 그 차이보다 작은 차이는 바꾼 것 때문이라고 말할 수 없기 때문이다.

문제 1. 실습 한 번에 고를 수 있는 것

실습 시간 한 번에 GPU 한 장을 8시간 쓸 수 있다고 하자. 비교 하나는 「바꾼 판」과 「안 바꾼 판」을 시드 셋씩, 모두 여섯 번 학습하고, 학습 한 번은 15.7분이다. (가) 비교를 하나 끝낸 뒤 어느 쪽이 나았는지 보고 다음 비교를 정한다면, 한 번의 실습에서 몇 번 정할 수 있나? (나) 조건 셋(캐논 층, 바꿔 쓴 사실 글, 둘 다)을 한꺼번에 기준과 비교하려면 학습이 몇 번 필요하고, 몇 시간 걸리나? (다) 시드를 하나만 쓰면 (가)는 세 배로 늘어난다. 그래도 시드 셋을 쓰는 이유는 무엇인가?

이서연 S01
이서연

(가)는 15.7 × 6 = 94.2분. 480 을 94.2 로 나누면 5.1 이니까, 다섯 번 정할 수 있어.

김민준 M01
김민준

(나)는 기준 셋에 조건마다 셋씩이니까 3 + 9 = 12 번이야. 15.7 × 12 = 188.4분, 세 시간 조금 넘네. 기준을 한 번만 돌리면 되니까 따로따로 세 번 비교하는 것보다 여섯 번 덜 돌려.

선생님 T01
선생님

그래요. (다)는요?

김민준 M05
김민준

음, 한 번씩만 돌리면 빨라지긴 하는데… 한 번 잘 나온 게 바꾼 덕인지 운인지 모르잖아요. 그러면 틀린 걸 고르고 다음 비교를 그 위에 쌓게 되고요.

이서연 S07
이서연

그럼 빨리 정하는 게 아니라 빨리 틀리는 거네. 시드 사이에 얼마나 차이가 나는지부터 알아야겠다.

선생님 T01
선생님

맞아요. 그래서 오늘 첫 실습이 그거예요.