MLP 는 무엇을 아는가: 물음과 답, 그리고 지식이 있는 곳

지식과 지능: 기출을 외운 사람과 공식을 못 외운 사람

지우기 표를 덮고 나니 라운지 창밖이 어두워져 있었고, 민준은 자판기에서 뽑아 온 캔을 따지도 않고 표 위에 올려 두었다.

김민준 M18
김민준

「가장 중요한 부분」이 표 한 장에 날아갔네. 나는 MLP 가 내 편인 줄 알았는데.

이서연 S01
이서연

MLP 가 왜 네 편이야?

김민준 M01
김민준

나 외워서 대학 온 사람이잖아. 고3 때 수학 기출 문제집을 다섯 번 돌렸어. 나중엔 문제 번호만 봐도 답이 떠오르더라. 그러니까 기억이 제일 중요하다고 하면 좀 기분이 좋지.

이서연 S12
이서연

번호로 답이 떠오르는 건 수학이 아니지 않아?

김민준 M04
김민준

잘 돌아가긴 했어. 6월 모의고사에서 기출 숫자만 바꾼 건 다 맞혔으니까. 그런데 마지막 문제가 그림이 기출이랑 똑같은 거야. 신나서 외운 풀이를 그대로 썼는데, 조건이 하나 달랐어. 나와서 들으니까 앞자리 애가 「마지막 문제 쉽던데」 그러더라.

이서연 S01
이서연

나는 반대로 망했어. 우리 아빠는 식탁에서 공식을 못 외우게 했거든. 공식을 쓰면 「왜 그런데?」부터 물어보니까, 나는 쓸 때마다 처음부터 유도하는 버릇이 들었어.

김민준 M02
김민준

그럼 수학은 잘했겠네.

이서연 S18
이서연

틀린 건 별로 없었어. 시간이 모자랐지. 남들이 공식 넣고 1분에 끝내는 문제를 나는 시험장에서 유도하고 있었으니까. 뒤에 두 문제는 읽지도 못했어. 영어 단어는 더 심했고. 단어는 「왜 그런데?」를 물어볼 데가 없잖아.

김민준 M11
김민준

시험장에서 유도하다가 시간 모자란 사람은 네가 처음이야. 멋있는데 슬프네.

서연이 캔을 민준 쪽으로 밀자 민준이 웃으며 받아 땄는데, 그때 복도를 지나던 선생님이 표를 보고 멈춰 섰다.

선생님 T13
선생님

민준 학생 공부법은 시험해 볼 수 있어요. 장난감 태스크를 정해진 문제 몇 개만 되풀이해 풀게 하면 돼요. 기출 정답률, 처음 보는 문제 정답률, 어텐션이 물음이 가리킨 자리를 보는지 세 가지를 측정해요.

두 군데를 읽어 차를 구하는 태스크에 층 하나, 헤드 2 개, 폭 64 인 모델을 썼다. 달라지는 것은 학습 문제의 수뿐이라서, 스텝은 8,000 으로 같고 문제가 100 개면 그 100 개만 되풀이해 푼다.

    문제 수   시드    학습 끝 손실     기출 정답률     새 문제 정답률    두 자리 어텐션 비중
     100    0     0.0000     1.0000       0.0658          0.117
     100    1     0.0000     1.0000       0.0628          0.111
     100    2     0.0000     1.0000       0.0718          0.120
    1000    0     0.0000     1.0000       0.0706          0.124
    1000    1     0.0000     1.0000       0.0737          0.125
    1000    2     0.0000     1.0000       0.0705          0.119
   10000    0     0.0000     1.0000       0.9854          0.910
   10000    1     0.0000     1.0000       0.9462          0.792
   10000    2     0.0000     1.0000       0.9828          0.906
    매번 새    0     0.0000        nan       1.0000          0.853
    매번 새    1     0.0039        nan       0.9965          0.814
    매번 새    2     0.0354        nan       0.9885          0.847

sources/gpt-parts/toy_exam.out 의 표에서 앞 칸을 옮겼다(「매번 새」는 정해진 기출이 없어 기출 정답률이 없다. 책 저장소에서 python -u sources/gpt-parts/toy_exam.py 로 돌리면 RTX 4090 한 장에서 534.5초가 걸린다). 숫자 16 칸과 물음 토큰을 합쳐 17 자리에 어텐션을 고르게 나누면 두 자리의 비중 합은 2/17 = 0.118 인데, 문제 1,000 개까지의 모델은 0.111~0.125 로 고르게 나눈 값과 거의 같다.

김민준 M16
김민준

기출 1.0000 에 새 문제 7%. 어디를 봐야 하는지도 안 배웠어. …나잖아.

이서연 S12
이서연

아무 데도 안 보고 「차는 0」이라고만 찍어도 10% 는 맞아. 7% 면 찍는 것보다도 못한 거야. 그런데 만 개부터는 새 문제도 95% 안팎이네.

김민준 M06
김민준

천 개는 문제마다 그대로 외우는 게 더 쉬웠던 거 아닐까요? 만 개는 다 외우기가 어려우니까, 자리를 찾아 읽는 쪽이 더 싸게 먹히고요.

선생님 T14
선생님

그럴 수 있어요. 다만 이 표는 어디에 외웠는지까지 말해 주지 않아요. 부품을 지워 본 실험이 아니니까요. 추측이라고 적어 두죠. 그 대신 이 표에서 확실히 읽을 수 있는 게 있어요. 문제 1,000 개 모델과 10,000 개 모델은 둘 다 스텝마다 문제 512 개씩, 8,000 스텝을 풀었어요.

이서연 S08
이서연

그럼 푼 횟수는 같네요. 천 개는 한 문제를 4,000 번쯤, 만 개는 400 번쯤 풀었고요. 학습 끝 손실은 둘 다 0 이고 기출도 다 맞혔는데, 새 문제는 7% 대 95% 예요. 같은 문제를 열 배 더 되풀이한 쪽이 진 거예요.

김민준 M04
김민준

…기출 문제집을 다섯 번 돌릴 게 아니라 다른 문제집을 다섯 권 풀었어야 했네.

사람의 공부를 두고도 비슷한 구별이 오래전부터 있었다. 심리학자 커텔(Raymond Cattell)은 1943년 논문 「The measurement of adult intelligence」에서 능력을 둘로 나누었다. 어떤 재료든 새것이든 옛것이든 그 사이의 관계를 알아보는 일반 능력을 유동 능력(fluid ability), 한 분야에서 오래 굳어진 판별 습관을 결정 능력(crystallized ability)이라 불렀다.

김민준 M12
김민준

그럼 정리됐네요. MLP 가 결정 지능이고, 어텐션이랑 층 쌓기가 유동 지능이에요. 저는 MLP, 서연이는 어텐션.

이서연 S06
이서연

그렇게 칸막이로 나눠지면 나는 시험장에서 시간이 안 모자랐겠지. 외운 게 없으니까 풀 때마다 재료부터 만들어야 했던 거야. 꺼내는 힘만 있고 꺼낼 게 없으면 느려. 표도 같은 말을 해. 마지막 자리 어텐션을 지우면 답을 못 꺼내고, 주어 자리 MLP 를 지워도 답이 줄어들어. 둘 다 있어야 답이 나와.

김민준 M01
김민준

그럼 내 마지막 문제는? 재료는 다 있었는데 조건 하나를 안 읽었어.

이서연 S01
이서연

그건 네 어텐션이 그 조건을 안 읽은 거고.

김민준 M04
김민준

…반박을 못 하겠다.

선생님 T01
선생님

사람에게 쓰던 말을 모델에 그대로 옮기는 건 조심하는 게 좋아요. 외운 것과 푸는 힘이 MLP 와 어텐션에 칸막이로 나뉘는지는 기출 실험 표로는 가를 수 없어요. 그래도 새 문제를 풀게 만든 것이 무엇이었는지는 봤잖아요.

이서연 S07
이서연

같은 문제를 몇 번 풀었느냐가 아니라 서로 다른 문제를 몇 개 풀었느냐요. 그럼 루나에게 무언가를 가르칠 때도 같은 글을 여러 번 읽히기보다 다르게 쓴 글을 많이 읽혀야겠네요.

선생님이 고개를 끄덕이고 복도로 돌아가자, 민준은 그제야 캔을 들어 마시다가 생각났다는 듯 말했다.

김민준 M01
김민준

근데 네 말이 맞는 것 같아. 1학년 때 네가 칠판에 쓴 그 풀이, 나 아직 노트에 있거든. 멋있어서 베껴 놨어.

이서연 S16
이서연

…그걸 아직 갖고 있어?

김민준 M11
김민준

응. 시험 전날 외웠어.

서연은 대답 대신 공책을 펴서 설정서 쪽을 찾았는데, 찾는 데 평소보다 조금 오래 걸렸다. 선생님은 표에 난 캔 자국을 들여다보는 척했다.