다음 글자 맞히기: 세기만으로 루나가 말을 할까

센 표로 다음 글을 말해도 될까: 귀납의 문제

실습 시간이 끝날 무렵, 선생님은 민준의 화면 맨 위에 올라가 있는 넷째 샘플을 읽고 두 사람 옆에 의자를 놓았다.

선생님 T02
선생님

두 사람의 표는 이미 쓰인 글 98,363,266 바이트를 센 기록이에요. 그런데 방금 그 표로 아직 쓰이지 않은 글의 다음 글자를 뽑았죠. 이미 쓰인 글의 기록이 다음 글에 대해 말해 줄 근거는 어디에 있을까요?

김민준 M06
김민준

동화는 늘 비슷하게 쓰니까요. 지금까지 「q」 뒤에 「u」가 27,342번 왔으면 다음에도 오겠죠.

선생님 T01
선생님

그 「다음에도 오겠죠」를 검토한 사람이 있어요. 스코틀랜드의 철학자 데이비드 흄(David Hume)이 1739년과 1740년에 걸쳐 낸 『인간 본성에 관한 논고』(A Treatise of Human Nature)에서 다룬 물음이에요. 지금까지 해가 매일 떴다는 관찰에서 내일도 해가 뜬다는 결론을 얻으려면, 「앞으로도 지금까지와 같을 것이다」라는 전제가 하나 더 필요해요. 흄은 그 전제를 무엇으로 증명하느냐고 물었어요. 논리만으로는 증명되지 않아요. 「내일은 해가 뜨지 않는다」는 문장 안에는 모순이 없으니까요. 경험으로 증명하려 하면 「지금까지 늘 그랬으니 앞으로도 그렇다」가 되는데, 그러면 증명하려던 전제를 증명에 다시 쓰게 돼요. 관찰한 사례에서 관찰하지 않은 사례로 넘어가는 추론을 귀납 (관찰한 사례들로 아직 관찰하지 않은 사례를 말하는 추론 / induction)이라고 하고, 그 근거를 묻는 흄의 물음을 귀납의 문제라고 불러요.

이서연 S03
이서연

표에 대해서 수학의 용어로 다시 적으면 가정이 둘이에요. 첫째는 앞으로 읽을 글도 학습 글과 같은 분포에서 나온다는 가정이에요. 이 가정이 있어야 칸의 수를 행의 합으로 나눈 비율을 확률의 추정값으로 쓸 수 있어요. 둘째는 다음 글자의 분포가 바로 앞 글자 하나에만 의존한다는 가정이고, 회상한 마르코프 체인에서 이름을 가져와 마르코프 가정 (다음 것의 분포가 지금 것 하나에만 의존한다는 가정 / Markov assumption)이라고 해요. 둘째 가정이 실제 글과 불일치하는 것은 「the 」의 확률을 곱할 때 이미 확인했으니까, 첫째 가정을 가장 작은 경우로 축소해서 측정해 볼게요.

서연은 장난감 문장으로 센 표에 그 문장에 없던 낱말이 하나 든 새 문장 「luna saw a little star.」를 넣고, 이웃한 쌍마다 표의 값을 출력했다(sources/next-token/unseen.py).

표를 센 문장: 'luna saw a star. luna said hi to the star.'
새 문장    : 'luna saw a little star.'
쌍마다 표의 값(센 수/행의 합):
  lu 2/2 · un 2/2 · na 2/2 · a␣ 3/7 · ␣s 4/9 · sa 2/4 · aw 1/7 · w␣ 1/1
  ␣a 1/9 · a␣ 3/7 · ␣l 1/9 · li 0/2 · it 0/2 · tt 0/4 · tl 0/4 · le 0/2
  e␣ 1/1 · ␣s 4/9 · st 2/4 · ta 2/4 · ar 2/7 · r. 2/2
새 문장의 이웃 쌍 22 개 가운데 표의 칸이 0 인 쌍 5 개
표가 새 문장 전체에 주는 확률(쌍마다 확률의 곱): 0.0
이서연 S06
이서연

22쌍 가운데 「li」, 「it」, 「tt」, 「tl」, 「le」 다섯 쌍이 0이야. 글 전체의 확률은 쌍마다의 확률을 곱한 값이라서, 0이 하나만 있어도 문장 전체가 0이 돼. 이 표는 「little」이 든 문장은 나올 수 없다고 말하는 거야.

김민준 M06
김민준

「li」는 문장 하나에서 못 봤을 뿐인데 불가능이 됐네. 근데 그건 42글자로 세어서 그런 거잖아. 100MB 로 센 표는 다르지 않아?

이서연 S01
이서연

그래서 측정해 보려고. 학습 글 앞 1MB, 10MB, 100MB 로 표를 따로 세고, 검증 글의 이웃 쌍 가운데 표의 칸이 0인 쌍을 집계할게.

검증 글은 표를 셀 때 한 번도 읽지 않은 동화 27,630편이다. 표가 한 번도 세지 못한 쌍이 한 번이라도 나온 이야기는 표가 준 확률이 0이 되므로, 그런 이야기의 수도 함께 집계했다.

## 2. 검증 글 22,132,376 바이트, 이웃 쌍 22,132,375 개, 이야기 27,630 편
검증 글에 나온 쌍의 종류: 1,585
    학습 글     찬 칸   못 본 쌍 종류   못 본 쌍 횟수         비율   못 본 쌍이 든 이야기
       1MB       994            598          4,782    0.02161%      1,954 / 27,630 (7.07%)
      10MB     1,380            324            771    0.00348%        305 / 27,630 (1.10%)
     100MB     2,195             90            152    0.00069%         60 / 27,630 (0.22%)
이서연 S01
이서연

100MB 표가 못 본 쌍은 검증 글 22,132,375쌍 가운데 152번이고, 비율로는 0.00069%야. 학습 글을 열 배로 늘릴 때마다 4,782번, 771번, 152번으로 감소했는데 0이 되지는 않았어. 그리고 비율이 아무리 작아도 곱셈에서는 한 번이면 충분해서, 27,630편 가운데 60편은 표가 준 확률이 0이야.

김민준 M02
김민준

그 152번이 어떤 쌍인지 보자. 틀린 글이면 0을 줘도 되잖아.

## 3. 100MB 표에서 0 이었는데 검증 글에 가장 자주 나온 쌍 (횟수, 검증 글의 한 곳)
  '=='  22 번   …ng her fear. \n================…
  'RR'  10 번   …as he could. BRRRRRR! The soun…
  'eB'   7 번   …y bee named BeeBee resting on …
  'Xi'   5 번   …. His name is Xiao. He lives i…
  'HH'   4 번   …outed out, \n"AHHH, SPICY!"\nA f…
  'EA'   4 번   …O NOT WANT TO EAT HEALTHY! WE …
  '\xc2\x92'   3 번   …w something hed never seen b…
  'yk'   3 번   …, my name is Tyke," it said. "…
김민준 M11
김민준

맨 위의 구분선이랑 깨진 바이트 하나 빼면 전부 멀쩡한 글이야. 「BRRRRRR!」, 「AHHH」는 소리를 지르는 글자고, Xiao, Tyke, BeeBee 는 이름이고. 틀린 영어라서 표에 없는 게 아니고, 학습 글 100MB 에 그 이름의 아이가 한 번도 안 나와서 없는 거네.

선생님 T01
선생님

학습 글을 2.2GB 전부로 늘리면 그 152번이 0이 될까요?

이서연 S04
이서연

열 배마다 대략 5분의 1에서 6분의 1로 감소했으니 더 감소할 것 같아요. 그런데 동화를 쓰는 사람은 새 이름을 얼마든지 지을 수 있으니까 0까지 가지는 않을 것 같고요. 2.2GB 로는 측정하지 않았으니 둘 다 추측이에요.

김민준 M07
김민준

그러면 표는 이미 쓰인 글의 요약이고, 표의 비율을 확률이라고 부르는 일은 다음 글도 같은 곳에서 나온다는 쪽에 거는 내기네요. 글을 많이 읽을수록 내기에서 지는 횟수는 감소해도, 내기라는 사실은 그대로고요.

선생님 T14
선생님

민준 학생이 본질을 짚었어요. 그 내기는 센 표만 하는 것이 아니에요. 휴대폰 자판의 자동완성은 오랫동안 낱말의 이어짐을 센 표로 다음 낱말 후보를 냈고, 그래서 처음 입력하는 이름은 후보에 나오지 않아요. 지금의 큰 언어 모델도 표를 신경망으로 교체했을 뿐, 다음 토큰(글을 자른 조각)에 확률을 매기는 함수라는 점은 두 사람의 표와 같아요. 신경망은 확률을 0으로 두지 않게 만들 수 있지만, 학습 글이 끝난 날짜 뒤에 생긴 낱말과 사건을 읽은 적이 없다는 한계는 표와 똑같이 남아요. 학습에 쓴 글과 실제로 만나는 글의 분포가 달라지는 일을 분포 이동 (학습 때의 분포와 쓰일 때의 분포가 달라지는 일 / distribution shift)이라고 불러요. 흄의 물음에 증명으로 답한 사람은 아직 없어서, 머신러닝은 증명 대신 측정을 선택했어요. 글의 일부를 학습에 쓰지 않고 따로 두었다가, 학습이 끝난 모델이 그 글을 얼마나 잘 맞히는지 측정하는 거예요. 서연 학생이 방금 검증 글로 한 일이 그거예요.

이서연 S02
이서연

그러면 이렇게 적어 둘게요. 센 표는 「앞으로 읽을 글도 지금까지 읽은 글과 같다」는 가정 위에 있고, 그 가정은 증명할 수 없어서 따로 둔 글로 측정한다.

김민준 M12
김민준

Xiao 한테 0점 주는 루나는 좀 그렇지.

그날 마지막으로 민준은 같은 표, 같은 첫 글자 「O」에서 두 가지로 쓴 글을 한 화면에 위아래로 띄웠다(sources/next-token/greedy.out, bigram.out).

늘 가장 흔한 글자만:  Ond the the the the the the the the the the the the the the
표의 확률대로 뽑기:   On woucames athand t th tot oy. Sury.\n\n"Itom?"\n" thit. The Suis s he cas o wed, …
김민준 M08
김민준

표는 하나야. 고르는 법만 바꿨는데 아랫줄은 마침표를 찍고 따옴표를 열어.

윗줄은 1등 칸만 따라가다 갇힌 고리이고, 아랫줄은 행의 확률대로 뽑은 옹알이다. 낱말 길이쯤마다 공백이 들어가고, 마침표 뒤에 공백이나 줄바꿈이 오고, 「The」 같은 짧은 낱말이 맞는다. 언어 모델이 내놓는 것은 답 하나가 아니라 다음 글자의 분포였고, 바로 앞 글자 하나를 센 표만으로 루나는 이웃한 두 글자의 규칙까지 지키는 첫 소리를 냈다. 그 표는 「th」까지 온 것도 잊고, Xiao 의 「Xi」처럼 학습 글에 없던 쌍에는 0을 준다.

서연은 아랫줄을 복사해 두 사람의 공유 폴더에 「루나_첫소리.txt」라는 이름으로 저장했다.