얼마나 잘 맞히나: 루나가 놀라는 정도를 재기

혼동하기 쉬운 점과 요약

토론 1. α를 검증 글로 고르면

n-그램 표에서 α = 1과 α = 0.01을 검증 글로 재 보고 0.01이 낫다고 골랐다. 그 0.01로 잰 검증 글의 바이트당 비트 1.2817을 이 표의 실력으로 발표해도 되는가?

7-그램을 발표한다면 몇 비트라고 적겠어요?

1.2817이요. 둘 중에 좋은 걸 고르는 거니까요.

그런데 0.01을 고른 근거가 검증 글 점수잖아. 검증 글을 보고 고른 다음 같은 검증 글로 점수를 매기면, 그 글에 맞춘 거 아냐?

둘 중 하나 고른 것뿐인데 그게 그렇게 큰일이야?

α를 두 개 말고 백 가지 시험해서 가장 좋은 걸 골랐다면요?

백 개 중에는 이 검증 글에 우연히 잘 맞는 것도 있겠네요. 그럼 그 점수는 새 글에서보다 좋게 나올 거고요.

학습 글로 표를 세고, 검증 글로 α를 고르고, 마지막 점수는 둘 다 안 쓴 글로 매겨야 해. 시험 문제를 미리 보고 공부한 점수가 실력이 아닌 것처럼.

그래요. 이 장의 α 두 개는 검증 글을 보고 고르지 않았고 결과를 나란히 적었을 뿐이지만, 둘 가운데 하나를 「골라서」 실력이라고 내세운다면 고르는 데 쓰지 않은 글로 다시 재야 해요.

혼동하기 쉬운 점

요약

처음 보는 동화의 실제 다음 글자에 루나가 준 확률을 p라 하면, 그 글자에 놀란 정도는 −log₂ p비트이고 검증 글 전체의 평균이 크로스 엔트로피다. 학습 손실은 같은 값을 nat 로 잰 것이고, 아무것도 모르는 모델의 첫 손실은 ln V 근처에서 시작한다. 표가 세지 못한 이어짐에 확률 0을 주면 평균이 무한대가 되므로, 칸마다 α를 더해 작은 확률을 남긴다.

nat 를 ln 2로 나누면 비트이고, 2의 비트 제곱이 퍼플렉서티다. 퍼플렉서티는 놀람을 「매번 몇 개의 똑같이 그럴듯한 후보 가운데서 고르는 것만큼」의 후보 수로 되돌린 값이다. 맞히는 단위가 다른 모델은 놀란 비트의 합을 원래 글의 바이트 수로 나눈 바이트당 비트로 비교한다. 타이니스토리즈 검증 글에서 고른 분포는 8비트, 유니그램은 4.4150비트, 바이그램은 3.2940비트(퍼플렉서티 9.81)였다.

앞 글자를 더 보는 n-그램은 앞 다섯 글자쯤까지 놀람을 크게 줄여, α = 0.01의 7-그램이 1.2817비트까지 내려갔다. 그러나 문맥의 가짓수가 거듭제곱으로 늘어 행마다 센 수가 줄고, α = 1의 7-그램이나 1MB 로 센 6-그램처럼 앞을 더 보는데 오히려 나빠지는 표가 생긴다. 표는 비슷한 문맥끼리 아무것도 나눠 쓰지 못한다.

막힌 곳

앞 여섯 글자는 「Once upon a time」의 「upon a」 정도다. 동화 앞에 나온 이름을 기억해 뒤에서 다시 부르려면 수십, 수백 글자 앞을 봐야 하는데, 표로는 여섯 글자만 늘려도 학습 글이 모자랐다. 바이트 대신 더 큰 조각으로 글을 자르면 같은 표로 더 먼 앞을 볼 수 있을까? 그리고 「Lily saw a 」에서 배운 것을 「Lucy saw a 」에 나눠 쓰려면, 문맥을 표의 행 번호 말고 무엇으로 나타내야 할까?

루나 설정서 점검

서연은 설정서 첫째 줄 옆의 「옹알이」를 지우고 「3.29비트 → 1.28비트(7-그램)」라고 고쳐 적었다. 민준은 그 아래에 작게 「Lu」를 다시 써 넣었다.

옛 루나는 어제 한 말도 기억했는데, 우리 루나는 여섯 글자 전이 한계네.

어제 한 말은 욕심이라고 했잖아. 일단 여섯 글자보다 멀리.