자주 하는 실수와 요약

자주 하는 실수

실수	나온 문제	바로잡는 법
적은 자료에서 한 족의 답을 확신함	1	자료와 모순되지 않는 족이 여럿이면, 답을 가르는 것은 족을 고른 믿음이다. 자료가 쌓여야 처음 믿음이 덜 중요해진다
가장 짧은 설명을 찾는 프로그램을 만들 수 있다고 봄	2	그런 프로그램이 있으면 「긴 설명이 필요한 줄」을 짧은 프로그램이 찍는 모순이 생긴다. 실제 학습은 정해 둔 모델 족 안에서만 찾는다
파라미터가 적은 구조가 늘 더 짧다고 봄	3	적을 수 있는 규칙을 줄인 대가다. 믿음에 맞는 규칙만 짧아지고, 맞지 않는 규칙은 아예 못 적는다
메시지마다 아끼면 표를 보내는 게 늘 이득이라고 봄	4	표의 비트를 넘을 만큼 메시지가 많아야 이득이다. 자료의 양이 모델의 값어치를 정한다
학습 자료를 가장 짧게 적는 모델이 늘 잘 배운 모델이라고 봄	5	같은 글이 되풀이되면 외우는 것이 가장 짧은 설명이 된다. 중복을 지우고, 처음 보는 글로도 잰다
1GB 에서 진 큰 모델은 압축기로 쓸모없다고 봄	6	고친 압축률은 자료 크기에 달렸다. 자료가 수 TB 면 큰 모델이 이긴다. 원래 압축률이 그대로라는 가정도 밝힌다
배우며 적기의 비트가 순서에 따라 달라진다고 봄	7	라플라스 규칙의 순차 코드는 곱이 1/((n + 1)C(n, k)) 로, 개수와 자리를 적는 두 부분 코드와 같다
학습 자료 앞에서 모델 비트의 비율을 사용 목적과 상관없이 판정함	8	학습 자료를 되살리는 첫째 뜻인지, 처음 보는 글에 계속 쓰는 둘째 뜻인지 먼저 정한다
상관이 높으면 한쪽이 다른 쪽을 늘 대신한다고 봄	9, 10	조건이 깨진 점 하나가 상관을 무너뜨리고, 상관이 −0.97 이어도 점과 직선의 차이가 클 수 있다. 측정 범위와 식의 꼴을 함께 본다
학습했을 수 있는 글로 압축률을 잼	11	다른 방식으로 만든 모델이 섞이면 학습 글의 비트는 능력을 보장하지 않는다. 처음 보는 글로 잰다
잘 예측하는 변수를 바꾸면 결과도 바뀐다고 봄	12, 13	관측 기록은 결합 분포까지만 정한다. 두 인과 이야기는 관측을 똑같이 짧게 적고, 개입한 기록에서만 갈린다
손실이 낮은 모델이 늘 더 좋은 답을 낸다고 봄	14	「좋은 답」은 관측된 글의 분포 밖의 잣대다. 압축 목표와 사람의 선호는 다른 방향을 가리킬 수 있다

요약

이 장에서 한 일을 정리해 보자. 자료를 내는 가장 짧은 프로그램을 찾아 주는 프로그램은 만들 수 없다. 그래서 실제 학습은 미리 정한 모델 족 안에서만 짧은 설명을 찾고, 그 선택이 귀납 편향이다. 1, 2, 4, 8, 16 을 똑같이 지나는 두 족은 다음 값을 32 와 31 로 다르게 말했고, 둘을 가른 것은 자료가 아니라 족을 고른 믿음이었다. 언어를 바꿔도 콜모고로프 복잡도는 상수만큼만 달라지지만, 짧은 자료에서는 그 상수가 답을 정한다.

모델을 적는 비트까지 더한 고친 압축률로 보면 순위가 바뀐다. 빵집 이야기의 학습 글을 자료 비트만으로 재면 외운 예측기가 12비트로 1등이었지만, 표까지 적으면 빈도만 보는 예측기(12,519비트)가 1등이었다. 델레탕 외의 표에서 친칠라 700억 개는 위키백과 1GB 를 8.3% 로 줄이지만 모델까지 세면 14,008.3% 였다. 「압축」에는 두 뜻이 있다. 이 파일 하나를 짧게 적는 뜻에서는 모델이 길이에 들고, 원천에서 나올 글을 잘 예측하는 뜻에서는 모델 값이 앞으로 올 모든 글에 나뉜다. 스케일링 법칙의 첫째 항 H(손실이 내려갈 수 있는 가장 낮은 값)는 원천의 엔트로피이고, 자료가 클수록 「모델 + 자료」를 가장 짧게 하는 모델도 커진다.

압축과 능력은 황 외의 31개 모델에서 피어슨 상관이 −0.93 일 만큼 강하게 상관한다. 그러나 그 관계는 처음 보는 글로, 다듬지 않은 기본 모델을 잴 때의 이야기이고, 코드에서는 점수의 로그가 비트와 직선을 이룬다는 반론이 있다. 그리고 관측 기록을 아무리 짧게 적어도 개입의 결과와 「무엇을 해야 하나」는 정해지지 않는다. 우산과 비의 두 이야기는 1,000일의 기록을 똑같이 1,362.01비트로 적었지만, 우산을 억지로 펴게 하면 비 올 확률을 0.30 과 0.794 로 다르게 말했다.

flowchart LR
  A["관측 자료"] -- "모델 족을 고른다<br/>(귀납 편향)" --> B["짧은 설명"]
  B -- "모델까지 센다<br/>(고친 압축률)" --> C["이 파일을 짧게"]
  B -- "모델은 있다고 본다" --> D["원천을 잘 예측<br/>(시험 손실)"]
  D -. "상관은 강하지만 범위가 있다" .-> E["능력"]
  A -. "개입 기록이 없으면 못 간다" .-> F["바꾸면 어떻게 되나"]
  D -. "압축 목표 밖" .-> G["무엇을 해야 하나"]

막힌 곳

압축이 강한 잣대라는 것과 그 잣대가 닿지 않는 곳을 함께 보았지만, 그래도 물음이 남는다. 모델 족을 고르는 일이 답을 정한다면 그 족은 누가, 무엇을 보고 골라야 하며, 사람이 고르는 것이라면 그 선택 자체를 짧게 적는다는 것은 무슨 뜻일까? 그리고 개입한 기록과 사람의 선호까지 자료에 넣는다면, 그때 「짧게 적기」는 이해와 얼마나 가까워질까? 이 책의 비트 단위로는 아직 이 물음들을 잴 잣대가 없다.