자주 하는 실수와 요약
자주 하는 실수
| 실수 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 1이 15개인 20자리 줄을 15비트로 적을 수 있다고 봄 | 1 | 자리를 고르는 가짓수 C(20, 15)를 센다. log₂ 15,504 = 13.92비트 |
| 친구가 미리 알려 준 말은 공짜로 침 | 1 | 받는 쪽이 모르는 것은 비트로 더한다. 개수를 먼저 적으면 log₂ 21 = 4.39비트가 붙는다 |
| 경우의 수의 로그와 평균 놀라움의 차이가 n과 함께 자라니 다른 양이라고 봄 | 2 | 차이는 log n 정도로만 자란다. 한 자리마다로 나누면 0으로 간다 |
| 손실이 0에 가깝지 않으면 학습이 덜 됐다고 봄 | 3 | 손실 = 엔트로피 + KL. 학습이 줄이는 것은 KL뿐이고 엔트로피는 어떤 모델로도 남는다 |
| 받는 쪽에 보낸 비트만 세고 받는 쪽이 이미 아는 규칙은 잊음 | 4 | 규칙이 공짜인 것은 받는 쪽이 미리 알 때뿐이다. 규칙을 따르지 않는 부분(얼룩)은 따로 치른다 |
| 같은 자료로 고른 축이 자료 비트를 덜 쓰면 더 좋은 축이라고 봄 | 5 | 고른 자료로 다시 재면 그 자료의 노이즈에 맞춘 비트가 섞인다. 축 값까지 세거나 새 자료로 잰다 |
| 파라미터가 적은 합성곱 층이 늘 낫다고 봄 | 6 | 대칭이 맞는 만큼만 아낀다. 자리마다 사정이 다른 자료는 자료가 많아질수록 자리를 가리는 축이 낫다 |
| 세상을 잘 설명하는 모델이면 무엇을 할지도 알려 준다고 봄 | 7, 8 | 기록에 보상이 없으면 모델은 목표를 정하지 못한다. 목표가 주어진 뒤 길을 계산하는 데 쓰인다 |
| 프리트레인을 오래 하면 좋은 답을 고르게 된다고 봄 | 9 | 프리트레인은 글의 비율을 맞힌다. 같은 비트로 적히는 답들 사이의 동점은 보상이 깬다 |
요약
이 장에서 한 일을 정리해 보자. 3칸 공간의 원 둘레 점 200개를 네 설명으로 적어 보니, 모델 비트와 자료 비트의 합이 원에서 가장 짧았고(3,290비트), 학습 점에 더 잘 맞는 구불구불한 고리는 설명이 길어 합이 4,160비트였으며 새 점에서도 원보다 길었다. 낮은 차원, 코드 길이, 최소 기술 길이, 일반화라는 이 책의 줄기가 그림 한 장에 들어 있다.
앞의 일곱 권을 압축의 말로 다시 읽었다. 동역학의 경우의 수의 로그와 정보기하학의 평균 놀라움은 같은 양이고, 둘 다 적는 데 드는 비트 수다. 동전 100번에 앞면 20번이면 log₂ C(100, 20) = 68.86비트와 100 H(0.2) = 72.19비트가 몇 비트 차이로 맞고, 두 값의 차이는 기록이 길어질수록 한 자리마다 사라진다. KL 발산은 잘못 믿은 코드표가 더 쓰는 비트이고, 학습이 손실에서 줄일 수 있는 것은 KL 덤뿐이다.
대칭이 고른 축은 받는 쪽이 대칭만 알면 만들 수 있어 축 값이 들지 않는다. 미는 대칭이 있는 신호에서는 늘 짧았고, 늘 4번 칸에 서는 봉우리에서는 신호가 100개 남짓을 넘자 축 값을 보내는 주성분이 더 짧아졌다. 매니폴드와 디노이저도 같은 구조다. 자료가 사는 곳의 모양을 한 번 적어 두면, 점마다 그곳 위의 자리만 적거나 노이즈에서 그곳으로 풀어 되살린다. 최적화의 옵티마이저는 똑같이 짧은 해 가운데 하나를 고르고, 강화학습의 보상은 같은 세계 모델 위에서 무엇을 할지를 정한다. 복도 일곱 칸의 기록은 세계 모델로 200비트로 줄었지만, 목표가 0번 칸이냐 6번 칸이냐에 따라 행동은 정반대였다.
flowchart LR A["자료"] -- "규칙을 찾는다" --> B["짧은 설명<br/>L(모델) + L(자료∣모델)"] B --> C["엔트로피 = 경우의 수의 로그<br/>KL = 잘못 믿은 덤<br/>(동역학 · 정보기하학)"] B --> D["받는 쪽이 이미 아는 것<br/>대칭 · 매니폴드 · 디노이저<br/>(신호처리 · 미분기하학 · 디퓨전)"] B --> E["압축이 정하지 않는 것<br/>어느 해를 · 무엇을 할지<br/>(최적화 · 강화학습)"] E --> F["남은 물음<br/>이해의 단위, 모델 족을 누가 정하나"]
막힌 곳
이 책의 마지막 막힌 곳은 「남은 물음」에서 꺼낸 두 물음이다. 비트는 뜻을 빼고 가짓수를 세려고 만든 단위인데, 그 단위로 이해를 잴 수 있을까? 그리고 가장 짧은 설명을 고르는 후보 목록인 모델 족은 누가 정하며, 모델 족을 고르는 일도 압축이라면 그 위의 모델 족은 또 누가 정할까?