자주 하는 실수와 요약

자주 하는 실수

실수	나온 문제	바로잡는 법
규칙에서 벗어난 것이 하나 생기면 처음부터 다 적어야 한다고 봄	1	규칙은 그대로 두고 벗어난 것만 따로 적는다
칸 하나를 다른 칸으로 계산할 수 있으면 그 다른 칸만 보내면 된다고 봄	2	자유도와 「어느 칸이 그 방향을 담나」는 따로다. 원 위의 점은 x₁만으로는 위아래를 못 가린다
같은 정보를 두 번 담은 열에도 가중치가 한 가지로 정해진다고 봄	3	자료가 정해 주는 것은 두 가중치의 조합 하나뿐이다. 나머지는 페널티나 처음 값이 정한다
반지름을 두 배로 할 때의 배수를 차원으로 읽음	4	차원은 배수의 log₂(기울기)다
잰 차원을 반지름과 상관없는 한 숫자로 봄	5, 6	잰 차원에는 「어느 반지름(이웃 몇 개)에서」가 붙는다
이웃을 많이 볼수록 차원이 정확하다고 봄	6	이웃 수는 보는 눈금을 바꾼다. 어림값의 분산과 편향을 맞바꾼다
무작위로 많이 뽑으면 언젠가 그럴듯한 그림이 나온다고 봄	8	그럴듯한 그림이 모인 곳은 너무 좁아 무작위 뽑기로는 닿지 않는다
칸 수가 늘면 내재 차원도 는다고 봄	9	새 칸이 기존 칸으로 정해지면 새 방향이 생기지 않는다
예측이 틀릴 수 있으면 예측은 아무것도 아껴 주지 않는다고 봄	10, 11	잔차만 적으면 된다. 잔차가 좁을수록 적는 비트가 준다
칸 하나의 퍼짐이 같으면 두 모음이 똑같이 적기 어렵다고 봄	12	앞의 칸을 알고 난 뒤의 퍼짐(잔차)을 견준다

요약

이 장에서 한 일을 정리해 보자. 영수증의 금액 칸처럼 다른 칸에서 계산되는 칸은 적을 필요가 없다. 기운 평면 x₃ = 0.5x₁ + 0.3x₂ 위의 점 500개는 숫자 1,500개 대신 규칙의 두 숫자와 점마다 (x₁, x₂)만, 모두 1,002개로 적을 수 있었다. 규칙을 안 뒤에도 점 하나마다 새로 정해야 하는 숫자의 수가 자유도다.

규칙을 모를 때에도 점들이 몇 방향으로 퍼져 있는지는 잴 수 있다. 거리가 r보다 짧은 쌍의 수가 r의 몇 제곱으로 느는지 세면 되고, 그 지수가 내재 차원이다. 칸이 똑같이 셋이어도 두께 0.02인 판은 1.94, 공은 2.93으로 나왔고, 이렇게 잰 차원에는 늘 「어느 반지름에서」가 따라붙는다. 같은 방법으로 1,024칸짜리 인물 그림 70장을 재면 4.3, 무작위 칸 그림 70장은 109.2였고, 포프 외는 150,528칸인 ImageNet의 내재 차원을 26~43으로 어림했다. 그럴듯한 자료는 칸 수가 만드는 넓은 공간의 얇은 면 근처에 모여 있다는 생각이 매니폴드 가설이다.

점이 판에서 조금 떠 있어도, 이웃으로 x₃을 맞히고 남은 잔차만 적으면 된다. 두께 0.02인 판에서 잔차는 x₃의 퍼짐보다 훨씬 좁아 점마다 3.89비트를 아꼈고, 공에서는 하나도 아끼지 못했다. 섀넌은 사람이 다음 글자를 몇 번째 추측에 맞혔는지만으로 영어 글자 하나가 새로 알려 주는 양의 범위를 냈다. 낮은 내재 차원, 다음 값을 잘 맞힘, 짧게 적을 수 있음은 같은 쪽을 가리킨다.

flowchart LR
  A["규칙<br/>칸 하나를 다른 칸으로 계산"] -- "자유도가 준다" --> B["낮은 내재 차원<br/>쌍의 수가 r의 k제곱으로 는다"]
  B -- "이웃으로 맞힌다" --> C["좁은 잔차<br/>적을 것이 준다"]
  C -- "아낀 비트 ≈ log₂(s ÷ e)" --> D["짧게 적기"]

막힌 곳

「짧게 적는다」는 말을 이 장에서는 꽤 느슨하게 썼다. 판 위의 점은 숫자 1,500개 대신 1,002개로 적었는데, 숫자 하나가 몇 비트인지는 셈에 넣지 않았다. 잔차로 아낀 비트는 log₂(퍼짐의 비)로 어림했지만, 퍼짐이 같아도 모양이 다르면 드는 비트가 같을지, 그리고 3.89비트 같은 정수가 아닌 비트를 실제로 어떻게 아낄 수 있을지는 따지지 않았다. 섀넌의 순번 이야기에서도 「순번을 그 비율대로 코드로 주면」이라고만 했다. 예측이 정해 주는 것은 결국 다음 값에 대한 확률일 텐데, 그 확률이 실제 0과 1의 줄로 몇 자리가 되는지는 무엇으로 재야 할까?