예측할 수 있으면 낮은 차원

혼동하기 쉬운 점과 요약

토론 1. 늘 빗나가는 예측은 아무것도 아껴 주지 않나

민준은 30일 동안 알람을 07:00에 맞췄지만 하루도 제시간에 일어나지 못했고, 날마다 1~8분 늦게 일어났다. 일어난 시각 기록을 알람 시각을 아는 친구에게 보낸다면, 알람 시각은 비트를 아껴 주는가?

선생님 T01
선생님

민준 학생은 한 달 동안 알람을 07:00에 맞췄는데, 30일 내내 1~8분 늦게 일어났다면서요? 일어난 시각을 분 단위로 30번 적어서, 알람 시각을 아는 친구에게 보낸다고 해 봐요. 몇 비트가 들까요?

이서연 S01
이서연

음, 알람 시각에 맞춰 일어난 날이 하루도 없으니까, 알람 시각으로는 아무것도 못 맞혀요. 그냥 매번 하루 1,440분 가운데 하나를 적어야죠. log₂ 1,440 = 10.49비트, 30번이면 315비트요.

선생님 T01
선생님

알람 시각이 빗나간 날, 얼마나 빗나갔나요?

이서연 S04
이서연

많아야 8분이요… 아, 하루도 안 맞았지만 늘 1~8분 안에서만 빗나갔네요. 맞히지 못하면 무용하다고 생각했어요.

김민준 M01
김민준

그럼 07:00에서 몇 분 늦었는지만 보내면 돼. 1~8분은 여덟 가지라 한 번에 3비트, 30번이면 90비트야. 하루도 안 맞은 예측인데 315비트가 90비트가 됐어.

선생님 T01
선생님

알람을 끄고 다시 잠드는 날이 늘어서, 늦는 폭이 1~64분으로 균등하게 분포했다면 하루에 몇 비트를 아낄까요?

이서연 S01
이서연

해 볼게요. 64가지니까 6비트, 그냥 적는 10.49비트보다 4.49비트 적어요. log₂(1,440 ÷ 64)도 4.49니까, 아끼는 비트는 퍼질 수 있는 폭의 비에 log₂를 씌운 값이에요.

선생님 T01
선생님

그럼 알람 시각이 아무것도 아껴 주지 못하는 건 언제일까요?

이서연 S07
이서연

늦는 폭이 하루 전체만큼 넓어져서 비가 1이 될 때뿐이에요. 맞히느냐 못 맞히느냐가 아니라, 빗나간 폭이 얼마나 좁으냐가 아끼는 비트를 정하네요.

김민준 M11
김민준

알람이 한 번도 안 맞았는데 용도는 있었던 거네. 적는 건 예측에서 빗나간 만큼, 잔차뿐이었어.

토론 2. 가게 수가 늘어난 배수만 보면 차원이 나오나

반경을 1km에서 3km로 넓혔더니 가게가 12개에서 108개가 되었다. 가게들은 몇 차원으로 분포해 있는가?

선생님 T01
선생님

이번에는 반경을 1km에서 3km로 넓혔더니 가게가 12개에서 108개가 됐어요. 몇 차원으로 분포해 있을까요?

이서연 S01
이서연

9배로 늘었네요. 반경을 두 배로 할 때 배수에 log₂를 씌웠으니까… log₂ 9 = 3.17, 3차원쯤이요.

선생님 T01
선생님

3차원이라면, 반경을 세 배로 넓힐 때 가게는 몇 배가 돼야 할까요?

이서연 S04
이서연

공의 부피는 반지름의 세제곱이니까 27배요. 그런데 9배밖에 안 늘었어요. 9 = 3²이니까 평평한 주택가처럼 2차원이네요. 두 배로 넓힐 때 쓰던 log₂를 세 배에도 그대로 썼어요.

김민준 M01
김민준

기울기 식에 넣으면 ln 9 ÷ ln 3 = 2야. 분모가 ln 2에서 ln 3으로 바뀌는 거지.

선생님 T01
선생님

반경을 1.5배로 넓혔는데 가게가 12개에서 27개가 됐다면요?

이서연 S01
이서연

27 ÷ 12 = 2.25배고, 1.5² = 2.25니까 이것도 2차원이에요. ln 2.25 ÷ ln 1.5 = 2.

김민준 M11
김민준

피자도 그래요. 지름이 1.5배인 피자는 양이 2.25배라서, 값이 두 배면 큰 걸 시키는 게 이득이에요.

선생님 T01
선생님

그래요. 차원은 가게 수가 늘어난 배수의 로그를 반경이 늘어난 배수의 로그로 나눈 값이에요. 반경을 두 배로 넓혔을 때만 그 분모가 log₂ 2 = 1이라, 배수의 log₂만 남았던 거예요.

토론 3. 값이 똑같이 분포한 두 기록은 적기도 똑같이 어려운가

달리는 동안 1분마다 측정한 심박수 기록과, 같은 열 개 숫자를 뒤섞은 기록이 있다. 둘을 적는 데 드는 비트는 같은가?

선생님 T01
선생님

러닝머신에서 달리며 1분마다 심박수를 측정했더니 70, 81, 91, 100, 108, 115, 121, 126, 130, 133이었어요. 같은 열 숫자를 뒤섞은 115, 70, 130, 91, 126, 81, 108, 133, 100, 121도 있어요. 어느 쪽이 적기 쉬울까요?

김민준 M01
김민준

표준편차부터 볼게요. 둘 다 20.4예요. 숫자가 똑같으니 당연하네요.

이서연 S01
이서연

산포가 같으면 적는 데 드는 비트도 같지 않을까? 열 숫자가 똑같으니까 값 하나하나의 비율도 같고, 그럼 엔트로피도 같잖아.

선생님 T01
선생님

받는 쪽이 앞의 심박수를 이미 안다면, 다음 값을 얼마나 좁혀 맞힐 수 있을까요?

김민준 M01
김민준

앞 값과의 차이를 내 볼게요. 처음 기록은 11, 10, 9, 8, 7, 6, 5, 4, 3. 뒤섞은 쪽은 −45, 60, −39, 35, −45, 27, 25, −33, 21이에요.

이서연 S04
이서연

처음 기록은 차이가 3~11 안에 다 들어가는데, 뒤섞은 쪽은 −45부터 60까지 분산돼. 엔트로피가 같다는 건 값을 하나씩 따로 볼 때 얘기였는데, 앞 값을 아는 경우에는 앞 값을 조건으로 한 엔트로피를 봐야 했네.

선생님 T01
선생님

비트로 바꿔 볼까요? 심박수를 40~200, 1 간격으로 그냥 적으면요?

김민준 M01
김민준

일단 그냥 적으면 161가지라 log₂ 161 = 7.33비트요. 처음 기록의 차이는 0~15로 정해 두면 16가지라 4비트예요. 뒤섞은 쪽은 −45부터 60까지 106가지를 담아야 해서 6.73비트라, 그냥 적는 것과 거의 같아요.

이서연 S11
이서연

숫자 열 개가 똑같아도, 순서가 남아 있으면 앞 값이 다음 값을 맞혀 주는구나. 비교할 건 앞 값을 알고 난 뒤에 남는 산포였어.

선생님 T01
선생님

그래요. 인물 그림과 무작위 칸 그림도 칸 하나의 표준편차는 0.281과 0.288로 거의 같았지만, 왼쪽 칸을 알고 난 뒤의 잔차는 0.089와 0.333으로 크게 달라졌어요. 적기 쉬운지는 앞을 알고 난 뒤의 잔차로 비교해요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
규칙에서 벗어난 것이 하나 생기면 처음부터 다 적어야 한다고 봄 1 규칙은 그대로 두고 벗어난 것만 따로 적는다
칸 하나를 다른 칸으로 계산할 수 있으면 그 다른 칸만 보내면 된다고 봄 2 자유도와 「어느 칸이 그 방향을 담나」는 따로다. 원 위의 점은 x₁만으로는 위아래를 구분하지 못한다
같은 정보를 두 번 담은 열에도 가중치가 한 가지로 정해진다고 봄 3 자료가 정해 주는 것은 두 가중치의 조합 하나뿐이다. 나머지는 페널티나 처음 값이 정한다
이웃(가게) 수가 늘어난 배수를 그대로 차원으로 읽음 토론 2 차원은 늘어난 배수의 로그를 반지름이 늘어난 배수의 로그로 나눈 값(기울기)이다. 반지름을 두 배로 했을 때만 배수의 log₂다
측정한 차원을 반지름과 상관없는 한 숫자로 봄 5, 6 측정한 차원에는 「어느 반지름(이웃 몇 개)에서」가 붙는다
이웃을 많이 볼수록 차원이 정확하다고 봄 6 이웃 수는 보는 척도를 바꾼다. 추정값의 분산과 편향을 맞바꾼다
무작위로 많이 뽑으면 언젠가 그럴듯한 그림이 나온다고 봄 8 그럴듯한 그림이 모인 곳은 너무 좁아 무작위 뽑기로는 닿지 않는다
칸 수가 늘면 내재 차원도 는다고 봄 9 새 칸이 기존 칸으로 정해지면 새 방향이 생기지 않는다
예측이 틀릴 수 있으면 예측은 아무것도 아껴 주지 않는다고 봄 토론 1 잔차만 적으면 된다. 잔차가 좁을수록 적는 비트가 준다
칸 하나의 산포가 같으면 두 모음이 똑같이 적기 어렵다고 봄 토론 3 앞의 칸을 알고 난 뒤의 산포(잔차)를 비교한다

요약

그림 한 장의 숫자 1,024개 가운데 정말로 따로 정해야 하는 것은 몇 개냐고 물으며 이 장을 시작했다. 측정한 자료마다 답은 몇 개에서 수십 개였다. 그럴듯한 자료는 칸 수보다 훨씬 적은 방향의 얇은 면 근처에 모여 있어서, 나머지 칸은 맞힐 수 있고 맞히고 남은 잔차만 적으면 짧아진다.

영수증의 금액 칸처럼 다른 칸에서 계산되는 칸은 적을 필요가 없다. 기운 평면 x₃ = 0.5x₁ + 0.3x₂ 위의 점 500개는 숫자 1,500개 대신 규칙의 두 숫자와 점마다 (x₁, x₂)만, 모두 1,002개로 적을 수 있었다. 규칙을 안 뒤에도 점 하나마다 새로 정해야 하는 숫자의 수가 자유도다.

규칙을 모를 때에도 점들이 몇 방향으로 분포해 있는지는 측정할 수 있다. 거리가 r보다 짧은 쌍의 수가 r의 몇 제곱으로 느는지 세면 되고, 그 지수가 내재 차원이다. 칸이 똑같이 셋이어도 두께 0.02인 판은 1.94, 공은 2.93으로 나왔고, 이렇게 측정한 차원에는 늘 「어느 반지름에서」가 따라붙는다. 같은 방법으로 1,024칸짜리 인물 그림 70장을 측정하면 4.3, 무작위 칸 그림 70장은 109.2였고, 포프 팀은 150,528칸인 ImageNet의 내재 차원을 26~43으로 추정했다. 그럴듯한 자료는 칸 수가 만드는 넓은 공간의 얇은 면 근처에 모여 있다는 생각이 매니폴드 가설이다.

점이 판에서 조금 떠 있어도, 이웃으로 x₃을 맞히고 남은 잔차만 적으면 된다. 두께 0.02인 판에서 잔차는 x₃의 산포보다 훨씬 좁아 점마다 3.89비트를 아꼈고, 공에서는 하나도 아끼지 못했다. 섀넌은 사람이 다음 글자를 몇 번째 추측에 맞혔는지만으로 영어 글자 하나가 새로 알려 주는 양의 범위를 냈다. 낮은 내재 차원, 다음 값을 잘 맞힘, 짧게 적을 수 있음은 같은 쪽을 가리킨다.

flowchart LR
  A["규칙<br/>칸 하나를 다른 칸으로 계산"] -- "자유도가 준다" --> B["낮은 내재 차원<br/>쌍의 수가 r의 k제곱으로 는다"]
  B -- "이웃으로 맞힌다" --> C["좁은 잔차<br/>적을 것이 준다"]
  C -- "아낀 비트 ≈ log₂(s ÷ e)" --> D["짧게 적기"]

정리 연습문제

물음. 기운 평면 x₃ = 0.5x₁ + 0.3x₂ 위에 점 500개가 있다. 받는 사람이 이 규칙을 알 때, 점 하나마다 새로 보내야 하는 숫자는 몇 개인가?

  • [ ] 3개. 점 하나가 칸 셋을 차지한다 〔틀림: 셋째 칸은 앞의 두 칸에서 계산되므로 보낼 필요가 없다.〕
  • [x] 2개 〔맞음: 규칙을 안 뒤에도 점마다 새로 정해야 하는 숫자의 수가 자유도다. 앞의 두 칸만 보내면 셋째 칸은 받는 사람이 계산한다.〕
  • [ ] 4개. 규칙의 두 숫자도 점마다 함께 보내야 한다 〔틀림: 규칙의 두 숫자 0.5와 0.3은 점 500개 전체에 한 번만 보낸다. 그래서 모두 1,002개였다.〕

물음. 점 구름에서 반지름을 세 배로 넓혔더니, 거리가 반지름보다 짧은 쌍의 수가 9배가 되었다. 내재 차원은 얼마쯤인가?

  • [ ] 9 〔틀림: 늘어난 배수는 차원이 아니다. 9배가 반지름 세 배의 몇 제곱인지를 본다.〕
  • [x] 2 〔맞음: 3을 두 번 곱하면 9다. 쌍의 수가 반지름의 제곱으로 늘었으니 평평한 주택가처럼 2차원이다.〕
  • [ ] 3보다 조금 크다. 9배에 밑이 2인 로그를 취한다 〔틀림: 밑이 2인 로그는 반지름을 두 배로 넓혔을 때만 맞는다. 세 배로 넓혔으면 3을 몇 번 곱해 9가 되는지 본다.〕

물음. 두께 0.3인 기운 판(한 변 2)에 점을 흩고 내재 차원을 측정한다. 반지름을 판 두께보다 훨씬 작게 잡을 때와 두께보다 크게 잡을 때, 측정한 차원은 어떻게 되는가?

  • [ ] 둘이 같다. 판 하나에는 차원이 한 숫자로 정해져 있다 〔틀림: 측정한 차원에는 「어느 반지름에서」가 붙는다. 보는 척도가 바뀌면 값도 바뀐다.〕
  • [ ] 반지름을 크게 잡아 이웃을 많이 볼수록 참값에 가까워진다 〔틀림: 이웃 수는 보는 척도를 바꿀 뿐이다. 멀리서 본 종이 한 장과 돋보기로 본 두께 있는 판이 둘 다 맞다.〕
  • [x] 작은 반지름에서는 3쯤, 큰 반지름에서는 2쯤이다 〔맞음: 두께보다 작은 공 안에서는 위아래로도 이웃이 늘고, 공이 두께보다 커지면 위아래가 금방 막혀 옆으로만 이웃이 는다.〕

물음. 1,024칸짜리 인물 그림 70장의 내재 차원을 측정하면 4.3, 칸마다 숫자를 무작위로 뽑은 그림 70장을 측정하면 109.2가 나왔다. 이 결과와 맞는 말은?

  • [x] 인물 그림은 1,024칸 공간을 균등하게 채우지 않고, 몇 방향으로만 분포한 얇은 면 근처에 모여 있다 〔맞음: 그럴듯한 자료가 넓은 공간의 얇은 면 근처에 모여 있다는 생각이 매니폴드 가설이다.〕
  • [ ] 칸을 무작위로 채우다 보면 언젠가 그럴듯한 인물 그림이 나온다 〔틀림: 그럴듯한 그림이 모인 곳은 1,024칸 공간에서 너무 좁아, 무작위로 뽑아서는 닿지 않는다.〕
  • [ ] 인물 그림도 칸이 1,024개이니, 실제로 분포한 방향도 1,024개 가까이 된다 〔틀림: 칸 수는 겉보기 차원이다. 새 칸이 다른 칸들로 거의 정해지면 새 방향이 생기지 않는다.〕

물음. 판에서 조금 떠 있는 점들의 x₃을 이웃으로 맞히면 늘 조금씩 빗나간다. 빗나간 차이(잔차)의 산포가 x₃ 자체의 산포의 4분의 1이라면, 점마다 대략 몇 비트를 아끼는가?

  • [ ] 0비트. 맞히지 못하면 결국 x₃을 다 적어야 한다 〔틀림: 받는 사람도 같은 이웃으로 맞힐 수 있으니 잔차만 적으면 된다.〕
  • [ ] 아끼기는커녕 늘어난다. 빗나간 점은 처음부터 다 적어야 한다 〔틀림: 예측은 두고, 벗어난 만큼만 따로 적는다.〕
  • [x] 2비트 〔맞음: 적을 값의 분포 범위가 4분의 1로 좁아진다. 범위가 절반이 될 때마다 1비트를 아끼니, 절반을 두 번 한 4분의 1이면 2비트다.〕

물음. 두 도시의 1년 치 하루 기온 기록이 있다. 날마다의 기온의 산포는 두 기록이 같은데, 가 도시는 어제와 오늘 기온이 비슷하고 나 도시는 날마다 제멋대로 바뀐다. 어느 기록을 더 짧게 적을 수 있는가?

  • [ ] 산포가 같으니 둘 다 같다 〔틀림: 비교할 것은 앞의 값을 알고 난 뒤에 남는 산포다.〕
  • [x] 가 도시 〔맞음: 어제 기온으로 오늘을 맞히면 잔차가 좁아 적을 비트가 준다. 나 도시는 어제를 알아도 남는 산포가 넓다.〕
  • [ ] 나 도시. 크게 바뀌는 기록일수록 어제와의 차이로 적을 때 많이 아낀다 〔틀림: 날마다 제멋대로 바뀌면 어제와의 차이도 기온만큼 넓게 분포해 아낄 것이 없다.〕

막힌 곳

이 장에서는 규칙을 알면 적어야 할 숫자와 비트가 준다는 것을 계산했지만, 그 규칙이나 예측기는 받는 사람이 이미 가지고 있다고 쳤다. 이웃 다섯 개로 x₃을 맞히는 예측기는 받는 쪽이 점 구름 전체를 가지고 있어야 쓸 수 있고, 섀넌의 순번도 받는 쪽에 똑같이 맞히는 사람이 있어야 글로 되살아났다.