왜 정보기하학인가

혼동하기 쉬운 점과 요약

토론 1. 레이팅 1600과 1400의 비율은 실력의 비율인가

레이팅 1600인 선수와 1400인 선수의 실력 차이를 두 레이팅의 비율로 말할 수 있는가?

선생님 T01
선생님

레이팅 1600인 선수와 1400인 선수가 있어요. 레이팅 두 개만 보고, 둘이 얼마나 차이 나는지 한 숫자로 말해 볼래요?

김민준 M01
김민준

1600이 1400의 1.14배니까 실력도 14%쯤 위 아닐까요? 이길 확률로 치면 1600 / (1600 + 1400), 53% 정도고요.

선생님 T01
선생님

문제 1에서 엘로 식으로 구한 값은 얼마였죠?

김민준 M01
김민준

76%요. 꽤 다르네요. 그래도 큰 숫자가 더 센 건 맞으니까, 비율로 대충 보는 것도 아주 틀리진 않잖아요.

선생님 T01
선생님

리그 전체에 100점씩 얹은 뒤의 두 선수로 같은 계산을 해 봐요.

김민준 M04
김민준

1700 / 3200 = 53.1%요. 두 사람 실력은 그대로인데 숫자가 바뀌어요. 1,000점씩 얹으면 2600 / 5000 = 52%… 얹을수록 반반에 가까워지네요.

이서연 S01
이서연

기준을 옮기면 비율이 바뀌는 숫자는 애초에 비율로 읽으면 안 되는 거 아닐까? 섭씨 온도도 그렇잖아. 20 °C가 10 °C보다 두 배 덥다고 하지 않지. 화씨로 바꾸면 68 °F와 50 °F라서 두 배도 아니고.

김민준 M01
김민준

그럼 레이팅 0점도 「실력 없음」이 아니라, 누가 정해 둔 기준일 뿐이라서…

선생님 T01
선생님

그래요. 0이 정해진 자리가 아니면 두 값의 비율은 기준을 어디 두었는지에 따라 바뀌어요. 바뀌지 않는 건 차이예요. 로짓도 같아요. 로짓 (2, 1)과 (102, 101)은 똑같은 확률표를 내요.

이서연 S07
이서연

그러니까 레이팅이나 로짓은 두 값의 차이로 읽어야 하고, 하나만 떼어 보거나 비율로 놓으면 누가 기준점을 어디 정했는지에 따라 값이 달라지네요.

김민준 M11
김민준

차이로만 읽으면 되겠다 싶었는데, 차이가 어디서 생겼느냐도 같이 봐야 했어요. 로짓 차이를 똑같이 0.1 늘려도, 확률을 0.1쯤 옮겨도, 고르게 퍼진 곳과 한쪽에 몰린 곳에서 분포가 달라지는 크기가 달랐으니까요. 숫자 0.1이 어디서나 같은 0.1은 아니었네요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
확률표의 비율대로 로짓을 잡으면 같은 확률표가 나온다고 봄 2 소프트맥스는 로짓에 지수를 씌우므로 확률의 비를 정하는 것은 로짓의 차이다. 확률표에서 로짓으로 돌아갈 때는 로그를 씌운다
레이팅이나 로짓 두 값의 비율을 실력이나 확률의 비율로 읽음 토론 1 모두에게 같은 수를 더해도 승률과 확률표는 그대로다. 기준점을 옮겨도 바뀌지 않는 차이로 읽는다
한 후보의 로짓을 올리면 많이 가진 후보가 비율로도 더 많이 빼앗긴다고 봄 3 나머지 후보끼리의 로짓 차이는 그대로라서 그들끼리의 확률 비도 그대로다. 많이 줄어 보인 것은 원래 많이 갖고 있어서다
확률 차이나 로짓 차이 하나로 「같은 크기의 변화」를 측정할 수 있다고 봄 4 두 이름표는 서로 다른 답을 낸다. 두 분포를 관측으로 얼마나 쉽게 판별할 수 있는지로 비교한다
로짓을 평균하든 확률을 평균하든 같은 가운데가 나온다고 봄 5 소프트맥스는 선형이 아니다. 확률 평균은 덧셈의 가운데, 로짓 평균은 곱셈(기하평균)의 가운데다
확률을 곱하면(로짓을 평균하면) 분포가 늘 더 뾰족해진다고 봄 5 곱셈은 두 모델이 모두 반대하지 않는 후보를 남긴다. 둘이 함께 좋아하는 후보가 없으면 오히려 퍼진다
같은 수의 사람에게 물었으면 오차 범위도 같다고 봄 6 표준편차 √(θ(1−θ)/n)에 θ가 들어 있다. 기사의 ±3.1%포인트는 θ = 0.5일 때의 가장 큰 값이다
관측 한 번의 피셔 정보로 n번 관측의 하한을 계산 7 서로 독립인 관측의 정보는 더해진다. n번이면 하한은 1/(nI)다
하한보다 분산이 작은 추정량이 있으면 크라메르-라오 부등식이 틀렸다고 봄 7 하한은 불편추정량에만 약속한 것이다. 라플라스 추정량은 편향을 조금 받아들이고 분산을 줄였다
문항 하나의 피셔 정보가 크면 문항이 적게 든다고 봄 8 피셔 정보가 크면 표준편차의 절댓값이 작을 뿐이다. 드문 값은 자기 크기에 비한 상대 오차로 평가하고, 그러려면 문항 수가 대략 1/θ에 비례해 는다

요약

모델이 무언가를 배웠다는 것은 모델이 내놓는 확률분포가 한 분포에서 다른 분포로 옮겨 갔다는 것이고, 파라미터나 로짓 같은 이름표가 얼마나 바뀌었는지로는 그 움직임의 크기를 알 수 없어서 분포가 얼마나 달라졌는지를 직접 측정하는 자가 필요하다.

이 장은 모델이 내놓는 것이 확률분포라는 데서 출발했다. 소프트맥스는 로짓에 지수를 씌우고 합으로 나누므로, 확률표를 정하는 것은 로짓 하나하나가 아니라 로짓의 차이다. 로짓은 분포에 붙인 이름표이고, 한 분포에 이름표가 무수히 많다. 엘로 레이팅도 후보가 둘인 소프트맥스의 로짓에 173.7을 곱해 둔 숫자였다.

파라미터를 똑같이 0.1 움직여도 출력 분포가 바뀌는 크기는 곳마다 다르다. 두 후보의 로짓 차이가 0인 곳과 5인 곳에서 첫 후보 확률의 변화는 마흔 배쯤 달랐다. 파라미터 숫자의 차이를 제곱해 더하는 유클리드 거리는 분포가 얼마나 바뀌었는지 모른다. 두 모델의 가운데를 잡는 법도 확률을 평균하는 덧셈의 가운데와 로짓을 평균하는 곱셈의 가운데로 나뉘었다.

크라메르-라오 부등식은 불편추정량의 분산이 피셔 정보의 역수 1/(nI)보다 작아질 수 없다고 말한다. 동전 한 번의 피셔 정보는 I = 1/(θ(1−θ))라서, 앞면 확률이 한쪽으로 치우친 동전일수록 한 번 던지기가 주는 정보가 크다. 추정의 정밀도에 한계를 긋는 이 부등식에서 정보와 기하학이 처음 만난다.

정리 연습문제

물음. 세 후보의 로짓 (2, 1, 0)과 (102, 101, 100)을 소프트맥스에 넣으면 두 확률표는 어떻게 되는가?

  • [x] 똑같다 〔맞음: 세 로짓에 100을 똑같이 더해도 이웃한 로짓의 차이는 1, 1로 같아서 확률표가 바뀌지 않는다.〕
  • [ ] 두 번째가 한쪽으로 훨씬 집중된다 〔틀림: 확률표를 정하는 것은 로짓 하나하나의 크기가 아니라 로짓끼리의 차이다.〕
  • [ ] 두 번째가 더 균등하다. 102와 100은 비율로 거의 같으니까 〔틀림: 로짓의 비율은 기준점을 어디 두느냐에 따라 바뀐다. 바뀌지 않는 것은 차이다.〕

물음. 「치킨」「라면」「굶는다」에 로짓 (2, 1, −1)을 낸 모델에서 「라면」의 로짓에만 2를 더했다. 「치킨」과 「굶는다」 두 후보끼리의 확률 비는 어떻게 되는가?

  • [ ] 「치킨」이 원래 많이 가졌으니 비율로도 더 많이 빼앗겨 비가 줄어든다 〔틀림: 「치킨」의 확률이 많이 줄어 보이는 것은 원래 많이 갖고 있어서다. 두 후보가 잃은 비율은 같다.〕
  • [x] 그대로다 〔맞음: 두 후보의 로짓 차이가 3으로 바뀌지 않아서, 두 확률의 비도 e³ 배로 바뀌지 않는다.〕
  • [ ] 「굶는다」 쪽으로 기운다 〔틀림: 「굶는다」의 로짓은 건드리지 않았다. 두 후보의 확률은 같은 비율로 줄어든다.〕

물음. 모델 1은 (0.9, 0.05, 0.05), 모델 2는 (0.05, 0.9, 0.05)를 내놓는다. 두 모델을 반씩 섞을 때, 세 번째 후보에 더 많은 확률을 주는 쪽은?

  • [ ] 확률표를 평균한 가운데 〔틀림: 두 모델이 모두 세 번째 후보에 0.05를 주었으니 평균도 0.05다.〕
  • [x] 로짓을 평균한 가운데 〔맞음: 로짓 평균은 곱셈(기하평균)의 가운데라서, 두 모델이 모두 크게 반대하지 않는 세 번째 후보를 남긴다. 이 입력에서는 0.1 정도가 된다.〕
  • [ ] 같다. 어느 쪽을 평균하든 반씩 섞은 것이다 〔틀림: 소프트맥스는 선형이 아니라서 로짓의 가운데와 확률의 가운데가 다른 분포를 가리킨다.〕

물음. 1,000명에게 물은 여론조사 기사에 「표본오차 ±3.1%포인트」가 적혀 있다. 같은 조사에서 지지율이 10% 안팎인 후보의 실제 ± 값은?

  • [ ] ±3.1%포인트. 같은 1,000명에게 물었으니 같다 〔틀림: 추정값의 표준편차에는 지지율 자체가 들어 있다. 같은 사람 수라도 지지율이 다르면 ± 값이 다르다.〕
  • [x] 그보다 작다 〔맞음: 기사의 ±3.1%포인트는 지지율이 50%일 때의 가장 큰 값이다. 10% 안팎이면 약 ±1.9%포인트다.〕
  • [ ] 그보다 크다. 지지율이 낮으면 추정이 더 흔들린다 〔틀림: 지지율이 50%일 때 가장 크게 흔들리고, 한쪽으로 치우칠수록 표준편차가 작아진다.〕

물음. 서로 독립인 동전 던지기 n번으로 앞면 확률 θ를 추정한다. 한 번 던지기의 피셔 정보가 I일 때, 불편추정량의 분산 하한은?

  • [ ] 1/I. 한 번의 정보가 하한을 정한다 〔틀림: 서로 독립인 관측의 정보는 더해진다. 한 번의 정보로 세면 하한을 너무 크게 잡는다.〕
  • [x] 1/(nI) 〔맞음: 던질 때마다 같은 정보가 쌓이고, 하한은 쌓인 정보의 역수다.〕
  • [ ] n/I 〔틀림: 많이 던질수록 추정은 정밀해지므로 하한은 작아져야 한다.〕

물음. 앞면 확률 0.2인 동전을 100번 던졌다. 라플라스 추정량(앞면 수에 1을, 던진 수에 2를 더해 나눈 값)의 분산이 크라메르-라오 하한보다 작게 나왔다. 어떻게 읽어야 하나?

  • [ ] 크라메르-라오 부등식이 틀렸다 〔틀림: 하한은 불편추정량에만 약속한 것이고, 라플라스 추정량은 불편추정량이 아니다.〕
  • [x] 이 추정량은 편향을 조금 받아들이고 분산을 줄였다 〔맞음: 평균이 참값에서 조금 비켜 있어서 하한의 약속 밖에 있다.〕
  • [ ] 계산 실수다. 어떤 추정량도 하한 아래로 내려갈 수 없다 〔틀림: 하한이 막는 것은 불편추정량뿐이다. 편향이 있는 추정량은 하한 아래로 내려갈 수 있다.〕