두 가지 직선: 확률을 섞는 m-측지선과 곱하는 e-측지선

쌍대 접속은 식으로는 이해했지만, 확률분포의 공간에 왜 하필 쌍대 접속 쌍이 저절로 생길까? 두 분포 $P$ 와 $Q$ 사이를 “곧게” 잇는 경로를 직접 그려 보려 하면, 어떤 경로를 직선이라 불러야 할지부터 막힌다.

역사: 오류 확률의 감소율을 재다가

1952년 스탠퍼드 대학의 통계학자 허먼 체르노프(Herman Chernoff, 1923–2026)에게는 관측값을 모두 더한 합으로 판정하는 두 검정 가운데 어느 쪽이 나은지 견줄 잣대가 필요했다. 앞면 확률이 0.1인 동전인지 0.5인 동전인지를 $n$ 번 던진 결과로 가린다고 해 보자. 쓸 만한 검정이라면 어느 것이든 $n$ 이 커질수록 틀릴 확률이 0으로 가므로, 「언젠가는 맞힌다」는 것만으로는 두 검정을 가를 수 없다. 체르노프는 던지는 횟수 $n$ 이 하나 늘 때마다 틀릴 확률의 로그가 평균 얼마씩 줄어드는지( $-\frac{1}{n}\log(\text{틀릴 확률})$ 이 다가가는 값, 지수 감소율이라 부른다)를 잣대로 삼았다.

먼 꼬리의 확률을 셀 때 흔히 쓰던 도구는 중심극한정리(여러 값을 더한 합의 분포가 정규분포에 가까워진다는 정리)였다. 이 정규분포 근사는 평균 가까이에서는 잘 맞지만, 평균에서 멀리 떨어진 꼬리에서는 지수 감소율부터 틀린다. 공평한 동전을 500번 던져 앞면이 90% 이상 나올 확률을 정규분포로 근사하면 실제 값보다 백억 배 가까이 크게 나온다. 체르노프의 논문은 같은 해 『Annals of Mathematical Statistics』에 실린 「A Measure of Asymptotic Efficiency for Tests of a Hypothesis Based on the Sum of Observations」다. 그는 이 논문에서 합이 평균에서 크게 벗어날 확률은 $m^n$ 꼴로 줄어들고 $m$ 은 적률생성함수( $E[e^{tX}]$ , 평균·분산 같은 모든 차수의 평균을 한 함수에 담은 것)를 $t$ 에 대해 가장 작게 만든 값이라는 것을 보였다. 비슷한 생각은 1938년 하랄드 크라메르(Harald Cramér)도 내놓은 적이 있다.

공평한 동전을 번 던져 앞면 비율이 0.9 이상일 확률의 지수 감소율 . 정확한 값(검은 선)은 체르노프의 방법이 주는 감소율 0.368(점선)로 다가가고, 중심극한정리의 정규분포 근사(청록 선)는 0.32로 다가가 꼬리 확률을 점점 크게 내놓는다. 계산: sources/ch10/chernoff_coins.py — 공평한 동전을 $n$ 번 던져 앞면 비율이 0.9 이상일 확률의 지수 감소율 $-\frac{1}{n}\log(\text{확률})$ . 정확한 값(검은 선)은 체르노프의 방법이 주는 감소율 0.368(점선)로 다가가고, 중심극한정리의 정규분포 근사(청록 선)는 0.32로 다가가 꼬리 확률을 점점 크게 내놓는다. 계산: sources/ch10/chernoff_coins.py

이 경계의 이름에는 일화가 따른다. 체르노프의 회고에 따르면, 동료 허먼 루빈(Herman Rubin)이 그 경계는 훨씬 쉽게 얻을 수 있다고 해서 따져 묻자 루빈은 체비쇼프 부등식 꼴의 짧은 증명을 내놓았다. 체르노프는 그 증명이 너무 사소해 보여 인용하지 않았고, 뒤에 이것을 실수였다고 적었다. 섀넌(Claude Shannon)이 분포의 먼 꼬리에 중심극한정리를 잘못 쓴 결과를 이 논문 속 경계로 살려 냈고, 전기공학 쪽 사람들은 그 뒤 오래도록 그 경계를 「체르노프 경계」라고 불렀다는 것이다.

두 동전을 가리는 물음으로 돌아가면, 두 분포 $p$ 와 $q$ 를 가를 때 틀릴 확률의 가장 좋은 지수 감소율은 $\int p^s q^{1-s}\,dx$ (동전이면 앞뒷면 두 항의 합)를 $s$ 에 대해 가장 작게 만든 값으로 정해진다. 이 최솟값에 마이너스 로그를 씌운 것을 지금은 체르노프 정보라 부른다. 적분 안의 $p^s q^{1-s}$ 는 두 분포를 $s$ , $1-s$ 제곱해 곱한 것이고, 적분값은 그 곱을 다시 확률분포로 만들 때 나누는 수다. 0.1 동전과 0.5 동전이면 나누는 수의 로그는 $s = 0.46$ 에서 가장 작다. 2011년 프랑크 닐센(Frank Nielsen)은 이 가장 좋은 $s$ 에서 곱해 합친 분포가 $p$ 와 $q$ 두 분포에서 같은 KL 발산(한 분포를 다른 분포로 잘못 알 때 생기는 손해를 재는 양)만큼 떨어진 점이라는 것을 기하학으로 보였다. 두 동전이면 앞면 확률 0.27인 동전이 그 점이고, 두 KL 발산이 모두 0.112로 체르노프 정보와 같다.

왼쪽: 앞면 확률 0.1인 동전 와 0.5인 동전 에서 마다 . 에서 가장 낮고, 그 최솟값에 마이너스를 붙인 0.112가 체르노프 정보다. 오른쪽: 같은 에서 두 동전을 , 제곱해 곱한 뒤 합이 1이 되게 나눈 동전(실선)과 비중 로 섞은 동전(점선)의 앞면 확률. 체르노프 정보를 이루는 동전(점)은 곱해서 합친 쪽에 있다. 계산: sources/ch10/chernoff_coins.py — 왼쪽: 앞면 확률 0.1인 동전 $P$ 와 0.5인 동전 $Q$ 에서 $s$ 마다 $\log \sum P^s Q^{1-s}$ . $s^* = 0.46$ 에서 가장 낮고, 그 최솟값에 마이너스를 붙인 0.112가 체르노프 정보다. 오른쪽: 같은 $s$ 에서 두 동전을 $s$ , $1-s$ 제곱해 곱한 뒤 합이 1이 되게 나눈 동전(실선)과 비중 $s : 1-s$ 로 섞은 동전(점선)의 앞면 확률. 체르노프 정보를 이루는 동전(점)은 곱해서 합친 쪽에 있다. 계산: sources/ch10/chernoff_coins.py

이 절이 아래에서 e-측지선이라 부를 「곱해서 잇는 경로」는 기하학이 이름을 붙이기 30년 전에 이미 검정 이론의 계산 속에 들어 있었다. 두 분포를 거듭제곱해 곱하고 다시 나누어 잇는 경로와 비중을 바꿔 가며 섞어 잇는 경로 가운데 어느 쪽을 직선이라 불러야 하는지가 이 절의 물음이다.

지금이면 이항분포의 꼬리 확률은 scipy 한 줄로 정확히 나오잖아요. 정규분포로 근사할 필요부터 없었을 것 같은데요.

그 한 줄을 손으로 하면 무엇을 더해야 하죠? 공평한 동전을 500번 던져 앞면이 450번 이상 나올 확률이요.

음, 450번부터 500번까지 경우의 수를 $2^{500}$ 으로 나눠서 더하니까 51개 항이에요. 그런데 첫 항의 경우의 수 $\binom{500}{450}$ 부터 70자리 수네요. 이걸 손으로 51번은… 못 하겠어요.

그래서 정규분포 표를 썼고, 그 표가 이 꼬리에서는 백억 배 가까이 틀렸어요. 그런데 체르노프가 알고 싶었던 건 $n = 500$ 한 번의 값도 아니었어요.

아, $n$ 이 커질 때 다가가는 감소율이었죠. $n$ 을 늘려 가며 하나씩 계산해도 숫자 목록이 나올 뿐이고, 어디로 다가가는지는 식이 있어야 말할 수 있겠네요.

체르노프가 찾은 감소율이 적률생성함수를 가장 작게 만든 $m$ 이었고, 두 분포를 가를 때는 $\int p^s q^{1-s}\,dx$ 의 최솟값이었어요. 그 계산 속의 곱해서 합친 분포를 두 분포 사이를 잇는 경로 위의 한 점으로 보는 눈은 30년 뒤에야 생겼고요.

0.1 동전과 0.5 동전의 체르노프 점 0.27은 비중을 바꿔 섞은 동전들 위가 아니라 거듭제곱해 곱한 동전들 위에 있었어요. 그럼 두 분포를 곧게 잇는 경로를 비중을 바꿔 섞는 경로 하나로 정해 버리면 안 되는 거예요?

더하기와 곱하기

동전 두 개로 먼저 보자. 앞면 확률이 0.1인 동전과 0.5인 동전의 "가운데 동전"은 두 가지로 만들 수 있다. 하나는 섞기로, 두 동전 가운데 하나를 반반의 확률로 골라 던지면 앞면 확률은 $(0.1 + 0.5)/2 = 0.30$ 이다. 다른 하나는 곱하기로, 앞면끼리, 뒷면끼리 확률을 곱해 제곱근을 씌운 뒤(로그로 보면 평균 내기) 합이 1이 되게 나누면, 앞면 $\sqrt{0.05}$ 대 뒷면 $\sqrt{0.45}$ 가 1 대 3이라 앞면 확률은 0.25다. 같은 두 동전의 가운데가 방식에 따라 0.30과 0.25로 갈린다.

분포를 결합하는 이 두 방식, 분포를 더하는 것(혼합, mixture)과 곱하는 것(곱해서 합치기, exponential)이 두 가지 직선을 낳는다. 덧셈이 자연스러운 좌표계에서의 직선이 m-측지선이고, 곱셈이 자연스러운 좌표계에서의 직선이 e-측지선이다. m은 혼합(mixture), e는 지수(exponential)의 머리글자다. 곱하는 쪽에 지수라는 이름이 붙은 것은, 확률을 곱하는 일이 로그를 더한 뒤 지수 함수로 되돌리는 일이기 때문이다. 측지선은 그 공간에서 가장 곧은 길이고, 두 직선은 서로 다른 접속, m-접속과 e-접속의 측지선이다. 이 두 직선이 서로 쌍대인 두 접속의 측지선이라는 것은 1970~80년대 에프런, 다위드, 아마리 순이치가 정리했다. 이 장에서는 e-접속을 $\nabla$ , 그 쌍대인 m-접속을 $\nabla^*$ 로 부른다.

m-측지선과 e-측지선 (섞는 길과 곱하는 길 / m-geodesic and e-geodesic): 두 분포를 비중 $(1-t) : t$ 로 섞어 가는 길이 m-측지선이고, 두 분포의 확률을 각각 $1-t$ , $t$ 제곱해 곱한 뒤 합이 1이 되게 나누어 가는 길(로그 확률로 보면 비중 $(1-t) : t$ 의 평균)이 e-측지선이다. $t = 1/2$ 이 각 측지선의 가운데다. m-측지선과 e-측지선을 만드는 m-접속과 e-접속은 피셔 계량에 대해 쌍대다. 레비-치비타 측지선은 m-측지선과 e-측지선 사이에 놓인다.

두 정규분포 , (점선)의 두 가운데. 혼합(m-측지선)의 가운데 는 봉우리 둘을 그대로 남기고, 곱해 제곱근을 씌운 뒤 합이 1이 되게 나눈 기하평균(e-측지선)의 가운데는 이다 — 두 정규분포 $P = N(-2, 1)$ , $Q = N(2, 1)$ (점선)의 두 가운데. 혼합(m-측지선)의 가운데 $\frac{1}{2}P + \frac{1}{2}Q$ 는 봉우리 둘을 그대로 남기고, 곱해 제곱근을 씌운 뒤 합이 1이 되게 나눈 기하평균(e-측지선)의 가운데는 $N(0, 1)$ 이다

빛과 셀로판이 좋은 비유가 된다. 두 전등의 빛을 한 벽에 비추는 일과, 셀로판 두 장을 겹쳐 빛을 통과시키는 일이 두 결합에 하나씩 대응한다. 어느 쪽이 더하기이고 어느 쪽이 곱하기인지는 아래 문제에서 직접 셈해 보자.

가산 혼합. 빨강·초록·파랑 빛을 겹쳐 비추면 겹친 곳의 밝기가 더해진다

감산 혼합. 청록(C)·자홍(M)·노랑(Y) 물감이나 셀로판을 겹치면 겹친 곳에는 모두가 통과시키는 빛만 남는다

ML에서: 전문가의 혼합과 전문가의 곱

여러 모델의 예측 분포를 하나로 합치는 방법에도 m-측지선과 e-측지선의 두 결합이 나타난다. 제이컵스(R. Jacobs)·조던(M. Jordan)·놀런(S. Nowlan)·힌턴(G. Hinton)의 1991년 논문 "Adaptive mixtures of local experts"가 제안한 전문가 혼합(mixture of experts)은 전문가들의 분포를 게이트가 정한 비중으로 더한다. m-측지선 쪽 방식이다. 힌턴의 2002년 논문 "Training products of experts by minimizing contrastive divergence"의 전문가 곱(product of experts)은 전문가들의 분포를 곱한 뒤 합이 1이 되게 다시 나눈다. 로그를 취하면 더하기가 되는 이 결합은 e-측지선 쪽 방식이다. 두 경우 모두 여기서 움직이는 것은 확률분포 자체이고, 두 결합이 실제로 어떤 분포를 내놓는지는 아래 문제에서 숫자로 본다.

문제 3: 셀로판 두 장, 전등 두 개

확인 빨강·초록·파랑 빛을 통과시키는 비율이 노랑 셀로판은 90%·90%·10%, 자홍 셀로판은 90%·10%·90%다(계산하기 좋게 고른 값이다). (가) 흰 전등 앞에 두 장을 겹쳐 대면 세 빛은 처음 밝기의 몇 %씩 나오는가? (나) 흰 전등 두 개 앞에 한 장씩 대고 두 빛을 같은 벽에 비추면, 벽에 닿는 빛 전체에서 빨강·초록·파랑이 차지하는 비율은 각각 몇 %인가? (다) 초록처럼 한 장만 잘 통과시키는 빛은 어느 쪽에서 살아남는가?

문제 3의 두 실험. (가) 흰 전등 하나 앞에 노랑과 자홍 셀로판을 겹쳐 댄다. (나) 흰 전등 두 개 앞에 한 장씩 대고 같은 벽에 비춘다. 셀로판 아래 숫자는 빨강·초록·파랑을 통과시키는 비율이다

같이 풀기 세션 3

겹치면 두 색의 가운데니까 평균이죠. 빨강 90%, 초록 50%, 파랑 50%요.

위의 감산 혼합 그림에서 자홍(M)과 노랑(Y)이 겹친 곳은 무슨 색이에요?

빨강이요… 초록이 50%나 나오면 분홍빛이어야 하는데요. 아, 빛이 노랑 셀로판을 먼저 지나고 남은 빛이 자홍 셀로판을 또 지나니까 곱해야 해요. 빨강 $0.9 \times 0.9 = 81\%$ , 초록 $0.9 \times 0.1 = 9\%$ , 파랑 $0.1 \times 0.9 = 9\%$ 예요.

(나)는 두 빛이 벽에서 만나니까 더해. 빨강 $0.9 + 0.9 = 1.8$ , 초록 $0.9 + 0.1 = 1.0$ , 파랑 $1.0$ 이니까 전체 3.8에서 차지하는 비율로는 47%, 26%, 26%. 겹친 (가)의 81%, 9%, 9%를 비율로 바꾸면 82%, 9%, 9%고.

초록은 노랑 셀로판은 잘 통과시키고 자홍 셀로판은 막는 빛이죠. 두 경우에 초록은 어떻게 됐어요?

비추면 하나라도 내보낸 빛이라 26%로 살아남고, 겹치면 하나라도 막은 빛이라 9%로 거의 사라졌어요. 더하기는 「하나라도」, 곱하기는 「둘 다」네요.

조교 두 분 점수를 더해 주는 과제는 한 분만 후하게 줘도 점수가 남는데, 두 분 다 통과시켜야 하는 과제는 한 분만 막아도 끝나는 거랑 같아요.

문제 4: 두 분류 모델 합치기

계산 같은 사진을 두 분류 모델이 보고 고양이·여우·개일 확률을 냈는데, 모델 A는 $(0.80,\ 0.15,\ 0.05)$ , 모델 B는 $(0.05,\ 0.15,\ 0.80)$ 이다. (가) 두 확률을 반반 평균 낸 분포를 구하라. (나) 두 모델의 로짓(softmax에 넣기 전의 점수)을 반반 평균 낸 뒤 softmax로 되돌린 분포를 구하라. (다) 두 결합은 각각 m-측지선과 e-측지선 가운데 어느 길의 가운데인가? 두 모델이 다른 답을 자신 있게 말할 때 두 결합은 각각 어떤 모양이 되는가?

같이 풀기 세션 4

(가)는 $(0.425,\ 0.15,\ 0.425)$ 요. (나)도 같지 않아요? softmax는 커지는 쪽으로만 움직이니까, 로짓을 평균 내나 확률을 평균 내나 같은 분포가 나올 것 같은데요.

계산하기 전에 하나만요. 로짓을 반씩 더해서 softmax에 넣으면, 확률로 따지면 무엇을 한 것과 같죠?

두 모델의 로짓을 $z_A$ , $z_B$ 라 하면 $\exp(z_A/2 + z_B/2) = \sqrt{e^{z_A} e^{z_B}}$ 니까… 확률을 곱해 제곱근을 씌운 다음 합이 1이 되게 나눈 거네요. 동전 가운데를 곱해서 잡던 방식이에요. $\sqrt{0.8 \times 0.05} = 0.2$ , $\sqrt{0.15 \times 0.15} = 0.15$ , $0.2$ 를 합 $0.55$ 로 나누면 $(0.364,\ 0.273,\ 0.364)$ 예요. 확률 평균이랑 달라요.

그러면 (가)가 m-측지선, (나)가 e-측지선의 가운데야. 그런데 이상해. 여우는 두 모델 다 0.15로 낮게 봤는데 (나)에서는 0.27로 올라갔어.

고양이를 보세요. A는 0.80, B는 0.05로 크게 엇갈렸죠. 두 결합에서 고양이 확률은 각각 무엇에 끌려갔어요?

더하면 0.80이 끌어올려서 0.425가 남고, 곱하면 0.05가 깎아서 0.364로 내려갔어요.

곱에서는 한 모델이라도 낮게 본 답이 깎이죠. 그럼 여우는요?

여우는 두 모델 다 0.15라 깎일 게 없어요. 고양이와 개가 깎였으니까, 두 모델이 다 「그럴 수도 있다」고 본 여우가 상대적으로 올라온 거예요. 확률 평균은 두 봉우리를 그대로 남기고, 로짓 평균은 두 모델이 덜 반대하는 답으로 확률을 모으네요.

그래서 「곱하면 늘 뾰족해진다」고 외우면 안 돼요. 두 분포가 겹치는 데가 있으면 곱은 그 겹친 곳으로 좁아지고, 서로 다른 데를 가리키면 곱은 둘 사이의 타협점으로 가요.

문제 3(셀로판 두 장)이랑 같네요. 한 장이라도 막은 초록이 사라졌던 것처럼, 한 모델이라도 낮게 본 고양이와 개가 깎였어요.