같은 공간에 접속이 두 개?

쌍대 평탄: 두 접속 모두에 곧은 좌표

출발 문제에서 정규분포 두 개의 가운데를 구할 때, 다이얼 한 벌을 골라 숫자를 평균 내기만 했다. 평균이 곧은 길의 가운데가 되려면 그 다이얼 위에서 곧은 길이 정말 직선으로 보여야 한다. $\alpha = \pm 1$, 곧 e-접속과 m-접속은 그런 다이얼을 가진다는 점에서 특별하다. 두 접속으로 각각 공간을 보면 어떤 모양일까? 한쪽이 곧으면 다른 쪽은 휘어 있어야 할까?

동전 하나로 먼저 보자. 앞면이면 $x = 1$, 뒷면이면 $x = 0$으로 적으면 동전의 확률은 $\exp(\theta x - \psi(\theta))$ 꼴로 쓸 수 있다. $\theta = \log\frac{p}{1-p}$는 로지스틱 회귀가 내놓는 로짓이고 $\psi(\theta) = \log(1 + e^\theta)$다. ML에서는 로짓을 흔히 $z$로 쓰지만, 여기서는 지수족의 다이얼이라는 뜻을 살려 $\theta$로 쓴다. 글자만 바꾼 것이다. 다이얼(매개변수)은 로짓 $\theta$와 앞면 확률 $\eta = p = \mathbb{E}[x]$, 두 벌이다. $\theta$ 다이얼 위에서 곧게 가는 길이 e-측지선, $\eta$ 다이얼 위에서 곧게 가는 길이 m-측지선이다. 두 다이얼 사이의 번역표(한 다이얼을 조금 돌리면 다른 다이얼이 얼마나 돌아가는가) $d\eta/d\theta$는 시그모이드의 미분 $p(1-p)$인데, 이것이 바로 동전의 피셔 계량이다. $p = 0.8$이면 $0.16$이다.

두 다이얼로 옮긴 두 화살표

두 다이얼이 정말 쌍대 짝을 이루는지 숫자로 확인해 보자. 앞면 확률 0.8인 동전에서 화살표 둘을 출발시킨다. 화살표 $Y$는 $\theta$ 다이얼로 잰 성분을 1로 두고, $\theta$ 다이얼 위에서 곧게(성분을 그대로 둔 채) 옮긴다. 화살표 $Z$는 $\eta$ 다이얼로 잰 성분을 1로 두고, $\eta$ 다이얼 위에서 곧게 옮긴다. 피셔 계량으로 재면 $\theta$ 성분이 $a$인 화살표의 길이는 $a\sqrt{p(1-p)}$다. $Z$의 $\theta$ 성분은 $\eta$ 성분 1을 번역표 $p(1-p)$로 나눈 $1/(p(1-p))$이다.

두 화살표 모두 길이가 변한다. 그런데 한쪽이 늘 때 다른 쪽이 정확히 그만큼 줄어 내적은 1 그대로다. 앞면 확률 0.5에서는 길이가 0.5와 2로, 쌍대 접속을 처음 소개할 때 본 직선 위 화살표 짝과 같은 수다. $\theta$ 다이얼 위에서 곧은 접속(e)과 $\eta$ 다이얼 위에서 곧은 접속(m)은 서로의 쌍대다.

측지선이 모두 직선으로 보이는 다이얼이 있는 접속은 평탄(곡률, 곧 휘어진 정도가 0)하다. 지수족 위에서는 e-접속 $\nabla^{(1)}$과 m-접속 $\nabla^{(-1)}$이 모두 평탄하지만, 두 접속의 "곧음"은 서로 다르다. 이 상태를 **쌍대 평탄(dually flat)**이라 부른다. 지수족 $p(x;\theta) = \exp(\theta^i x_i - \psi(\theta))$에서는 동전에서처럼 두 곧은 좌표와 계량이 하나의 볼록 함수 $\psi$에서 나온다.

앞면 확률이 0.8인 동전이면 $\textcolor{#bf360c}{\eta} = 0.8$, $\textcolor{#1b9e77}{\theta} = \log 4 \approx 1.386$, $\textcolor{#455a64}{\psi} = \log 5 \approx 1.609$이므로 $\textcolor{#455a64}{\varphi} = \textcolor{#1b9e77}{\theta}\textcolor{#bf360c}{\eta} - \textcolor{#455a64}{\psi} \approx 1.109 - 1.609 = -0.500$이다. 이 동전의 엔트로피는 $-(0.8\log 0.8 + 0.2\log 0.2) \approx 0.500$이니, $\textcolor{#455a64}{\varphi}$는 정말 음의 엔트로피다. 이렇게 $\textcolor{#455a64}{\psi}$에서 $\textcolor{#455a64}{\varphi}$를 만드는 변환을 르장드르 변환(볼록 함수를 ‘기울기 → 절편’ 표로 다시 쓰는 변환)이라 부른다. 계량은 퍼텐셜을 두 번 미분한 값(헤세 행렬)이고, 두 좌표는 르장드르 변환으로 오간다. 이것이 쌍대 평탄 구조의 전부다.

• 쌍대 평탄 (양쪽 다 곧은 / Dually Flat) — $\textcolor{#9467bd}{\nabla}$와 $\textcolor{#d4449f}{\nabla^*}$가 모두 곡률 0인 경우. 각 접속의 측지선이 모두 직선으로 보이는 좌표(아핀 좌표)가 하나씩 있고, 둘은 르장드르 변환으로 오간다. 지수족에서는 자연 매개변수 $\textcolor{#1b9e77}{\theta}$(e)와 기대 매개변수 $\textcolor{#bf360c}{\eta}$(m)가 그 두 좌표다. 통계역학에서 분배함수의 로그와 엔트로피가 르장드르 변환으로 오가는 것과 같은 구조다.

아래 그림은 정규분포족을 평균 $\textcolor{#1b9e77}{\mu}$와 표준편차 $\textcolor{#1b9e77}{\sigma}$의 평면으로 펼친 것이다. 따라 계산해 보기의 두 분포를 잇는 e-측지선과 m-측지선, 그리고 피셔 계량의 레비-치비타 측지선을 함께 그린다. 비율 $\textcolor{#6a7a00}{t}$를 움직이면 세 측지선 위의 점이 나타내는 분포의 모양이 아래 그래프에 그려진다.

문제 6 — 두 차의 평균 연비

같이 풀기 세션 6

10과 20의 평균이니 15 km/L죠.

두 차가 쓴 기름을 직접 세어 볼까요?

10 km/L 차는 100 km에 10 L, 20 km/L 차는 5 L요. 200 km를 15 L로 갔으니 13.3 km/L네요. 15가 아니에요.

L/100km로 바꾸면 10과 5, 평균 7.5 L/100km고, 되돌리면 $100/7.5 \approx 13.3$ km/L야. 이쪽 평균이 맞았어. 그런데 기름을 10 L씩 썼다면 100 km와 200 km를 20 L로 갔으니 15 km/L, 이번엔 km/L 평균이 맞고.

같은 두 차인데 「가운데」가 둘이죠. 무엇이 둘을 갈랐어요?

무엇을 똑같이 맞췄느냐요. 거리를 같게 두면 기름이 더해지니까 거리당 기름을 평균 내야 하고, 기름을 같게 두면 거리가 더해지니까 기름당 거리를 평균 내야 해요. 실제로 더해지는 양을 다이얼로 삼아야 그 다이얼의 평균이 맞는 가운데가 돼요.

팀플 기여도를 「시간당 쓴 코드 줄 수」로 평균 냈다가, 조교님이 「다들 같은 시간 일한 거 맞아요?」 하셨던 게 이거였네요.

문제 7 — 분산이 다른 두 분포의 중간

같이 풀기 세션 7

표준편차가 1이랑 3이니까 가운데는 2죠. $N(0, 4)$요. 둘 다 그거 아니에요?

표준편차 $\textcolor{#1b9e77}{\sigma}$를 평균 낸 건 어느 좌표에서의 직선이죠?

아… $\textcolor{#1b9e77}{\theta}$도 $\textcolor{#bf360c}{\eta}$도 아니고 그냥 $(\textcolor{#1b9e77}{\mu}, \textcolor{#1b9e77}{\sigma})$ 좌표네요. 그건 이 장에서 나온 어느 접속의 직선도 아니고요. 다시 할게요. e-좌표는 $\textcolor{#1b9e77}{\theta}^2 = -1/(2\textcolor{#1b9e77}{\sigma}^2)$이니까 $-1/2$와 $-1/18$의 평균이 $-5/18$, 그러면 $\textcolor{#1b9e77}{\sigma}^2 = 9/5 = 1.8$이에요.

아까 연비 문제랑 같네요. 편한 다이얼에서 평균을 내면 안 되고, 어느 다이얼에서 평균 내느냐가 먼저였어요.

m 쪽은 혼합분포부터 생각했어. $\frac{1}{2}P + \frac{1}{2}Q$는 가운데가 뾰족하고 꼬리가 두꺼워서 정규분포가 아니잖아. 그러면 m-측지선의 중간점이 정규분포족 밖으로 나가 버리는 거 아냐?

좋은 관찰이에요. 그 혼합분포의 평균과 $\mathbb{E}[x^2]$는 얼마예요?

평균은 0이고 $\mathbb{E}[x^2] = \frac{1}{2}(1) + \frac{1}{2}(9) = 5$야. 그런데 $\textcolor{#bf360c}{\eta}$ 좌표로 $P$와 $Q$를 평균 내도 $(0, 5)$가 나오니까, 족 안의 m-중간점은 $N(0, 5)$이고 혼합분포와 평균·분산이 똑같네. 족 밖으로 나간 혼합분포를, 모멘트를 맞춰서 족 안으로 데려온 점이 m-중간점이야.

그 "모멘트를 맞춰 데려오기"에는 m-사영이라는 이름이 따로 있어요. 정리하면 e-중간점은 분산의 조화평균 $1.8$, m-중간점은 산술평균 $5$예요.

통계 수업에서 가우시안 혼합을 정규분포 하나로 근사할 때 평균과 분산을 맞추라고만 배웠는데, 그게 m-좌표에서 직선을 긋는 일이었구나.

문제 8 — 앙상블의 예측을 정규분포 하나로

같이 풀기 세션 8

평균은 $-1$과 $1$의 평균 0, 분산은 1과 4의 평균 2.5요. $N(0, 2.5)$예요.

두 모델은 평균을 $-1$과 $1$로, 2만큼 다르게 말했어요. 그 의견 차이는 2.5 안 어디에 들어 있죠?

안 들어 있네요… 두 모델이 똑같이 0을 말했어도 2.5가 나왔을 거예요. 문제 7처럼 $\mathbb{E}[x^2]$를 평균 내야겠어요. 모델 1은 $1 + 1 = 2$, 모델 2는 $4 + 1 = 5$, 평균 3.5. 평균이 0이니 분산도 3.5, $N(0, 3.5)$예요. $\textcolor{#bf360c}{\eta}$ 다이얼의 평균이니 m-측지선의 가운데고요.

$3.5 = 2.5 + 1$이네. 2.5는 각 모델이 스스로 모르겠다고 한 몫이고, 1은 두 평균 $-1$, $1$이 갈린 몫이야. 둘 다 평균 0에서 1씩 떨어졌으니까 제곱의 평균이 1.

$\textcolor{#1b9e77}{\theta}$ 다이얼에서 평균 내면 어떻게 되는지도 볼까요?

둘째 성분 $-1/(2\textcolor{#1b9e77}{\sigma}^2)$는 $-1/2$과 $-1/8$, 평균 $-5/16$이니 분산 1.6. 첫째 성분 $\textcolor{#1b9e77}{\mu}/\textcolor{#1b9e77}{\sigma}^2$는 $-1$과 $1/4$, 평균 $-3/8$이니 평균은 $-3/8 \times 1.6 = -0.6$. $N(-0.6, 1.6)$이야. 분산이 2.5보다도 작고, 더 자신 있게 말한 모델 1 쪽으로 끌려갔어.

곱하는 길의 가운데는 두 예측이 겹치는 데로 좁혀 가요. 앙상블이 알고 싶은 건 모델들이 얼마나 엇갈리는지라서, 엇갈림이 분산에 남는 섞는 길을 써요.

발표 평가에서 조교님 두 분이 각자 「애매하다」고 적은 정도만 평균 내고, 두 분 점수가 크게 갈린 건 빼먹은 거랑 같았어요. 갈린 것 자체가 「잘 모르겠다」는 정보였는데요.