길

중간점: m-길과 e-길은 다른 곳을 지나간다

같은 두 끝점 a = (0.6, 0.3, 0.1), b = (0.1, 0.2, 0.7)의 가운데를 두 규칙으로 구하면 다른 점이 나온다. 섞으면(m-길) (0.35, 0.25, 0.4), 곱하고 다시 나누면(e-길) (0.325, 0.325, 0.351)이다. 두 가운데는 각각 무엇을 뜻하는가? 칸이 셋뿐이면 뜻이 잘 보이지 않으니, 칸을 늘려 보자.

봉우리 두 개

차이를 가장 잘 보여 주는 무대는 칸이 많은 분포다. −6에서 6까지를 0.25 간격으로 나눈 49칸을 한 줄로 늘어놓고, 그 위에 봉우리를 하나씩 가진 두 분포를 놓는다. a는 −2 근처에, b는 +2 근처에 봉우리가 있고, 폭(표준편차)은 둘 다 1이다.

m-중간점(덧셈의 중간)은 두 봉우리가 다 살아 있다. “왼쪽일 수도 있고 오른쪽일 수도 있다”, 곧 OR.

e-중간점(곱셈의 중간)은 자리가 0이고 폭이 그대로 1인 봉우리 하나인데, a와 b가 둘 다 "있을 만하다"고 인정하는 곳이 두 봉우리 사이의 가운데뿐이기 때문이다. “개이면서 동시에 고양이처럼 보이는 것만 남는다”, 곧 AND.

그런데 곱한 값들을 다 더하면 얼마가 될지, 반씩 곱할 때의 정규화 상수를 적어 보자.

이 무대에서 Z_1/2는 0.135로, 기하평균을 낸 값을 다 더해도 0.135밖에 안 된다. 두 분포가 함께 인정하는 영역이 원래 좁았는데, 곱셈은 그 좁은 영역을 7배 넘게 부풀려 한 분포로 만든다. Z는 두 분포가 얼마나 겹치는지 재는 숫자이기도 하며, 두 분포가 같으면 1, 겹치는 곳이 없으면 0이다.

한 가지 조심할 것이 있다. "e-중간점은 언제나 m-중간점보다 뾰족하다"는 봉우리 두 개인 이 무대에서만 맞다. 결과가 셋뿐인 분포에서는 자주 뒤집힌다. 얼마나 퍼졌는지는 엔트로피(분포가 얼마나 고르게 퍼졌는지 재는 값, H = −Σ p log p)로 잰다. 어느 쪽이 더 퍼지는지, 왜 뒤집히는지는 아래 문제 8과 9에서 끝까지 따라간다.

직선이 두 개라는 것

유클리드 공간이라면 두 점 사이의 곧은 길은 하나뿐이고, 분포의 공간도 그랬다면 정보기하학은 필요 없었을 것이다.

곧은 길이 두 개라고 해서 공간이 휜 것은 아니다. 심플렉스는 확률 좌표에서 보면 m-길이 곧은 선이라 평평하고, 로그 비 좌표 θ에서 보면 e-길이 곧은 선이라 역시 평평하다. 두 눈 각각에게 평평한 공간, 이것을 쌍대평탄(dually flat)이라 부른다. 직선이 두 개라는 건 “무엇을 곧다고 부를지” 정하는 규칙이 두 개라는 신호이고, 이 규칙을 접속(connection)이라 부른다.

거리를 재는 방법은 여전히 하나다. 피셔 정보(분포를 조금 움직였을 때 확률이 얼마나 민감하게 바뀌는지 재는 양)로 재는 거리이고, 어느 쪽에서 재든 값이 같다. 피셔 정보로 잰 최단 경로는 m-길도 e-길도 아닌 세 번째 길이다.

정규분포끼리만 다닌다면 이 세 번째 길을 그림으로 볼 수 있다. 가로축을 평균 μ, 세로축을 표준편차 σ로 잡으면 정규분포 하나가 평면 위의 점 하나다. 위의 두 봉우리를 정규분포 N(−2, 1²)과 N(2, 1²)로 보자. 위의 봉우리 두 개 위젯에서 곱셈이 봉우리를 폭 그대로 옮기기만 하는 것을 보았듯, e-길은 σ = 1인 채로 가로로 간다. 정규분포만 지나는 가장 짧은 길은 위로 부풀어, 가운데에서 σ = √3 ≈ 1.73까지 넓어진 분포를 지난다. 피셔 정보로 길이를 재면 e-길은 4.00, 가장 짧은 길은 3.24이고, m-길은 봉우리가 둘인 분포를 지나므로 이 평면 밖으로 나간다.

e-길과 m-길은 "가장 짧은 길"이 아니라 각자의 규칙에서 "방향을 바꾸지 않고 곧게 가는 길"이다.

파이썬

import numpy as np

x = np.linspace(-6, 6, 49)                     # 한 줄로 늘어선 49칸

def bump(mu, s):                               # 칸 위의 정규분포 모양 봉우리
    r = np.exp(-(x - mu)**2 / (2 * s**2))
    return r / r.sum()

def H(p):
    return -np.sum(p * np.log(p))

a, b = bump(-2, 1), bump(2, 1)
m = 0.5 * a + 0.5 * b                          # m-중간점 (산술평균)
r = np.sqrt(a * b); Z = r.sum(); e = r / Z     # e-중간점 (기하평균 / Z)

print(f"끝점 엔트로피  H(a)={H(a):.3f}  H(b)={H(b):.3f}")
print(f"m-중간점       H={H(m):.3f}   봉우리 위치 {x[np.argmax(m)]:+.1f}")
print(f"e-중간점       H={H(e):.3f}   평균 {np.round(np.sum(x * e), 6) + 0.0:+.2f}  표준편차 {np.sqrt(np.sum(x**2 * e)):.2f}")
print(f"Z = {Z:.4f}   exp(-2) = {np.exp(-2):.4f}")
# 끝점 엔트로피  H(a)=2.805  H(b)=2.805
# m-중간점       H=3.438   봉우리 위치 -2.0
# e-중간점       H=2.805   평균 +0.00  표준편차 1.00
# Z = 0.1353   exp(-2) = 0.1353

e-중간점은 끝점과 같은 모양의 봉우리를 가운데로 옮긴 것이라 엔트로피도 끝점과 같지만, m-중간점은 봉우리 둘을 품느라 엔트로피가 0.63 더 크다. Z = exp(−2)가 우연이 아닌 것은, 폭이 같은 정규분포 두 개라면 반씩 곱할 때의 정규화 상수가 두 중심의 거리와 폭만으로 정해지기 때문이다.

Δμ = 4, σ = 1을 넣으면 exp(−16/8) = exp(−2)다.

이 절의 결론

“두 분포의 산술평균이 혼합(앙상블)과 m-길을 만들고, 가중 기하평균을 다시 나눈 것이 곱하는 결합(베이즈 업데이트)과 e-길을 만든다. 곧은 길이 둘인 것은 공간이 휘어서가 아니라, 곧음을 정하는 규칙이 둘이기 때문이다.”

인물 이야기: 아마리 슌이치와 “두 개의 접속”

1958년, 도쿄 대학. 수리공학 석사과정의 아마리 슌이치(甘利俊一, Amari Shun-ichi)는 통계 세미나에서 쿨백(S. Kullback)의 책 『정보 이론과 통계』를 읽고 있었다. 그때 모리구치 시게이치(森口繁一) 교수가, 피셔 정보를 리만 계량(곳마다 아주 작은 이동의 길이를 재는 규칙)으로 볼 수 있지 않겠느냐고 귀띔했다. 라오(C. R. Rao)가 1945년에 내놓은 생각이었다.

젊은 아마리는 정규분포 N(μ, σ²)의 공간에서 그 계량과 곡률을 계산해 보았다. 곡률이 어디서나 같은 음수였으니, 비유클리드 기하의 유명한 모델인 푸앵카레 반평면이 정규분포 안에 숨어 있었던 것이다. 아마리는 뒷날 그 아름다움에 매료되었고, 아름다운 구조라면 실제로도 중요한 뜻이 있으리라 믿었지만 그 뜻을 더 밀고 나가지 못했다고 회고했다. 그는 정규분포의 기하가 무슨 뜻인지 묻던 일을 접어 두고 네트워크의 연결 구조(위상, topology), 재료 속 결함(전위)의 기하학, 정보 시스템과 신경망의 학습으로 옮겨 갔다.

물음을 다시 연 것은 열다섯 해쯤 뒤, 에프론(Bradley Efron)의 1975년 논문이었다. 에프론은 피셔가 발표하지 않고 남긴 옛 계산을 파고들어 “통계적 곡률”(모델 가족이 지수족에서 얼마나 휘어져 벗어났는지 재는 양)을 정의하고, 추정의 높은 차수 효율이 이 곡률로 정해진다는 것을 보였다. 같은 학술지에 함께 실린 토론에서 다위드(A. P. Dawid)는 이 계산에 숨은 "곧음의 규칙"이 지수(exponential) 접속이라는 것을 짚고, 지수 접속과 쌍을 이루는 혼합(mixture) 접속을 내놓았다. 이 장의 e와 m이 여기서 나왔다.

아마리는 이 논문과 토론에 자극받아 연구를 다시 시작했고, 두 접속을 잇는 한 가족을 세웠다. α(알파)라는 숫자 하나로 매겨지는 α-접속이다. α = 1이 e-접속, α = −1이 m-접속, α = 0이 계량 자신의 접속(레비-치비타)이다. α와 −α는 서로 쌍대(한쪽이 정해지면 다른 쪽이 정해지는 짝)다. 이 장에서 본 e-길과 m-길은 바로 평탄한 두 접속, α = 1인 e-접속과 α = −1인 m-접속이 만드는 곧은 길이다.

뒤에 아마리는 소련의 첸초프(N. N. Chentsov)가 1972년 러시아어 책에서 같은 가족에 먼저 닿았음을 알게 되었다. 첸초프는 충분통계량(데이터에서 파라미터에 관한 정보를 빠짐없이 담은 요약값)으로 바꿔도 변하지 않는 계량과 접속을 모두 찾았다. 계량은 피셔 정보 하나(상수배 제외), 접속은 α-가족이었는데, 첸초프의 이 책은 1982년에 영어로 옮겨지고서야 서방에 널리 알려졌다.

1982년 아마리는 곡지수족(지수족, 곧 log p가 자연 파라미터의 일차식에서 정규화 항을 뺀 꼴인 분포 모임 안에 휘어져 들어앉은 작은 가족)의 곡률과 정보 손실에 관한 논문을 Annals of Statistics에 실었다. 같은 해 나가오카 히로시와 함께 쌍대평탄한 공간의 이론과 피타고라스 정리를 정리한 보고서를 썼는데, 이 보고서는 끝내 학술지에 실리지 못했다. 아마리의 회고에 따르면 Annals of Probability의 편집자는 심사자 일곱 명에게 부탁했지만 아무도 진지하게 읽지 않았다며 논문을 거둬 달라고 했고, 다른 확률론 학술지의 심사자는 통계와 미분기하 사이에는 본질적인 관계가 없으니 쓸모없는 논문이라는 편지를 보냈다. 몇 해 뒤 IEEE Transactions on Information Theory의 심사자는 이제 세계에 널리 알려진 이론이라 새로운 것이 별로 없다고 했다. 그사이 1984년 런던에서 콕스(D. Cox)가 이 주제로 워크숍을 열었고, 1985년 아마리의 강의록 Differential-Geometrical Methods in Statistics가 나왔기 때문이다. 그 강의록이 "정보기하학(information geometry)"이라는 분야에 체계를 주었다. 1998년 아마리는 이 기하학을 신경망 학습으로 되가져와 자연 그래디언트(natural gradient)를 내놓는다. 석사과정 때 접어 둔 물음이 40년에 걸쳐 확률, 기하학, 학습을 잇는 이론이 되었다.

1958년에 정규분포의 곡률까지 계산했으면, 거기서 m-길과 e-길까지는 금방 갔을 것 같아요. 우리는 이 장 첫 절에서 동전 두 개로 봤잖아요.

그때 아마리가 손에 쥔 건 피셔 정보로 만든 계량 하나였어요. 리만 기하학에서는 계량을 정하면 곧은 길이 저절로 하나 정해져요. 상자에 나온 α = 0, 레비-치비타 접속이에요. 그 곧은 길이 어떤 길인지는 이 절에서 봤죠?

음, 정규분포 평면에서 위로 부풀던 가장 짧은 길이요? 그럼 σ = 1인 채로 가로로 가던 e-길은 계량만 들고서는 나올 수가 없네요.

그래요. 계량이 곧은 길을 이미 하나 주니까, 둘째 규칙이 왜 필요한지는 통계 쪽 물음이 생기고서야 보였어요. 1975년에 에프론이 추정의 효율을 따지다 지수족에서 얼마나 휘어 벗어났는지를 재야 했고, 다위드가 그 계산 속에 숨은 곧음의 규칙을 짚었죠.

첸초프는 1972년에 같은 가족에 먼저 닿았다면서요. 그 책을 봤으면 더 빨랐겠네요.

러시아어 책이었고, 영어판이 나온 1982년에야 서방에 널리 알려졌어요. 아마리가 그 책을 안 것도 α-접속을 세운 뒤였고요.

나가오카와 함께 쓴 보고서를 맡은 심사자 일곱 명이 아무도 진지하게 안 읽었다는 것도 이해가 가요. 통계 하는 사람에게는 접속이, 기하 하는 사람에게는 추정의 효율이 낯선 말이었을 테니까요.

그럼 계량이 주는 곧은 길은 하나뿐인데, 이 장의 m-길과 e-길은 섞는 규칙과 곱하는 규칙에서 곧음을 따로 받아 온 거예요?

문제 8. 심사위원 두 명의 표

노래 경연에서 심사위원 두 명이 후보 세 명에게 표를 나눠 주었다. 심사위원 A는 (0.7, 0.2, 0.1), 심사위원 B는 (0.1, 0.2, 0.7)의 비율이다. (가) 두 비율을 후보마다 평균하면 후보 2가 받는 비율은? (나) 후보마다 두 비율을 곱해 제곱근을 씌우고, 세 값의 합이 1이 되게 다시 나누면 후보 2의 비율은? (다) 두 규칙에서 1등 후보의 비율을 비교하라. 어느 규칙의 결과가 더 고른가? 왜 그런가?

함께 풀기

(가)는 (0.4, 0.2, 0.4)라서 후보 2는 0.2예요. (나)는 제곱근이 (0.265, 0.2, 0.265)이고 합이 0.729니까 나누면 (0.363, 0.274, 0.363), 후보 2가 0.274예요.

이상해요. 두 심사위원 모두 후보 2에게 0.2를 줬어요. 아무도 더 주지 않았는데 0.274가 됐어요.

후보 1은요? 두 사람이 준 비율의 산술평균과 기하평균을 비교해 봐요.

0.7과 0.1이요. 산술평균은 0.4인데 기하평균은 √0.07 = 0.265예요. 두 사람 말이 크게 어긋나서 많이 깎였어요. 후보 2는 0.2와 0.2라 기하평균도 0.2 그대로고요.

그러니까 곱하는 단계에서 후보 1과 3이 깎이고, 합을 1로 맞추려고 다시 나누면서 안 깎인 후보 2의 비율이 오른 거예요. 누가 후보 2에게 더 준 게 아니라, 나머지가 줄어든 만큼 커진 거네요.

(다)는 1등 후보의 비율이 섞으면 0.4, 곱하면 0.363이라 곱한 쪽이 더 고르네요. 깎인 후보가 마침 1등 둘이었으니까요.

그래요. 곱셈은 두 분포가 어긋나는 칸을 깎아요. 어긋나는 칸이 원래 큰 칸이면 결과는 오히려 고르게 돼요.

기말 성적을 두 교수님 채점의 기하평균으로 매긴다고 생각하면 되겠네요. 두 분 점수가 크게 갈리는 학생만 깎이는데, 그게 상위권이면 반 전체 점수가 오히려 고르게 돼요.

문제 9. e-중간점은 언제 더 평평한가 (킬러)

결과가 셋인 두 분포 a, b와 t = ½의 두 중간점 m = (a + b)/2, e ∝ √(a·b)를 생각한다. (가) a = (0.6, 0.3, 0.1), b = (0.1, 0.2, 0.7)에서 H(m)과 H(e)를 비교하라. (나) 심플렉스에서 고르게 뽑은 쌍 가운데 H(e) > H(m)인 쌍의 비율을 추정하라. (다) 다음 항등식을 증명하고, 역전이 일어나기 위한 필요조건을 말하라. H(e) − H(m) = −(E_e[log m] − E_m[log m]) − KL(e‖m). 여기서 E_e[·]는 분포 e로 평균 낸 값(기댓값)이고, KL(e‖m) = Σ e log(e/m)은 e와 m이 얼마나 다른지 재는 KL 발산이다. (라) 봉우리 하나짜리 정규분포 두 개라면 왜 역전이 없는가?

함께 풀기

(가)는 H(m) = 1.081, H(e) = 1.098이에요. 뒤집혔어요. 그런데 이건 운 나쁜 예외 같아요. 시드 0으로 랜덤 쌍 열 개를 뽑았는데 열 개 전부 H(e)가 더 작았거든요. 그러니까 “거의 항상” e-중간점이 더 뾰족하다고 봐도 될 것 같아요.

저는 반대로 증명을 해 보려고 했어요. 엔트로피는 오목함수니까 H(m) ≥ ½H(a) + ½H(b)가 성립해요. 그런데 거기서 H(e)로 넘어가는 다리가 안 놓여요.

서연 학생의 부등식은 m을 누구와 비교하고 있어요?

a와 b의 엔트로피 평균이요. e는 아예 안 나와요. 오목성은 "섞으면 퍼진다"만 말해 줘요. 곱셈 쪽에 대해선 아무 말도 안 하네요.

민준 학생, 열 개로 "거의 항상"을 말하려면 역전이 몇 % 이하여야 할까요?

역전 비율이 18%만 돼도 열 개 연속으로 안 나올 확률이 0.82¹⁰ ≈ 0.14니까… 열 개로는 못 가르네요. 백만 쌍으로 다시 돌릴게요.

0.182예요. 다섯 쌍에 한 쌍 가까이 뒤집혀요. 예외가 아니에요.

그럼 어떤 쌍이 뒤집히는지 봐야겠죠. e를 m으로 표현해 봐요. a = m + d, b = m − d로 두면요?

일단 곱부터요. √(ab) = √(m² − d²)예요.

m을 근호 밖으로 빼 볼래요?

m·√(1 − (d/m)²)요. 그러니까 e_i는 m_i에 s_i = √(1 − (d_i/m_i)²)를 곱하고 다시 정규화한 거예요. 아, 두 분포가 크게 어긋나는 칸일수록 s가 작아서 많이 깎이네요.

좋아요. e가 m을 칸마다 다시 가중한 분포라는 것만 쓰면 (다)가 나와요.

H(e) = −Σ e log e에서 시작할게요. log e 안에 m을 끼워 넣으면… log e = log m + log(e/m).

그걸 넣으면 항이 몇 개로 나뉘어요?

두 개요. H(e) = −E_e[log m] − Σ e log(e/m). 뒤의 항 Σ e log(e/m)은 KL(e‖m)이네요.

그럼 H(m) = −E_m[log m]을 빼기만 하면 문제의 식이야.

응. 어, a, b가 하나도 안 들어갔네. a, b와도 상관없이 성립하는 항등식이에요.

그럼 역전이 일어나려면 오른쪽 두 항이 어때야 해요?

KL(e‖m) ≥ 0이니까 둘째 항은 늘 빼는 쪽이에요. 그럼 첫째 항이 양수여야 해요. E_e[log m] < E_m[log m].

그 부등식을 말로 하면요?

e가 m 기준으로 “확률이 작은 칸” 쪽으로 무게를 옮겨야 해요. 그러려면 깎이는 칸이 원래 큰 칸이어야 하고요.

(가)에서 보면 s가 (0.70, 0.98, 0.66)이에요. m = (0.35, 0.25, 0.4)에서 큰 두 칸, 1번과 3번이 깎이고 제일 작은 2번 칸은 거의 안 깎여요. 그러니 평평해진 거네요. 백만 쌍에서도 역전인데 첫째 항이 음수가 아닌 쌍은 0개예요.

필요조건이지 충분조건은 아니에요. 첫째 항이 양수여도 KL(e‖m)이 더 크면 역전이 안 일어나요. 그럼 (라)는요?

봉우리 두 개 무대에서는 가운데 칸이 m에선 작은데, 거기가 두 분포가 제일 잘 맞는 곳이라 안 깎여요. 대신 두 봉우리 바깥 꼬리는 한쪽만 있어서 거의 다 깎이고요. 필요조건만으론 이게 어느 쪽으로 갈지 딱 안 나오네요.

정규분포면 식으로 해 볼 수 있을 것 같아요. 문제 6에서 1/σ_e² = ½(1/σ_a² + 1/σ_b²)였어요.

그럼 σ_e²는 σ_a²과 σ_b²의 어떤 평균이에요?

역수를 평균하고 다시 역수를 취했으니 조화평균이요. 조화평균 ≤ 기하평균이라 σ_e ≤ √(σ_aσ_b), 그래서 H(e) ≤ ½H(a) + ½H(b)예요.

근데 그건 H(m)이랑 비교한 게 아니잖아.

오른쪽이 내가 처음 쓴 오목성 부등식의 오른쪽이랑 같아. 그건 H(m) 이하고.

처음에 막혔던 다리가 정규분포에서만 놓이는 거예요. 정규분포 둘을 곱해도 정규분포 모양이 유지되니까요. 칸이 셋뿐이면 그런 보장이 없어요.

그래요. "e-중간점은 겹치는 부분만 남아서 뾰족하다"는 그림은 봉우리가 뚜렷한 분포의 이야기예요. 일반적으로 곱셈이 하는 일은 "두 분포가 어긋나는 칸을 깎는다"이고, 어긋나는 칸이 원래 큰 칸이면 오히려 평평해져요. 민준 학생은 샘플을 늘려 반례의 크기를 쟀고, 서연 학생은 항등식으로 어디가 깎이는지 봤어요.

문제 8(심사위원 두 명의 표)이랑 같네요. 두 분이 똑같이 준 후보 2만 안 깎이고 어긋난 큰 칸이 깎여서 고르게 됐던 것처럼, 여기서도 큰 두 칸이 깎여서 평평해진 거예요.

해석학에서 "반례 하나로 명제는 죽지만 반례가 어디 사는지 알아야 명제를 고칠 수 있다"던 말이 이거였어요.