두 모델의 예측을 합칠 때마다 확률을 평균 낼지(m-측지선의 가운데) 로짓을 평균 낼지(e-측지선의 가운데) 하나를 골라야 했다. 둘 다 마음에 들지 않을 때 그 중간쯤의 결합은 없을까? m-측지선과 e-측지선이 두 극단이라면 그 사이에는 무엇이 있고, 레비-치비타 접속은 m-접속, e-접속과 비교해 어디에 놓일까?
역사: 나가오카 히로시 (長岡浩司, Hiroshi Nagaoka)
나가오카 히로시는 아마리와 함께 이 쌍대 구조를 다듬은 연구자다. 1982년 두 사람은 도쿄대학 연구 보고서 「확률분포의 매끄러운 족의 미분기하학(Differential geometry of smooth families of probability distributions)」을 함께 썼고, 1993년에는 일본어 교과서 『정보기하학의 방법(情報幾何の方法)』을 함께 펴냈다. 2000년에 나온 영문판 Methods of Information Geometry는 이 분야의 표준 참고서가 되었다. 이 책은 접속의 짝 관계가 확률분포의 공간에서 출발했지만 양자역학, 정보 이론, 신경망, 선형 시스템처럼 확률과 바로 이어지지 않는 문제에도 나타난다는 것을 보였다. 나가오카 자신은 뒤에 이 기하학을 양자 상태의 공간으로 넓히는 연구를 이어 갔다.
동전 두 개의 가운데를 곱해서 잡던 방식을 2×2 밀도 행렬 두 개 ρ, σ로 옮겨 본 것. 두 행렬이 대각 행렬이면(왼쪽, 앞면 확률 0.9와 0.3인 동전) 로그 평균, ρ를 먼저 곱한 (ρ1/2σρ1/2)1/2, σ를 먼저 곱한 (σ1/2ρσ1/2)1/2이 한 점(앞면 확률 0.663)에 모이지만, 대각이 아닌 행렬이 끼면(오른쪽) 세 점으로 갈린다. 두 행렬의 값은 그림을 위해 고른 예다. 계산: sources/ch10/quantum_midpoints.py
이서연
1982년이면 미분기하학도 통계학도 다 갖춰져 있던 때잖아요. 두 분야를 이어 붙이기만 하면 되는 일 아니었어요?
선생님
이어 붙일 쪽의 미분기하학은 계량을 주면 접속을 레비-치비타 하나로 정했어요. 계량 하나에 접속 둘을 짝지어 쓰는 틀은 확률분포의 공간을 들여다보며 새로 다듬어야 했고요.
김민준
그 책이 양자역학에도 같은 짝 구조가 나온다고 했잖아요. 확률분포의 공간에서 쓴 계산을 양자 상태에 그대로 옮기면 되는 거 아니에요?
선생님
양자 상태는 확률 대신 행렬(밀도 행렬)로 적어요. 동전의 가운데를 곱해서 잡던 방식을 행렬 두 개로 해 보면 어디서 걸릴까요?
김민준
음, 곱한 다음 제곱근을… 그런데 행렬은 AB와 BA가 다르니까, 어느 순서로 곱하느냐부터 정해야 하네요.
선생님
그래서 양자 상태의 공간에서는 피셔 계량에 해당하는 계량조차 하나로 정해지지 않아요. 확률분포의 공간에서는 피셔 계량 하나뿐이었던 것과 다르죠. 나가오카가 뒤에 넓혀 간 곳이 그런 공간이었어요.
이서연
확률분포에서는 m-측지선과 e-측지선이 두 극단으로 갈렸는데, m-측지선과 e-측지선 사이에도 측지선을 만드는 접속이 더 있을 수 있어요?
큐빅 텐서로 레비-치비타를 기울이기
m-측지선과 e-측지선을 처음 소개할 때 본 두 동전으로 돌아가자. 앞면 확률이 0.1인 동전과 0.5인 동전의 가운데는 섞으면(혼합) 0.30, 곱하면(기하평균) 0.25였다. 가운데를 잡는 방법을 실수 파라미터 하나 α로 고른다고 하자. α=−1은 혼합(m)으로 0.30, α=+1은 기하평균(e)으로 0.25다. 한가운데 α=0은 피셔 계량이 재는 거리로 두 동전에서 똑같이 떨어진 점인 레비-치비타 측지선의 중간점이고, 이 중간점의 앞면 확률 0.276은 두 답 사이에 놓인다. 혼합과 기하평균 사이를 고르는 파라미터 α를 이 절에서 다룬다.
앞면 확률 0.1인 동전과 0.5인 동전의 세 가운데. 기하평균(α=+1) 0.25, 레비-치비타(α=0) 0.276, 혼합(α=−1) 0.30이 수직선 위에 차례로 놓인다
두 가운데가 왜 갈라지는지는 동전 하나를 놓고 보면 실마리가 보인다. 앞면 확률 p인 동전에는 그 동전이 얼마나, 어느 쪽으로 치우쳤는지를 재는 수 p(1−p)(1−2p)가 있다. 앞면이면 1, 뒷면이면 0인 값의 3차 중심 모멘트(평균에서 벗어난 양의 세제곱의 평균)로, 왜도(분포가 한쪽으로 기운 정도)를 정하는 양이다. 공정한 동전(p=0.5)에서는 0이고, p=0.1이면 0.072, p=0.9면 −0.072로, 크기는 치우친 정도를, 부호는 치우친 방향을 알려 준다.
동전의 3차 중심 모멘트 p(1−p)(1−2p)를 일반 분포족으로 넓힌 것이 큐빅 텐서 C다. 통계적 매니폴드(분포 하나가 점 하나인 매니폴드) 위에서는 피셔 계량 g와 더불어 첨자가 세 개인 대칭 텐서 C가 자연스럽게 정의된다. 텐서는 좌표를 바꿀 때 성분이 정해진 규칙대로만 바뀌는 양으로, PyTorch의 tensor와는 이름만 같다. C는 로그 우도 ℓ=logp(x;θ)의 그래디언트(가장 가파른 방향의 벡터)인 스코어를 세 개 곱한 것의 기댓값(3차 모멘트)이다. 분포족이 평균 둘레에서 얼마나 한쪽으로 치우쳐 있는지, 즉 "3차 비대칭"을 재는 양이다. 아마리와 나가오카는 이로부터 파라미터 하나로 이어진 접속 모임을 만들었는데, 성분으로 쓰면 다음과 같다.
「마지막 첨자를 계량으로 내린 것」은 크리스토펠 기호(접속을 좌표로 적은 보정값) Γijl에 계량 성분 glk를 곱해 l에 대해 더한 값 Γijk를 말한다. 위첨자 하나를 아래첨자로 바꿔 세 첨자를 Cijk와 같은 꼴로 맞춘 것이다.
여기서 α=0은 레비-치비타 접속이다. 부호는 C를 위처럼 정의했을 때의 것이고, 책에 따라 C의 부호를 반대로 잡아 +2αC로 쓰기도 한다. α=0이면 레비-치비타, α=1이면 e-접속, α=−1이면 m-접속이며, 이 접속들 사이에 성립하는 핵심 정리는 다음과 같다. ∇(α)와 ∇(−α)는 항상 피셔 계량에 대해 쌍대이다. 성분으로 확인해 보자. 쌍대 조건은 ∂igjk=Γijk+Γ∗ikj인데, α-접속의 크리스토펠 기호 식 Γijk(α)=Γijk(0)−2αCijk로 Γijk(α)+Γikj(−α)를 계산하면 C가 대칭이라 ∓2αC 항이 서로 지워지고 레비-치비타 두 개의 합만 남는데, 레비-치비타 두 개의 합이 바로 ∂igjk다. α-접속을 만드는 이 방법은 확률분포의 공간뿐 아니라 계량과 대칭 3차 텐서가 주어진 어떤 매니폴드에도 적용된다.
동전에서는 α=+1(기하평균)과 α=−1(혼합)이 쌍대 짝이고, α=0(레비-치비타)이 스스로의 쌍대로 한가운데에 선다.
α-접속 (α-기울기 비교기 / α-Connection): 레비-치비타 접속을 큐빅 텐서의 α/2배만큼 기울인 접속. α=0이면 레비-치비타, α=1이면 e-접속(지수족 식의 자연 파라미터 θ로 보면 직선), α=−1이면 m-접속(기댓값인 혼합 파라미터 η로 보면 직선)이다. α를 연속적으로 움직이면 접속이 매끄럽게 변하며, 측지선의 모양도 e-측지선에서 레비-치비타 측지선을 거쳐 m-측지선으로 변형된다.
큐빅 텐서(3차 비대칭 / Cubic Tensor, C)는 접속족 전체를 결정하는 3차 대칭 텐서다. 지수족(exp(θ⋅x−ψ) 꼴로 쓰이는 분포들의 모임. 정규·베르누이·푸아송분포가 여기 든다)에서는 로그 분배함수 ψ(합이 1이 되게 나누는 수의 로그. softmax의 logsumexp와 같은 역할. 통계 책은 흔히 A(θ)로 적지만, 정보기하학은 볼록한 퍼텐셜이라는 뜻으로 ψ를 쓴다)를 세 번 미분한 값 ∂i∂j∂kψ와 같다. 동전 하나라면 성분이 하나뿐이다. 앞면 확률 p인 동전을 로그 오즈 좌표 θ=log1−pp로 보면 C=p(1−p)(1−2p)이고, 이 절 처음에 본 동전의 3차 중심 모멘트와 같다. 큐빅 텐서가 0인 곳에서는 모든 α-접속이 레비-치비타와 겹쳐 하나가 되므로, 그 크기는 "레비-치비타로부터 얼마나 벗어나 있는가"를 잰다.
세 가지 결과가 나오는 분포 (p1,p2,p3)는 세 확률을 세 축으로 삼은 공간에서 합이 1인 평면 위, 세 축의 1을 잇는 삼각형 안의 한 점이다. 이 삼각형을 확률 심플렉스라 부른다.
확률 심플렉스. 세 확률을 세 축으로 삼으면 합이 1인 분포들은 세 축의 1을 잇는 삼각형을 이룬다. 꼭짓점은 한 결과만 나오는 분포다
아래 그림은 이 삼각형을 평평하게 펼친 것이다. 두 분포 P, Q를 끌어서 옮길 수 있고, 둘을 잇는 m-측지선과 e-측지선이 함께 그려진다. α 슬라이더를 움직이면 두 극단 사이의 α-측지선이 어떻게 휘는지 볼 수 있다.
문제 5: 치우친 쪽이 바뀌면
계산 앞면 확률이 0.1인 동전과 0.5인 동전의 가운데는 혼합(α=−1)으로 0.30, 기하평균(α=+1)으로 0.25, 레비-치비타(α=0)로 0.276이었다. 앞면 확률이 0.9인 동전과 0.5인 동전이라면 세 가운데는 각각 얼마이고, 혼합의 가운데와 기하평균의 가운데 중 무엇이 더 큰가? 큐빅 텐서의 부호와 비교해 보라. 0.4인 동전과 0.6인 동전이라면 어떤가?
문제 5의 동전 쌍을 앞면 확률 수직선 위에 찍은 그림. 맨 위 줄은 문제에 주어진 0.1과 0.5의 세 가운데이고, 아래 두 줄의 0.9와 0.5, 0.4와 0.6은 가운데를 비워 두었다
같이 풀기 세션 5
김민준
기하평균 가운데가 혼합 가운데보다 작게 나왔으니까 이번에도 기하평균이 작겠죠. 혼합은 (0.9+0.5)/2=0.70이고, 기하평균은 0.70보다 작은 무엇이에요.
선생님
계산하기 전에, 동전의 앞면과 뒷면 이름을 서로 바꿔 부르면 0.9 동전은 무엇이 되죠?
김민준
앞면 0.1짜리 동전이요. 그럼 0.9와 0.5 쌍은 이름만 바꾼 0.1과 0.5 쌍이네요. 기하평균 가운데의 뒷면 확률이 0.25니까 앞면은 0.75, 레비-치비타는 1−0.276=0.724예요. 직접 해도 0.45 대 0.05가 3 대 1이라 0.75가 맞아요. 이번엔 기하평균이 더 커요.
이서연
그러면 「기하평균이 작다」는 틀렸네. 0.1 쪽으로 0.25, 0.9 쪽으로 0.75니까, 기하평균은 더 치우친 동전 쪽으로 끌리는 거야.
선생님
문제는 큐빅 텐서의 부호와 비교해 보라고 했죠. 0.1과 0.9에서 C는요?
이서연
0.1에서 +0.072, 0.9에서 −0.072로 부호가 바뀌었어요. 레비-치비타 가운데는 늘 둘 사이에 서고, 혼합과 기하평균의 가운데가 어느 쪽으로 갈라지는지는 C의 부호를 따라가네요.
선생님
그럼 0.4와 0.6 쌍이면요?
이서연
앞뒷면 이름을 바꾸면 0.4 동전은 0.6 동전이, 0.6 동전은 0.4 동전이 되니까 0.4와 0.6 쌍은 바뀌지 않아요. 어느 쪽으로도 끌리지 않으니 세 가운데가 모두 0.5로 겹쳐요. 혼합 (0.4+0.6)/2=0.5, 기하평균도 0.24 대 0.24라 0.5고요.
김민준
시험 점수를 꼴찌부터 매기면 「꼴찌 근처」가 「일등 근처」가 되는 거랑 같네요. 규칙은 그대로인데 순위를 매기는 방향만 바꾸니 결과도 거울처럼 뒤집혔어요.
