두 모델의 예측을 합칠 때마다 확률을 평균 낼지 로짓을 평균 낼지, 섞기와 곱하기 가운데 하나를 골라야 했다. 둘 다 마음에 들지 않을 때 그 중간쯤의 결합은 없을까? m-측지선과 e-측지선이 두 극단이라면, 그 사이에는 무엇이 있을까? 그리고 레비-치비타 접속은 이 둘과 어떤 자리에 놓일까?
역사: 나가오카 히로시 (長岡浩司, Hiroshi Nagaoka)
나가오카 히로시는 아마리와 함께 이 쌍대 구조를 다듬은 연구자다. 1982년 두 사람은 도쿄대학 연구 보고서 「확률분포의 매끄러운 족의 미분기하학(Differential geometry of smooth families of probability distributions)」을 함께 썼고, 1993년에는 일본어 교과서 『정보기하학의 방법(情報幾何の方法)』을 함께 펴냈다. 2000년에 나온 영문판 Methods of Information Geometry는 이 분야의 표준 참고서가 되었다. 이 책은 접속의 짝 관계가 확률분포의 공간에서 출발했지만 양자역학, 정보 이론, 신경망, 선형 시스템처럼 확률과 바로 이어지지 않는 문제에도 나타난다는 것을 보였다. 나가오카 자신은 뒤에 이 기하학을 양자 상태의 공간으로 넓히는 연구를 이어 갔다.
큐빅 텐서로 레비-치비타를 기울이기
섞는 길과 곱하는 길에서 본 두 동전으로 돌아가자. 앞면 확률이 0.1인 동전과 0.5인 동전의 가운데는 섞으면 0.30, 곱하면 0.25였다. 가운데를 잡는 방법을 다이얼 하나로 고른다고 하자. 다이얼 이름은 α다. α=−1은 섞기(m)로 0.30, α=+1은 곱하기(e)로 0.25다. 한가운데 α=0은 피셔 계량이 재는 거리로 두 동전에서 똑같이 떨어진 점, 곧 레비-치비타 측지선의 중간점인데, 그 값은 0.276으로 두 답 사이에 놓인다. 이 다이얼 α가 이 절의 주인공이다.
앞면 확률 0.1인 동전과 0.5인 동전의 세 가운데. 곱하기(α=+1) 0.25, 레비-치비타(α=0) 0.276, 섞기(α=−1) 0.30이 수직선 위에 차례로 놓인다
두 가운데는 왜 갈라질까? 동전 하나를 놓고 보면 실마리가 있다. 앞면 확률 p인 동전에는 그 동전이 얼마나, 어느 쪽으로 치우쳤는지를 재는 수 p(1−p)(1−2p)가 있다. 공정한 동전(p=0.5)에서는 0이고, p=0.1이면 0.072, p=0.9면 −0.072로, 크기는 치우친 정도를, 부호는 치우친 방향을 알려 준다.
이 수를 일반 분포족으로 넓힌 것이 큐빅 텐서 C다. 통계적 매니폴드(분포 하나가 점 하나인 매니폴드) 위에서는 피셔 계량 g와 더불어 첨자가 세 개인 대칭 텐서 C가 자연스럽게 정의된다. 텐서는 좌표를 바꿀 때 성분이 정해진 규칙대로만 바뀌는 양으로, PyTorch의 tensor와는 이름만 같다. C는 로그가능도 ℓ=logp(x;θ)의 그래디언트(가장 가파른 방향의 벡터), 곧 스코어를 세 개 곱한 것의 기댓값(3차 모멘트)이다. 분포족이 평균 둘레에서 얼마나 한쪽으로 치우쳐 있는지, 즉 "3차 비대칭"을 재는 양이다. 아마리와 나가오카는 이로부터 매개변수 하나로 이어진 접속 모임을 만들었다. 성분으로 쓰면 다음과 같다.
「마지막 첨자를 계량으로 내린 것」은 크리스토펠 기호(접속을 좌표로 적은 보정값) Γijl에 계량 성분 glk를 곱해 l에 대해 더한 값 Γijk를 말한다. 위첨자 하나를 아래첨자로 바꿔 세 첨자를 Cijk와 같은 꼴로 맞춘 것이다.
여기서 α=0은 레비-치비타 접속이다. 부호는 C를 위처럼 정의했을 때의 것이고, 책에 따라 C의 부호를 반대로 잡아 +2αC로 쓰기도 한다. α=0이면 레비-치비타, α=1이면 e-접속, α=−1이면 m-접속이다. 핵심 정리는 이것이다. ∇(α)와 ∇(−α)는 항상 피셔 계량에 대해 쌍대이다. 성분으로 확인하면 간단하다. 쌍대 조건은 ∂igjk=Γijk+Γ∗ikj인데, 위 식에서 Γijk(α)+Γikj(−α)를 계산하면 C가 대칭이라 ∓2αC 항이 서로 지워지고 레비-치비타 두 개의 합만 남는데, 그것이 바로 ∂igjk다. 이 구성은 확률분포의 공간에만 쓰이는 것이 아니라, 계량과 대칭 3차 텐서가 주어진 어떤 매니폴드에도 그대로 적용된다.
동전에서는 +1(곱하기)과 −1(섞기)이 짝이고, 0(레비-치비타)이 스스로의 짝으로 한가운데에 선다.
α-접속 (α-기울기 비교기 / α-Connection) — 레비-치비타 접속을 큐빅 텐서의 α/2배만큼 기울인 접속. α=0이면 레비-치비타, α=1이면 e-접속(지수족 식의 θ, 곧 자연 매개변수로 보면 직선), α=−1이면 m-접속(기댓값 η, 곧 혼합 매개변수로 보면 직선)이다. α를 연속적으로 움직이면 접속이 매끄럽게 변하며, 측지선의 모양도 e-측지선에서 레비-치비타 측지선을 거쳐 m-측지선으로 변형된다.
큐빅 텐서(3차 비대칭 / Cubic Tensor, C)는 접속족 전체를 결정하는 3차 대칭 텐서다. 지수족(exp(θ⋅x−ψ) 꼴로 쓰이는 분포들의 모임. 정규·베르누이·푸아송분포가 여기 든다)에서는 로그 분배함수 ψ(합이 1이 되게 나누는 수의 로그. softmax의 logsumexp와 같은 역할. 통계 책은 흔히 A(θ)로 적지만, 정보기하학은 볼록한 퍼텐셜이라는 뜻으로 ψ를 쓴다)를 세 번 미분한 값 ∂i∂j∂kψ와 같다. 동전 하나라면 성분이 하나뿐이다. 앞면 확률 p인 동전을 로그 오즈 다이얼 θ=log1−pp로 보면 C=p(1−p)(1−2p), 곧 앞에서 본 치우침의 수다. 큐빅 텐서가 0인 곳에서는 모든 α-접속이 레비-치비타와 겹쳐 하나가 되므로, 그 크기는 "레비-치비타로부터 얼마나 벗어나 있는가"를 잰다.
세 가지 결과가 나오는 분포 (p1,p2,p3)는 세 확률을 세 축으로 삼은 공간에서 합이 1인 평면 위, 세 축의 1을 잇는 삼각형 안의 한 점이다. 이 삼각형을 확률 심플렉스라 부른다.
확률 심플렉스. 세 확률을 세 축으로 삼으면 합이 1인 분포들은 세 축의 1을 잇는 삼각형을 이룬다. 꼭짓점은 한 결과만 나오는 분포다
아래 그림은 이 삼각형을 평평하게 펼친 것이다. 두 분포 P, Q를 끌어서 옮길 수 있고, 둘을 잇는 m-측지선과 e-측지선이 함께 그려진다. α 슬라이더를 움직이면 두 극단 사이의 α-측지선이 어떻게 휘는지 볼 수 있다.
문제 5 — 치우친 쪽이 바뀌면
계산 앞면 확률이 0.1인 동전과 0.5인 동전의 가운데는 섞기(α=−1)로 0.30, 곱하기(α=+1)로 0.25, 레비-치비타(α=0)로 0.276이었다. 앞면 확률이 0.9인 동전과 0.5인 동전이라면 세 가운데는 각각 얼마이고, 섞기와 곱하기 가운데 어느 쪽이 더 큰가? 큐빅 텐서의 부호와 견주어 보라. 0.4인 동전과 0.6인 동전이라면 어떤가?
같이 풀기 세션 5
김민준
곱하기 가운데가 섞기보다 작게 나왔으니까 이번에도 곱하기가 작겠죠. 섞기는 (0.9+0.5)/2=0.70이고, 곱하기는 0.70보다 작은 무엇이에요.
선생님
계산하기 전에, 동전의 앞면과 뒷면 이름을 서로 바꿔 부르면 0.9 동전은 무엇이 되죠?
김민준
앞면 0.1짜리 동전이요. 그럼 0.9와 0.5 쌍은 이름만 바꾼 0.1과 0.5 쌍이네요. 곱하기 가운데의 뒷면 확률이 0.25니까 앞면은 0.75, 레비-치비타는 1−0.276=0.724예요. 직접 해도 0.45 대 0.05가 3 대 1이라 0.75가 맞아요. 이번엔 곱하기가 더 커요.
이서연
그러면 「곱하기가 작다」가 아니라 「곱하기는 더 치우친 동전 쪽으로 끌린다」네. 0.1 쪽으로 0.25, 0.9 쪽으로 0.75. 큐빅 텐서도 0.1에서 +0.072, 0.9에서 −0.072로 부호가 바뀌었어. 레비-치비타 가운데는 늘 둘 사이에 서고, 섞기와 곱하기가 어느 쪽으로 갈라지는지는 C의 부호를 따라가.
선생님
그럼 0.4와 0.6 쌍이면요?
이서연
앞뒷면 이름을 바꾸면 그 쌍 그대로예요. 어느 쪽으로 끌릴 까닭이 없으니 세 가운데가 모두 0.5로 겹쳐요. 섞기 (0.4+0.6)/2=0.5, 곱하기도 0.24 대 0.24라 0.5고요.
김민준
시험 점수를 꼴찌부터 매기면 「꼴찌 근처」가 「일등 근처」가 되는 거랑 같네요. 규칙은 그대로인데 이름표만 바꾸니 결과도 거울처럼 뒤집혔어요.
