에필로그

이론의 지도를 완성했고, 응용의 풍경을 네 곳에서 보았다.
디퓨전에서 데이터 공간의 스코어 ∇ₓ log p 가 안개 속의 레이더가 되었고,
플로우 매칭에서 노이즈와 데이터를 잇는 직선이 생성의 경로가 되었다.
그 직선은 4장(길)의 m-측지선(두 분포의 확률을 섞는 길)과 모양은 닮았지만 다른 길이었다.
넓히기와 좁히기에서 프리트레인은 데이터 위로의 m-사영(KL(p‖q)을 가장 작게 하는 q로 내리기)이었고,
KL 발산(두 분포의 확률이 얼마나 다른지 재는 양)으로 묶은 강화학습의 최적해는 참조 분포를 보상으로 기울인 지수족(log p = θ·t(x) − F(θ) 꼴의 분포 모임)이었다. 보상의 세기를 바꾸면 이 최적해는 참조 분포에서 출발하는 e-측지선(로그 확률을 더하는 길) 위를 움직였다.
자연 그래디언트에서 피셔 계량(곳마다 작은 이동의 길이를 분포가 달라지는 정도로 재는 규칙)이 파라미터 업데이트 한 스텝의 크기를 재는 것을 보았고,
이 교재가 시작된 원점으로 돌아왔다.

그래도 이 교재가 그린 이론의 지도에는 가장자리가 있다. 그 너머에 아직 다루지 않은 주제들이 있다.

α-접속의 일반론

이 교재에서 우리는 α = ±1 을 중심으로 보았다.
e-접속(α = +1)과 m-접속(α = −1). 접속은 무엇을 곧은 길로 볼지 정하는 규칙이다. e-접속에서는 e-측지선(로그 확률을 더하는 길)이, m-접속에서는 m-측지선(확률을 섞는 길)이 곧은 길이다.
16장(넓히기와 좁히기)에서는 α-발산의 파라미터 α를 −1에서 +1까지 바꾸며
KL(p‖q) 와 KL(q‖p) 사이를 보간해 보았다.
그런데 α는 이보다 더 넓은 연속 파라미터다.
불변인 접속은 α-족 전체이고, (α, −α) 가 서로 쌍대인 짝이다.
α = 0 이면 자기쌍대인 레비-치비타 접속이 되고, 피셔 계량의 리만 기하학이 나타난다.
α = ±1 은 지수족과 혼합족 위에서 평탄해지는 특별한 짝이었다.
그 밖의 α에서는 대개 곡률이 0이 아니고, 측지선(가장 곧은 길)이 달라지고,
사영의 방식이 달라진다.
16장(넓히기와 좁히기)에서 맛본 것은 이 풍경의 입구였다.