에필로그
이론의 지도를 완성했고, 응용의 풍경을 네 곳에서 보았다.
디퓨전에서 데이터 공간의 스코어 ∇ₓ log p 가 안개 속의 레이더가 되었고,
플로우 매칭에서 노이즈와 데이터를 잇는 직선이 생성의 경로가 되었다 —
4장(길)의 덧셈의 길과 모양은 닮았지만 다른 길이었다.
넓히기와 좁히기에서 프리트레인은 데이터 위로의 m-사영(KL(p‖q)을 가장 작게 하는 q로 내리기)이었고,
KL 발산(두 분포의 확률이 얼마나 다른지 재는 양)으로 묶은 강화학습의 최적해는 참조 분포를 보상으로 기울인 지수족(log p = θ·t(x) − F(θ) 꼴의 분포 모임), 곧 곱셈의 길이었다.
스케일링에서 피셔 계량(곳마다 작은 걸음의 길이를 분포가 달라지는 정도로 재는 규칙)과 그 친척 노름들이 한 걸음의 크기를 재는 것을 보았고,
이 교재가 시작된 원점으로 돌아왔다.
그래도 가장자리는 있다. 지도 너머 더 먼 땅이 있다.
α-접속의 일반론
이 교재에서 우리는 α = ±1 을 중심으로 보았다.
e-접속(α = +1)과 m-접속(α = −1). 접속은 무엇을 곧은 길로 볼지 정하는 규칙이다. 곱셈의 길과 덧셈의 길.
16장(넓히기와 좁히기)에서는 α-발산의 다이얼을 −1에서 +1까지 돌리며
KL(p‖q) 와 KL(q‖p) 사이를 보간해 보았다.
그런데 α는 이보다 더 넓은 연속 파라미터다.
불변인 접속은 α-족 전체이고, (α, −α) 가 서로 쌍대인 짝이다.
α = 0 이면 자기쌍대인 레비-치비타 접속 — 피셔 계량의 리만 기하학이 나타난다.
α = ±1 은 지수족과 혼합족 위에서 평탄해지는 특별한 짝이었다.
그 밖의 α에서는 대개 곡률이 0이 아니고, 측지선(가장 곧은 길)이 달라지고,
사영의 방식이 달라진다.
16장(넓히기와 좁히기)에서 맛본 것은 이 풍경의 입구였다.