전환: 도구를 들고 세계로

지도가 완성되었다.

심플렉스(합이 1인 확률들의 영역) 위의 점에서 출발해, m-측지선과 e-측지선이라는 두 곧은 길을 걷고, 놀라움을 재고,
볼록함수의 쌍대(한쪽이 정해지면 다른 쪽이 정해지는 짝)를 넘어 지수족에 도달하고, 사영의 교대로 수렴을 보았다.
하나의 곡선이 여섯 개의 얼굴을 가지고 있었고,
거리의 세 이름이 하나의 구조를 가리키고 있었다.
이 도구들은 지수족 안에서 완벽하게 작동한다.

그런데 세상의 분포는 대부분 지수족이 아니다.

신경망이 표현하는 분포, 이미지의 분포, 언어의 분포는
지수족의 깔끔한 골격을 따르지 않는다.
파라미터가 수억 개이고, F(θ)가 닫힌꼴(식 하나)로 쓰이지 않는다.
θ와 η가 공간 전체에서 서로를 비추는 전역 쌍대평탄 구조(θ 직선과 η 직선이 어디서나 둘 다 곧은 길이 되는 구조)도 없다.
피셔 계량(곳마다 작은 걸음의 길이를 재는 규칙)은 여전히 정의되지만, 신경망에서는 퇴화한다.
서로 다른 파라미터가 같은 분포를 내놓는 방향이 많아서, 피셔 행렬이 역행렬을 갖지 않는 점이 흔하다.
Watanabe가 "특이 모델"이라 부르며 따로 이론을 세운 세계다.

그러면 우리가 배운 것이 쓸모없는가?

아니다. 지도 전체는 두고, 연장 하나하나를 들고 가면 된다.
정확한 등식 몇 개는 두고 가야 하지만,
다음 연장들은 지수족 밖에서도 살아남는다.

연장	지수족 밖에서	쓰이는 곳
KL 발산	한 분포를 다른 분포로 대신할 때 치르는 손해라서, 어떤 두 분포 사이에서도 그대로 정의된다. KL(p‖q)와 KL(q‖p)가 가리키는 뜻(누구의 눈으로 재는가)도 지수족 안에서와 같다.	디퓨전의 학습 목표, RLHF(사람 피드백으로 하는 강화학습)의 KL 페널티
m-사영 = 최대우도	우도(모델 q가 데이터에 준 확률)를 키우는 크로스 엔트로피 학습은 여전히 KL(p̂‖q)를 줄이는 m-사영(m은 mixture. m-측지선(확률을 섞는 곧은 길)을 따라 내려찍기)이다. 다만 답이 하나라는 보장은 사라진다.	프리트레인, SFT(지도 파인튜닝)
e-사영 = 봉우리(모드) 찾기	KL(q‖p)를 줄이는 e-사영(e는 exponential. e-측지선(로그 확률을 섞는 곧은 길)을 따라 내려찍기)은 여전히 봉우리 하나를 고르는 경향이 있다.	변분추론, 정책 최적화
피셔 계량	국소적으로는 여전히 KL 발산을 2차까지 근사한 값(KL ≈ ½ dθᵀ g dθ)이다. 퇴화한 방향을 조심하며, 근사(대각, 블록)로 쓴다.	자연 그래디언트(피셔 계량으로 보정한 경사하강), 옵티마이저 설계
데이터에 대한 스코어 ∇ₓlog p	정규화 상수(합이 1이 되게 나누는 수)를 몰라도 계산된다. 로그 밀도의 그래디언트 ∇ₓlog p 하나로 학습과 샘플링이 돌아간다.	스코어 매칭과 디퓨전
지수 기울이기	기준 분포에 exp(보상/β)를 곱하고 합이 1이 되게 다시 나누는 한 줄은 어떤 기준 분포에서도 성립한다.	보상 최적 정책의 닫힌꼴

두고 가야 하는 것도 적어 둔다.
피타고라스의 정확한 등식은 사영의 목적지인 모델 면이 평탄할 때만 성립한다.
KL = 브레그만은 F가 있는 곳에서만 성립한다.
볼록성이 주던 "답은 하나"라는 보장은 대부분 사라진다.

전략을 바꾸면 된다.
정확한 답 대신 올바른 질문을 던지는 것.
“이 문제를 정보기하학의 관점에서 보면 무엇이 보이는가?”

이 한 마디는 마법처럼 작동한다.
이제 그것을 실제 문제 앞에서 확인할 차례다.