ln Z의 기울기: 미분 한 번으로 꺼내는 평균 에너지

분류기를 학습해 본 독자에게는 logsumexp를 로짓으로 미분하면 softmax 확률이 나온다는 사실이 익숙하다. ln Z도 로짓 자리에 −βEᵢ를 넣은 logsumexp다. 그렇다면 ln Z를 로짓이 아니라 역온도 β로 미분하면 무엇이 나올까?

평균 에너지와 엔트로피

르장드르 변환에서는 변환한 함수를 새 변수로 미분하면 옛 변수가 나왔다. 자유에너지를 온도로 미분하면 엔트로피가 나온 것(∂F/∂T = −S)이 그 예다. 큰 계의 ln Z는 승자의 점수 max_E(ln g(E) − βE)와 거의 같으므로, ln Z를 β로 미분하면 승자의 에너지에 마이너스를 붙인 것이 나와야 할 것 같다. 사실은 근사 없이도 성립한다. Σᵢe^(−βEᵢ)를 β로 미분하면 각 항에서 −Eᵢ가 내려오고, 이것을 Z로 나누면 볼츠만 확률로 평균한 에너지에 마이너스를 붙인 것이 된다.

\langle \textcolor{#ff7f0e}{E} \rangle = -\frac{\partial \ln \textcolor{#667733}{Z}}{\partial \textcolor{#8c564b}{\beta}}, \qquad \textcolor{#9467bd}{S} = \textcolor{#7f7f7f}{k}\big(\ln \textcolor{#667733}{Z} + \textcolor{#8c564b}{\beta} \langle \textcolor{#ff7f0e}{E} \rangle\big) = -\frac{\partial \textcolor{#a000c8}{F}}{\partial \textcolor{#8c564b}{T}}

\begin{array}{ll} \langle \textcolor{#ff7f0e}{E} \rangle & \text{볼츠만 분포의 평균 에너지} \\ \ln \textcolor{#667733}{Z} & \text{로그 분배함수 (역온도의 함수로 본다)} \\ \textcolor{#8c564b}{\beta} & \text{역온도} \\ \textcolor{#9467bd}{S} & \text{볼츠만 분포의 엔트로피} \\ \textcolor{#a000c8}{F} & \text{자유에너지} \end{array}

2준위 입자 하나에서는 ln Z = ln(1 + e^(−βε))이므로 ⟨E⟩ = ε/(e^(βε) + 1)이고, βε = ln 2에서 ε/3이다. 엔트로피는 ln 1.5 + ln 2 × 1/3 = 0.6365(k 단위)인데, 이 값은 경우의 수를 직접 세어 얻는 입자 하나당 엔트로피, 곧 N이 클 때 ln C(N, N/3)/N이 다가가는 −(1/3)ln(1/3) − (2/3)ln(2/3) = 0.6365와 같다. 경우의 수를 한 번도 세지 않고 Z만 미분해서 엔트로피를 얻은 것이다.

2준위 입자 하나(ε = 1)의 ln Z를 역온도 β의 함수로 그린 곡선과 두 접선. β = 0에서 접선의 기울기는 −1/2, β = ln 2에서는 −1/3이다. 기울기에 마이너스를 붙이면 그 온도의 평균 에너지 ⟨E⟩(ε 단위)가 된다. 온도가 낮아질수록(β가 커질수록) 곡선이 평평해져 평균 에너지가 0으로 다가간다.

이제 정규화 상수라며 나눠 버리던 Z가 에너지와 경우의 수의 겨루기에 대해 무엇을 아는지 정리할 수 있다. ln Z의 값은 승자의 점수(−βF)이고, β에 대한 기울기에 마이너스를 붙이면 승자의 에너지 ⟨E⟩이며, 이 둘을 합치면 승자의 엔트로피가 나온다. 정규화 상수로만 보이던 Z는 미분 한 번으로 온갖 평균을 내주는 함수였던 것이다.

보법 노트 · 한 함수에 모아 두고 미분으로 꺼내기

알고 싶은 수를 하나씩 구하는 대신, 그 수들을 모두 한 함수의 계수나 항으로 모아 두고 필요할 때 미분으로 꺼내는 방법이 있다. 방금 Z가 한 일이 이것이다. 모든 미시상태의 에너지를 e^(−βEᵢ)의 합 하나에 담아 두었더니, β로 한 번 미분하는 것만으로 평균 에너지가 나왔다.

이 방법을 처음 크게 쓴 사람은 오일러다. 1740년 9월 베를린의 수학자 필리프 노데가 편지로 「50을 서로 다른 자연수 7개의 합으로 나타내는 방법은 몇 가지인가」를 물었고, 오일러는 며칠 만에 522가지라고 답했다. 이듬해 그는 상트페테르부르크 학술원에서 풀이법을 발표했는데, 요점은 1/((1 − x)(1 − x²)(1 − x³)⋯) 같은 곱을 전개하는 것이었다. 인수 1/(1 − x²) = 1 + x² + x⁴ + ⋯에서 항 하나를 고르는 일은 2를 몇 번 쓸지 정하는 일과 같다. 그래서 모든 인수에서 항을 하나씩 골라 곱하면 자연수의 합 하나가 만들어지고, 전개한 뒤 x의 몇 제곱 앞에 붙는 계수가 곧 그 수를 자연수의 합으로 나누는 방법의 수가 된다. 실제로 전개하면 1 + x + 2x² + 3x³ + 5x⁴ + 7x⁵ + ⋯이고, 4 = 3 + 1 = 2 + 2 = 2 + 1 + 1 = 1 + 1 + 1 + 1의 다섯 가지가 x⁴의 계수 5로 들어 있다. 오일러는 1748년 『무한 해석 입문』에서 이 방법을 한 장에 걸쳐 정리했다.

두 이야기는 모양까지 닮았다. 오일러의 곱에 x = e^(−β)를 넣으면, 나누는 방법 하나하나를 미시상태로, 나눈 수를 그 에너지로 보는 분배함수가 된다. 그러면 ln Z를 β로 미분해 평균 에너지를 얻은 것과 똑같이, 곱의 로그를 β로 미분하면 나눈 수의 평균이 나온다. 어느 쪽이든 정보는 함수 하나에 모여 있고 미분이 그것을 꺼내는 손잡이다. 그렇다면 한 번 더 미분하면 무엇이 나올지도 물어볼 만하다.

코드로 확인하기

PyTorch의 자동 미분으로 입자 하나의 ln Z를 β로 미분해 평균 에너지와 엔트로피를 얻고, 경우의 수를 세어 얻는 값 −(1/3)ln(1/3) − (2/3)ln(2/3)과 비교해 보자.

import torch
from math import log

beta_eps = log(2)                      # βε = ln 2, 들뜬 상태의 볼츠만 인자 e^(−βε) = 1/2

# ln Z를 β로 미분해 입자 하나의 평균 에너지와 엔트로피 얻기 (ε = 1, k = 1)
beta = torch.tensor(beta_eps, requires_grad=True)
lnZ1 = torch.log(1 + torch.exp(-beta))                      # 입자 하나의 ln Z
lnZ1.backward()
E_mean = -beta.grad.item()                                  # ⟨E⟩ = −∂ln Z/∂β
S = lnZ1.item() + beta.item() * E_mean                      # S/k = ln Z + β⟨E⟩
H_count = -(1/3) * log(1/3) - (2/3) * log(2/3)              # 세어서 얻은 ln C(N, N/3)/N의 극한
print(f"⟨E⟩ = {E_mean:.4f},  S = {S:.4f},  세어서 얻은 값 = {H_count:.4f}")
# ⟨E⟩ = 0.3333,  S = 0.6365,  세어서 얻은 값 = 0.6365

경우의 수를 한 번도 세지 않고 ln Z의 기울기만으로 평균 에너지 1/3과 엔트로피 0.6365를 얻었다.

ML에서: 에너지 기반 모델의 기울기

에너지 안에 매개변수 θ가 들어 있으면 ln Z를 θ로 미분해도 같은 방식으로 볼츠만 분포로 평균한 −β⟨∂E/∂θ⟩가 나온다. 에너지 기반 모델 p_θ(x) = e^(−βE_θ(x))/Z(θ)를 최대우도로 학습할 때 기울기가 「데이터에서 평균한 ∂E/∂θ − 모델에서 평균한 ∂E/∂θ」 꼴이 되는 것은, ln Z(θ)의 기울기가 바로 모델 쪽 평균이기 때문이다. Z를 직접 계산할 수 없는 모델에서는 이 평균을 모델에서 뽑은 샘플로 어림한다.

문제 8. 자유에너지에서 엔트로피 꺼내기

(가) 2준위 입자 하나의 자유에너지 F = −kT ln(1 + e^(−ε/kT))에서 S = −∂F/∂T로 βε = ln 3일 때의 엔트로피를 구하라. (나) 온도 1에서 로짓 z = (2, 1, 0)인 softmax의 엔트로피를 logsumexp와 로짓 평균만으로 구하라.

F = −kT ln Z를 T로 미분하면 −k ln Z니까 S = k ln Z = k ln(4/3) = 0.2877k예요.

ln 3이면 입자 하나가 들떠 있을 확률이 1/(1 + 3) = 1/4이니까, 경우의 수를 세어 얻는 입자 하나당 엔트로피는 −(1/4)ln(1/4) − (3/4)ln(3/4) = 0.5623이야. 모자라는데.

Z는 무엇의 함수죠?

1 + e^(−ε/kT)… 아, T가 들어 있어요. 곱의 미분이라 한 항이 더 나와야 해요. −kT × ∂ln Z/∂T인데 ∂ln Z/∂T = ⟨E⟩/(kT²)이니까 S = k ln Z + ⟨E⟩/T = 0.2877k + 0.2747k = 0.5623k. 이제 맞아요.

정규화 상수라고 부르니까 상수인 줄 안 거지. 온도를 바꾸면 Z도 바뀌어.

(나)는 T = 1에서 S = ln Z + β⟨E⟩에 E = −z를 넣으면 H = logsumexp(z) − ⟨z⟩_p예요. 2.4076 − 1.5752 = 0.8324.

−Σp ln p로 계산하면 확률이 0에 가까운 클래스에서 ln 0을 조심해야 하지만, 이 식은 logsumexp 한 번과 가중 평균 한 번이면 끝나요. 로짓만 있으면 되죠.

이 식은 −ln pᵢ = Eᵢ − F를 p로 평균한 거네요. 놀라움의 평균이 엔트로피고, 놀라움 하나하나는 에너지가 자유에너지보다 얼마나 높은지니까요.