자주 하는 실수와 요약
자주 하는 실수
| 실수 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 평균에 가장 가까운 값을 가장 흔한 값으로 봄 | 1 | 하나 늘릴 때의 비(경우의 수의 비 × 볼츠만 인자)가 1 아래로 떨어지는 자리가 가장 흔한 값이다 |
| 입자가 많기만 하면 승자와 평균이 맞는다고 봄 | 2 | 큰 계라는 말은 들뜬 입자 수 자체가 클 때 맞다 |
| 하나하나가 작은 항을 개수와 상관없이 무시함 | 3, 4 | 합은 가장 큰 항과 가장 큰 항 × 개수 사이에 있다. 작은 항도 수가 많으면 몫을 벌어 온다 |
| 에너지가 늘어나면 저절로 일어날 수 없다고 봄 | 5 | F = E − TS. 엔트로피가 ΔE/T보다 더 늘면 F가 내려간다 |
| 높은 온도에서 F의 1차 항을 버림 | 6 | ⟨E⟩는 뜨거워도 ε/2에 가깝게 남는다. F = ⟨E⟩ − TS의 두 항을 함께 본다 |
| 정답 로짓을 올리는 동안 F를 고정해 둠 | 7 | F = −logsumexp도 로짓과 함께 움직인다. 손실은 0 아래로 내려가지 않는다 |
| 자유에너지를 온도로 미분할 때 ln Z를 상수로 둠 | 8 | Z는 온도의 함수다. S = k(ln Z + β⟨E⟩) |
| 엔트로피가 가장 큰 분포가 엔트로피를 더한 목표도 가장 크게 한다고 봄 | 9 | 두 항의 기울기 합이 0인 곳, 곧 온도 1의 softmax가 답이다 |
| 계수 τ를 붙인 식의 최댓값을 ln Σe^(z/τ)로 씀 | 10 | 최댓값은 τ ln Σe^(z/τ). nat에 온도를 곱해야 로짓(에너지) 단위가 된다 |
| 운동에너지가 같으면 속력이 질량에 반비례한다고 봄 | 11 | ½mv²가 같으니 속력은 질량의 제곱근에 반비례한다 |
| 계수가 25배면 흔들리는 폭도 25분의 1이라고 봄 | 12 | 분산이 25분의 1, 폭(표준편차)은 5분의 1이다. 평균 에너지는 계수와 상관없이 ½kT |
| 등분배를 모든 에너지 모양에 씀 | 12 | 제곱 항이고 변수가 연속일 때만. 절댓값의 n제곱이면 kT/n, 덩어리가 kT보다 크면 얼어붙는다 |
| 가장 큰 항끼리만 견주어 가게의 인기를 판단함 | 13 | 가게에 오는 손님 수는 모든 메뉴의 e^(점수) 합, 곧 가장 좋은 메뉴 몇 개어치인지가 정한다 |
| softmax 신뢰도가 높은 입력을 흔한 입력으로 봄 | 14 | 입력이 얼마나 흔한지는 F(x) = −logsumexp가 잰다. 신뢰도의 로그는 −ln(가장 좋은 라벨 몇 개어치) |
| 입력마다 로짓에 다른 상수를 더하는 것을 기준점 이동으로 봄 | 14 | 기준점은 모든 (x, y)에 같은 상수를 더할 때만 자유롭다 |
| q와 사전분포의 KL이 0이면 ELBO가 로그우도라고 봄 | 15 | 틈은 q와 사후분포 사이의 KL이다 |
| 우도가 가장 큰 잠재변수 하나에 q를 몰아줌 | 15 | 엔트로피를 잃는다. 최적의 q는 이 계의 볼츠만 분포인 사후분포다 |
| β가 다른 목적 함수의 최댓값을 로그우도의 하한처럼 비교함 | 16 | β ≠ 1이면 다른 온도의 자유에너지다. 참값보다 커질 수도 있다 |
요약
미시상태 하나의 확률은 에너지가 정하지만, 관찰되는 에너지는 에너지와 그 에너지를 가진 상태의 수가 함께 정한다. 에너지 값마다 점수 ln g(E) − βE를 매기면 ln Z는 점수들의 logsumexp이고, 계가 크면 가장 큰 점수로 거의 정해진다. 여기에 −kT를 곱한 자유에너지 F = −kT ln Z는 큰 계에서 min_E(E − TS(E)), 곧 온도를 환율 삼아 에너지와 엔트로피가 겨룬 결과이며, 이 최소화는 계와 열원을 합친 전체 엔트로피의 최대화와 같다. 볼츠만 분포로는 F = ⟨E⟩ − TS가 정확히 성립하고, F(T)는 E(S)를 기울기 T로 다시 쓴 르장드르 변환이며, ln Z를 β로 미분하면 평균 에너지와 엔트로피가 나온다. 아무 분포 p의 자유에너지 ⟨E⟩_p − kT H(p)는 F보다 정확히 kT·D_KL(p‖볼츠만 분포)만큼 크므로, 볼츠만 분포가 유일한 최솟값이고 엔트로피 항의 계수가 온도다. 제곱 항 하나는 계수와 상관없이 ½kT를 받지만 변수가 연속일 때만 그렇고, 변수 일부를 합쳐 없애면 남은 변수는 합쳐 없앤 쪽의 자유에너지를 에너지로 갖는다. ML에서는 ELBO가 근사 분포의 음의 자유에너지이고 그 틈이 사후분포와의 KL이며, β-VAE의 β는 온도다. 분류기의 −logsumexp와 RBM의 free_energy는 라벨이나 숨은 유닛을 합쳐 없앤 입력의 자유에너지다.
막힌 곳
이제 우리는 에너지와 경우의 수의 겨루기에서 누가 이기는지 안다. 승자는 E − TS를 가장 작게 하는 에너지이고, 그 최솟값이 자유에너지 −kT ln Z이며, ln Z를 역온도로 한 번 미분하면 승자의 에너지가 마이너스를 달고 나온다. 그런데 승자 혼자서 Z를 채운 것은 아니었다. ln Z와 가장 큰 항의 차이는 입자 수가 10배 늘 때마다 ½ ln 10씩 자랐고, 그 차이는 승자 근처에서 함께 더해지는 항들이 이루는 봉우리의 폭을 재고 있었다. 3072차원 가우시안 샘플의 에너지도 정확히 1536이 아니라 샘플마다 수십씩 흔들렸다. 평형에 있는 계의 에너지는 평균 주위로 얼마나 흔들리는가? 우리는 ln Z를 한 번만 미분했는데, 흔들림의 크기도 ln Z 어딘가에 적혀 있을까? 그리고 온도를 조금 올렸을 때 평균 에너지가 얼마나 늘어나는지와 이 흔들림은 무슨 관계일까?