자주 하는 실수와 요약
자주 하는 실수
| 실수 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 용돈을 반반 나누면 가장 좋다고 봄 | 1 | 총량이 아니라 마지막 한 단위의 쓸모가 같아지는 곳에서 멈춘다 |
| 거시상태에 같은 확률을 줌 | 2 | 같은 확률은 미시상태에만. 거시상태는 W에 비례 |
| 가장 흔한 분배를 법칙으로 봄 | 2 | 작은 계에서는 흔들림이 크다. 큰 계에서만 거의 확실해진다 |
| 온도를 칸 하나의 평균 에너지로 봄 | 3 | 온도는 환율이다. 덩어리가 드물면 칸당 에너지가 kT보다 훨씬 작다 |
| 평형에서 에너지가 같아진다고 봄 | 2, 4 | 같아지는 것은 β(온도). 욕조와 커피 한 컵 |
| β가 큰 쪽이 뜨겁다고 봄 | 5 | β는 온도의 역수. β가 큰 쪽이 에너지를 받는다 |
| 곱해진 상수를 미분에서 버림 | 6 | 더해진 상수만 사라진다 |
| 편미분에서 고정한 변수까지 움직임 | 6 | 아래첨자는 고정한 변수 목록 |
| n으로 미분하고 E로 바꾸지 않음 | 7 | 체인룰. β의 단위는 1/에너지 |
| dp/dn = 1/N 누락 | 7 | 계를 두 배로 키워도 β가 그대로인지 확인 |
| 음의 온도를 숫자 크기로 줄 세워 가장 차갑다고 봄 | 8 | β 축에서는 −∞ 쪽이 가장 뜨겁다 |
| 입자가 적은 계에서 큰 수의 어림식 값을 그대로 믿음 | 8 | 직접 세어 견준다. 방향은 맞아도 크기는 다를 수 있다 |
| T의 불연속을 물리의 붕괴로 봄 | 8 | β는 0을 연속으로 지난다 |
| 온도가 무한대면 유닛이 모두 켜진다고 봄 | 9 | 로짓 −ε/kT가 0이 되어 켜질 확률은 1/2. 1/2을 넘으려면 음의 온도 |
| 레이팅 척도를 두 배로 할 때 승산을 반으로 나눔 | 10 | 척도는 로그 승산(레이팅 차)을 나눈다. 승산은 제곱근이 된다 |
| softmax 이후 확률을 τ로 나눔 | 11 | 온도는 로짓(에너지)을 나눈다 |
| 재는 단위나 보상의 크기를 바꾸고 β는 그대로 둠 | 12, 13 | β는 환율이라 단위가 있다(점/분, 보상/nat). 보상을 10배 하면 β도 10배 |
요약
에너지를 주고받는 두 계는 전체 경우의 수가 가장 큰 분배에서 멈추고, 그곳에서는 두 계의 β = ∂ ln W/∂E가 같다. 이 β를 역온도라 하고 그 역수를 온도로 정의하면, 영번째 법칙과 열이 뜨거운 쪽에서 차가운 쪽으로 흐른다는 사실, 그리고 클라우지우스의 ΔS = Q/T가 모두 이 정의에서 따라 나온다. 다시 말해 온도는 에너지와 경우의 수(nat) 사이의 환율이다. ML에서 만나는 softmax의 τ, SAC의 α, RLHF의 β도 로짓이나 보상과 nat 사이의 같은 환율이다. 환율이므로 단위가 있어서, 보상의 크기를 바꾸면 α와 β도 같은 배율로 바꿔야 같은 학습이 된다. 끝으로 β는 음의 온도까지 끊김 없이 다룰 수 있으므로, T보다 더 기본적인 변수라고 할 수 있다.
막힌 곳
이제 우리는 두 큰 계가 에너지를 나눌 때 어디서 멈추는지, 그리고 온도가 무엇인지 말할 수 있다.
그런데 돌아보면 이 장에서 다룬 계는 모두 에너지가 덩어리로 오가는 이산적인 계였고, 이상기체의 엔트로피는 결과만 빌려 썼다. 그렇다면 원자의 위치와 속도처럼 연속으로 변하는 것들의 "경우의 수"는 어떻게 세야 할까? 더 근본적으로는, 우리는 아직 에너지가 무엇인지조차 정의한 적이 없다.