평균 놀라움과 KL ≥ 0

분류 모델을 학습시킬 때 늘 줄이는 cross-entropy loss 안에도, 두 분포가 얼마나 다른지 측정하는 KL 발산 안에도 log가 들어 있다. 「거리」에서 본 KL(p‖q) = Σ pi log(pi/qi)는 데이터가 실제로 따르는 현실 p와 모델 q 사이의, 방향이 있는 차이의 척도라서 두 분포의 자리를 바꾸면 대개 값이 다르다. 그런데 KL(p‖q)라는 숫자는 무엇을 측정하는가? 왜 하필 log인가? 왜 KL은 늘 0 이상인가? 앞의 두 물음, 곧 KL과 log가 무엇을 측정하는지는 정보이론이 세운 답이 있어서 이 장은 그 답을 짧게 다시 확인한다. 그다음 엔트로피를 확률들이 사는 삼각형 위의 높이로 읽고 KL ≥ 0을 증명하는데, 세 물음 가운데 이 장이 끝까지 따라가는 것은 셋째 물음이다. 샘플을 외운 모델의 훈련 손실이 현실의 엔트로피 아래로 내려가는 일은 실제로 생긴다. 모델이 현실보다 평균적으로 덜 놀랄 수는 정말 없을까?

엔트로피: 평균 놀라움

“분포 전체가 얼마나 불확실한지를 숫자 하나로?”

되짚기: 놀라움과 그 평균

확률이 p인 결과 x가 일어났다는 소식의 크기는 놀라움 h(x) = −log p(x)로 측정한다. 확률이 1/8인 결과를 스무고개로 판별하려면 예/아니오 답이 3개 들고, 서로 무관한 두 소식의 확률은 곱해지는데 답의 개수는 더해져야 하므로, 곱을 합으로 바꾸는 −log(의 상수배)만 놀라움의 식으로 남는다. p는 소식을 전해 듣는 사람이 결과 x에 부여한 확률이고, 로그의 밑이 2면 단위가 bit, 자연로그면 nat이다(1 nat ≈ 1.443 bit, 이 책의 식은 대부분 nat).

결과마다의 놀라움을 결과가 나오는 확률로 평균 낸 값이 엔트로피다.

H(p)=−∑ipilog⁡pi=∑ipi h(i)\textcolor{#9467bd}{H}(\textcolor{#d6479f}{p}) = -\sum_i \textcolor{#d6479f}{p}_i \log \textcolor{#d6479f}{p}_i = \sum_i \textcolor{#d6479f}{p}_i\, \textcolor{#9467bd}{h}(i)
H(p)분포 p 의 엔트로피 (평균 놀라움)pi결과 i 의 확률h(i)결과 i 의 놀라움 −log⁡pii결과의 번호 (확률이 0 인 결과는 빼고 더한다)\begin{array}{ll} \textcolor{#9467bd}{H}(\textcolor{#d6479f}{p}) & \text{분포 } p \text{ 의 엔트로피 (평균 놀라움)} \\ \textcolor{#d6479f}{p}_i & \text{결과 } i \text{ 의 확률} \\ \textcolor{#9467bd}{h}(i) & \text{결과 } i \text{ 의 놀라움 } -\log p_i \\ i & \text{결과의 번호 (확률이 0 인 결과는 빼고 더한다)} \end{array}

확률이 0인 결과는 일어나지 않으니 평균에 들어가지 않도록, 0 × log 0 = 0으로 약속한다(p log p가 p → 0에서 0으로 다가가는 극한값과 같다).

후보 넷의 확률이 (½, ¼, ⅛, ⅛)이면 흔한 것부터 물어 평균 ½·1 + ¼·2 + ⅛·3 + ⅛·3 = 1.75번에 끝나고, 이 1.75 bit가 엔트로피다. 질문은 정수 번만 할 수 있어서 가장 잘 짠 질문 전략의 평균 질문 수 L은 H ≤ L < H + 1 (bit)을 지키니, 엔트로피는 평균 질문 수의 하한이다.

심플렉스 위의 높이 지도

결과가 셋인 분포는 확률들이 사는 삼각형(심플렉스) 위의 점 하나이니, 엔트로피는 그 삼각형 위에 높이를 부여하는 지도로 읽을 수 있다. 결과 하나가 거의 확실한 꼭짓점 근처는 물을 것이 거의 없어 높이가 0에 가깝고, 모든 결과가 같은 확률인 한가운데에서는 어느 결과를 먼저 물어도 이득이 없어 가장 높다. 결과가 n가지인 분포의 엔트로피는 모두 같은 확률일 때 가장 크고, 그 최댓값은 log n이다.

직접 움직여 보기

불러오는 중…

호기심 상자: 키나 온도처럼 이어진 값의 엔트로피

후보가 키나 온도처럼 끊김 없이 이어진 값이면 스무고개는 끝나지 않는다. 키를 1 cm 단위로 맞히려면 몇 번이면 되지만, 1 mm 단위로 맞히려면 더 물어야 하고, 단위를 줄일수록 질문 수는 한없이 늘어난다. 그래서 이어진 값에서는 "질문 수"를 그대로 쓸 수 없다.

그래도 퍼진 정도를 측정하는 양은 있다. 연속분포에는 합 대신 적분으로 정의한 미분 엔트로피(differential entropy)를 쓰는데, 엔트로피를 미분한 값이 아니라 연속분포용 엔트로피의 이름이다. 정규분포에서는 다음과 같고, 이산 엔트로피처럼 σ가 클수록 크다.

H=12log⁡ ⁣(2πe σ2)\textcolor{#9467bd}{H} = \frac{1}{2} \log\!\big(2\pi e\, \textcolor{#2e9e6e}{\sigma}^2\big)
H정규분포의 미분 엔트로피 (nat)σ표준편차e자연로그의 밑 2.718…\begin{array}{ll} \textcolor{#9467bd}{H} & \text{정규분포의 미분 엔트로피 (nat)} \\ \textcolor{#2e9e6e}{\sigma} & \text{표준편차} \\ e & \text{자연로그의 밑 } 2.718\ldots \end{array}

다만 σ < 1/√(2πe) ≈ 0.242이면 H는 음수가 된다(σ = 0.1이면 −0.884 nat). 미분 엔트로피는 확률이 아니라 1보다 클 수 있는 확률밀도의 로그를 평균하기 때문이다. 그래서 미분 엔트로피에는 「질문 수」 같은 절대적인 뜻이 없고 단위(cm냐 mm냐)를 바꾸면 값이 바뀌지만, 두 분포의 엔트로피 차이와 뒤에 나올 KL에는 이런 문제가 없다.

이 절의 결론

“엔트로피는 심플렉스(확률들이 사는 삼각형) 위의 높이 지도. 한가운데(균등)가 가장 높다.”

인물 이야기: 힌친과 「왜 하필 이 식인가」

평균 놀라움 −Σ p log p 를 정보의 양으로 처음 내놓은 것은 섀넌(1948)이고, 볼츠만이 기체 분자에서 센 경우의 수의 로그와 형태가 같다. 그런데 불확실성을 측정하는 식이 왜 꼭 이 형태여야 할까? 1948년 논문의 부록은 몇 가지 바라는 성질을 만족하는 함수가 이것뿐이라고 보였지만, 전화선의 속도라는 실용적 결과를 노린 공학 논문이었고 수학자의 눈으로 보면 다듬을 곳이 남아 있었다.

모스크바의 확률론자 알렉산드르 힌친(Aleksandr Khinchin, 1894–1959)은 그 부분을 처음부터 다시 세웠다. 1953년 『수학 과학의 진보(Uspekhi Mat. Nauk)』 8권 3호에 실은 「확률론에서 엔트로피의 개념」에서 그는 불확실성을 측정하는 함수 H 에 네 가지만 요구했다. 확률을 조금 바꾸면 H 도 조금만 변할 것, 결과가 n가지이면 모두 같은 확률일 때 H 가 가장 클 것, 확률이 0인 결과를 하나 보태도 H 가 그대로일 것, 그리고 두 번에 나눠 선택할 때의 H 는 첫 선택의 H 에 둘째 선택의 H 를 그 확률로 평균 내어 더한 값과 같을 것. 네 조건을 함께 만족하는 함수는 상수배를 빼면 −Σ p log p 하나뿐이라는 것이 그가 증명한 정리이고, 오늘날 이 네 조건을 섀넌–힌친 공리라 부른다.

힌친의 네 조건을 엔트로피에서 하나씩 짚은 그림. ① 동전의 엔트로피 곡선은 끊김 없이 이어진다 ② 세 결과의 심플렉스 위 높이 지도는 한가운데(1/3, 1/3, 1/3)가 꼭대기로 log₂ 3 ≈ 1.585 bit ③ (½, ½)에 확률 0인 결과를 보태도 1 bit 그대로 ④ (½, ¼, ¼)를 「첫째인가」와 「나머지 둘 가운데 어느 것인가」로 나눠 고르면 1 + ½ × 1 = 1.5 bit로 한 번에 고를 때와 같다
힌친의 네 조건을 엔트로피에서 하나씩 짚은 그림. ① 동전의 엔트로피 곡선은 끊김 없이 이어진다 ② 세 결과의 심플렉스 위 높이 지도는 한가운데(1/3, 1/3, 1/3)가 꼭대기로 log₂ 3 ≈ 1.585 bit ③ (½, ½)에 확률 0인 결과를 보태도 1 bit 그대로 ④ (½, ¼, ¼)를 「첫째인가」와 「나머지 둘 가운데 어느 것인가」로 나눠 고르면 1 + ½ × 1 = 1.5 bit로 한 번에 고를 때와 같다

1956년의 다른 논문 머리말에서 힌친은, 실용적 결과를 얻는 것이 목표였던 이 이론의 개척자와 첫 제자들이 처음에 수학적 어려움에 충분히 주의를 기울이지 못한 것은 아주 자연스러운 일이었다고 적었다.

이 절의 결론 「한가운데(균등)가 가장 높다」가 바로 힌친의 둘째 조건이다. 높이 지도가 왜 하필 이 모양이냐고 물으면, 바라는 네 성질을 함께 갖춘 높이 지도가 이것 하나뿐이라고 답할 수 있다.

김민준 M03
김민준

섀넌이 1948년 부록에서 이 식뿐이라고 이미 보였는데, 힌친이 5년 뒤에 다시 할 일이 남아 있었어요? 네 조건을 적고 −Σ p log p가 그걸 만족하는지 보면 끝날 것 같은데요.

선생님 T01
선생님

만족하는지 보는 건 쉬워요. 네 조건을 만족하는 함수가 그것 말고는 없다고 보이는 게 어렵죠. 섀넌의 논문은 무엇을 얻으려고 쓴 논문이었죠?

이서연 S01
이서연

전화선으로 얼마나 빨리 보낼 수 있느냐요. 그 답을 내는 식이 손에 있으면 됐으니까, 유일성은 부록에서 짧게 다뤄도 됐겠네요.

선생님 T01
선생님

힌친이 1956년에 남긴 말도 그거예요. 실용적 결과가 목표였던 개척자들이 수학적 어려움에 덜 주의한 건 자연스러웠다고요. 볼츠만의 식과 형태가 같다는 것도, 왜 꼭 이 형태여야 하는지는 말해 주지 않았고요.

김민준 M07
김민준

지금이면 분포를 몇만 개 만들어서 다른 후보 식들이 넷째 조건에서 떨어지는 걸 컴퓨터로 바로 볼 수 있잖아요.

이서연 S01
이서연

그건 우리가 떠올린 후보가 떨어지는 걸 보는 거지. 아무도 떠올리지 못한 함수까지 없다는 건, 몇만 개를 넣어 봐도 알 수 없어.

선생님 T01
선생님

그래서 힌친은 계산 대신 조건 하나하나가 무엇을 막는지 따졌어요. 둘째 조건 「모두 같은 확률일 때 가장 크다」는 위 높이 지도의 어디에 보였죠?

김민준 M08
김민준

삼각형 한가운데가 꼭대기였던 거요. 그러면 높이 지도의 모양은 우리가 선택한 게 아니라 네 조건을 바라는 순간 정해진 거네요. 꼭대기 높이 log n도 네 조건이 정해 주는 건가요?

문제 1. 12면체 주사위의 엔트로피, bit와 nat

면마다 1부터 12까지 적힌 공정한 12면체 주사위의 엔트로피를 bit와 nat으로 각각 구하라. numpy로 계산할 때 어느 함수를 쓰는지, 두 단위를 어떻게 바꾸는지 적어라.

공정한 12면체 주사위: 1부터 12까지 눈마다 확률 1/12
공정한 12면체 주사위: 1부터 12까지 눈마다 확률 1/12

함께 풀기

이서연 S01
이서연

열두 눈이 모두 1/12이니까 엔트로피는 log₂ 12 ≈ 3.585 bit예요.

김민준 M01
김민준

코드로는 -np.sum(p * np.log(p))가 2.485야. np.log는 자연로그라서 이건 nat이고. bit로 받고 싶으면 np.log2를 쓰면 돼.

선생님 T01
선생님

손으로 nat을 bit로 바꿀 때는 ln 2를 곱해요, 나눠요? 헷갈리면 무엇으로 확인할 수 있을까요?

김민준 M01
김민준

일단 스무고개로 해 볼게요. 반씩 나누면 세 번으로는 여덟 개밖에 못 구분하고, 네 번이면 열여섯 개니까 bit는 3과 4 사이여야 해요. 2.485에 ln 2 = 0.693을 곱하면 1.72라 너무 작고, 나누면 3.585라 맞아요.

이서연 S07
이서연

밑 바꾸기 공식 log₂ x = ln x / ln 2 그대로네요. 1 nat이 1/ln 2 ≈ 1.443 bit라서, nat 숫자보다 bit 숫자가 늘 커요.

선생님 T01
선생님

그래요. log₂ 12 = 3.585 bit = ln 12 = 2.485 nat. 같은 엔트로피를 다른 단위로 측정한 거예요. 숫자만 적어 두면 어느 단위인지 알 수 없으니 단위를 꼭 붙여요.

문제 2. 평균이 정해진 분포

결과가 1, 2, 3인 분포 p = (p₁, p₂, p₃)가 있다. (가) 평균 1·p₁ + 2·p₂ + 3·p₃가 2여야 한다면 엔트로피가 가장 큰 분포는? (나) 평균이 2.5여야 한다면 엔트로피가 가장 큰 분포는? 라그랑주 승수법(제약마다 새 미지수 하나를 곱해 목적식에 더한 뒤, 모든 변수로 미분한 값이 0이 되는 점을 찾는 방법)으로 풀고, 답이 정말 최댓값인지도 확인하라.

결과 1, 2, 3의 분포가 사는 삼각형(심플렉스)과, 그 위에서 평균이 2인 분포들(실선)과 2.5인 분포들(파선)이 놓인 선분
결과 1, 2, 3의 분포가 사는 삼각형(심플렉스)과, 그 위에서 평균이 2인 분포들(실선)과 2.5인 분포들(파선)이 놓인 선분

함께 풀기

이서연 S01
이서연

(가)는 균등분포요. 조건이 없어도 균등분포가 가장 크고, 그 평균이 (1 + 2 + 3)/3 = 2라서 조건을 이미 만족하니까요.

김민준 M01
김민준

(나)는 격자 탐색으로 풀었어요. 평균이 2.5면 p₃ − p₁ = 0.5라서 p₁ 하나만 0.01 간격으로 돌리면 돼요. (0.12, 0.26, 0.62)에서 엔트로피 0.901 nat이 최대예요.

선생님 T01
선생님

0.01 간격 사이에 더 큰 값은 없어요?

김민준 M01
김민준

없을 것 같은데… 장담은 못 해요. 간격을 줄이면 소수 셋째 자리가 움직일 수도 있고요.

이서연 S01
이서연

라그랑주로 하면 정확히 나와요. 두 조건에 계수 α, λ(람다)를 붙인 −Σpi log pi − α(Σpi − 1) − λ(Σ i·pi − 2.5)를 pi로 미분하면 −log pi − 1 − α − λi = 0. 그러니까 pi ∝ ri 형태, 이웃한 확률의 비가 일정해요.

김민준 M01
김민준

비가 일정하다는 것만으로는 숫자가 안 나오잖아요. r은 어떻게 정해요?

이서연 S01
이서연

남은 두 조건에 넣으면 돼요. 비를 r이라 하면 p₁(r² − 1) = 0.5, p₁(1 + r + r²) = 1이라서 r² − r − 3 = 0, r = (1 + √13)/2 ≈ 2.303이에요. p ≈ (0.116, 0.268, 0.616), 엔트로피 0.901 nat이요.

선생님 T01
선생님

민준 학생 격자 답이 거의 맞았네요. 그런데 서연 학생, 미분이 0인 점을 찾았어요. 그게 최댓값이라는 건요?

이서연 S04
이서연

엔트로피가 오목함수니까… 아, 조건이 걸린 영역에 경계가 있어요. p₁ = 0이면 (0, 0.5, 0.5), p₂ = 0이면 (0.25, 0, 0.75). 라그랑주는 경계에서의 최댓값을 못 봐요.

이서연 S01
이서연

경계 값을 계산해 보면 0.693, 0.562예요. 안쪽 0.901보다 작아요. 사실 −p log p를 p로 미분하면 −log p − 1이라서 p → 0에서 +∞예요. 경계에서 조금만 안으로 들어와도 엔트로피가 늘어나니까 경계는 최대가 될 수 없어요.

김민준 M07
김민준

pi ∝ ri면 pi ∝ exp(λ′·i)잖아요. 이거 softmax 모양이에요. 평균 조건 하나 걸었더니 softmax가 나왔네요.

선생님 T01
선생님

그래요. 제약 아래 엔트로피를 가장 크게 하면 지수 형태가 나와요. 이 형태에는 이름이 따로 있고, 앞으로 여러 번 다시 만나게 돼요.

이서연 S01
이서연

안쪽에서 그래디언트가 0인 점을 찾으면 경계도 같이 계산해 봐야 한다는 걸 알면서, 막상 제가 빠뜨렸네요.

위젯에서 확인 → 위 엔트로피 심플렉스 위젯의 「문제 2: 평균 2.5인 분포만」 단추를 누르면 점 p가 평균이 2.5인 분포들 위로만 움직인다.

문제 3. 샘플링 온도와 엔트로피

언어 모델이 다음 토큰 후보 셋에 로짓(softmax에 넣기 전의 점수) (0, 1, 2)를 냈다. 샘플링할 때는 로짓을 온도 T로 나눈 뒤 softmax를 취해 후보마다의 확률을 만든다. (가) T = 1일 때 세 확률과 엔트로피(nat)를 구하라. (나) T를 0 쪽으로, 또 아주 크게 보내면 엔트로피는 어디로 가는가? (다) 앞 문제 (나)의 답 (0.116, 0.268, 0.616)이 나오는 T는 얼마인가?

후보 셋의 로짓 (0, 1, 2)를 온도 T로 나눠 softmax에 넣는 과정과, 물어보는 세 온도
후보 셋의 로짓 (0, 1, 2)를 온도 T로 나눠 softmax에 넣는 과정과, 물어보는 세 온도

함께 풀기

김민준 M01
김민준

코드로 했어요. T = 1이면 (0.090, 0.245, 0.665), 엔트로피 0.832 nat. T = 0.5면 (0.016, 0.117, 0.867)로 뾰족해져서 0.441, T = 2면 1.020. T가 크면 퍼지고 작으면 뾰족해요. (나)는 T → 0이면 0이고, T → ∞이면 한없이 커지겠죠?

선생님 T01
선생님

결과가 셋인 분포의 엔트로피는 어디까지 커질 수 있었죠?

김민준 M01
김민준

아, 셋이 균등하면 끝이에요. ln 3 ≈ 1.099 nat. 온도를 아무리 올려도 균등분포보다 퍼질 수는 없네요.

이서연 S01
이서연

(다)는 앞 문제랑 이어져. 거기서 답이 pi ∝ ri, r ≈ 2.303이었잖아. 로짓 (0, 1, 2)를 T로 나누면 확률이 exp(i/T)에 비례하니까 1/T = ln r, T = 1/ln 2.303 ≈ 1.20.

이서연 S06
이서연

그런데 이상해요. 앞 문제는 "평균이 2.5"라는 조건에서 엔트로피를 가장 크게 한 거였는데, 여기는 그런 조건을 준 적이 없잖아요. 온도만 바꿨는데 왜 같은 분포가 나와요?

선생님 T01
선생님

T = 1.20일 때 이 softmax의 평균 1·p₁ + 2·p₂ + 3·p₃를 계산해 보세요.

이서연 S01
이서연

0.116 + 0.536 + 1.848 = 2.5요. 온도를 하나 선택하면 평균이 하나 정해지고, 그 평균을 지키는 분포 가운데 엔트로피가 가장 큰 것이 바로 그 softmax예요. 온도를 돌리는 건 평균 조건을 바꿔 가며 가장 퍼진 분포를 선택하는 거네요.

김민준 M01
김민준

챗봇 설정에서 temperature를 올리면 답이 불규칙해지는 게 이거였군요. 평균 조건이 느슨한 쪽으로 옮겨 가면서 더 퍼진 분포를 선택하는 거니까요.

이서연 S01
이서연

평균만 알고 나머지는 모를 때 가장 덜 가정한 분포를 선택하면 이 형태가 되고, 평균을 바꿔 가며 그 분포를 선택하는 파라미터가 온도 T였네요.