파라미터 공간의 곡률

로그 그래디언트: 확률의 그래디언트에 log가 붙는 이유

강화학습(보상을 보고 행동을 고쳐 나가는 학습)에서 모델은 상황 s마다 행동 a를 고를 확률 π(a|s)를 가진다. 이 확률을 정책이라 부른다. 보상을 더 받도록 정책을 고치는 그래디언트인 정책 그래디언트의 공식에는 늘 ∇log π가 나온다. 왜 그냥 ∇π가 아닐까?

연봉 인상률: 절대 변화와 상대 변화

연봉이 3000만원인 사람의 300만원 인상과 3억인 사람의 300만원 인상은 같은 300만원이지만 의미가 완전히 다르다. 절대 변화량(∇p)보다 상대 변화율(∇p/p = ∇log p)이 "진짜 변화의 크기"다.

왜 π로 나누는가

연봉 이야기는 느낌이니, 정책이 행동 a를 확률 π(a)로 고르고 보상 r(a)를 받는 구조로 따져 보자. 평균 보상을 올리고 싶으면 평균 보상의 그래디언트가 필요하고, 그 그래디언트는 행동마다 ∇π(a) · r(a)를 모두 더한 값이다. 그런데 모든 행동을 다 해 볼 수는 없고, 손에 있는 것은 정책이 실제로 고른 행동 몇 개뿐이다. 그 샘플의 평균으로 합을 추정하려면, 각 항을 그 행동이 뽑힐 확률로 나눠 두어야 한다. 드물게 뽑히는 행동은 드물게 나오는 만큼 크게 쳐 주어야 합이 맞기 때문이다.

가운데 식에서 π를 곱하고 나눈 것은 합을 "π에서 뽑은 샘플의 평균"으로 바꾸기 위해서다. 남은 ∇π/π가 바로 ∇log π다. 로그는 편하려고 붙인 것이 아니라, 샘플로 그래디언트를 추정하려면 반드시 붙는다. 희귀한 행동의 신호가 커지는 것은 그 결과다.

ML에서: 정책 그래디언트와 기준값

스코어 함수 ∇_θ log p(x|θ)는 "파라미터를 살짝 바꿨을 때, 이 데이터가 나올 확률이 비율적으로 얼마나 변하는가"를 잰다. 정책 그래디언트 ∇_θ log π(a|s)에서는, π(a|s) = 0.001인 희귀 행동이 큰 보상을 줬을 때 ∇π로는 신호가 묻히지만 ∇log π = ∇π / π 에서는 작은 π로 나눠지면서 신호가 증폭된다. “희귀하지만 좋았던 행동을 놓치지 않는 장치.”

강화학습은 흔히 보상을 그대로 쓰지 않고, 평균 보상 같은 상수(기준값)를 뺀 뒤 그래디언트를 추정한다. 보상을 바꾸면 그래디언트도 바뀌지 않을까, 그런데도 왜 기준값을 빼는 걸까? 빼도 되는지와 빼서 무엇을 얻는지는 아래 문제 12에서 직접 셈해 본다.

파이썬

행동이 둘인 밴딧(한 번 고르고 보상을 받는 가장 단순한 강화학습 문제)에서 softmax 정책의 한 로짓 z만 움직인다. 희귀한 행동일수록 ∇π는 사라지고 ∇log π는 1 근처에 남는다.

import numpy as np

# 2-행동 밴딧, softmax 정책. 행동 1의 로짓 z 만 파라미터로 본다.
for z in [0.0, -3.0, -6.9]:
    pi1 = 1 / (1 + np.exp(-z))                 # π(행동1) = e^z / (e^z + e^0)
    d_pi = pi1 * (1 - pi1)                     # ∂π/∂z
    d_logpi = 1 - pi1                          # ∂log π/∂z = (∂π/∂z) / π
    print(f"π = {pi1:.4f}   ∂π/∂z = {d_pi:.4f}   ∂log π/∂z = {d_logpi:.4f}   비율 {d_logpi / d_pi:7.1f}")
# π = 0.5000   ∂π/∂z = 0.2500   ∂log π/∂z = 0.5000   비율     2.0
# π = 0.0474   ∂π/∂z = 0.0452   ∂log π/∂z = 0.9526   비율    21.1
# π = 0.0010   ∂π/∂z = 0.0010   ∂log π/∂z = 0.9990   비율   993.3

π = 0.001인 행동에서 두 신호의 차이는 약 천 배, 곧 1/π다.

π가 작아질수록 ∂π/∂z는 π와 함께 0으로 사라지지만, ∂log π/∂z는 1 근처에 남는다. 두 곡선의 세로 간격이 곧 1/π배다.

정보기하학과의 연결

이 장에서 우리는 ∇log p의 분산이 피셔 정보임을 보았다. 피셔 정보 행렬 = E[∇log p · ∇log pᵀ]. “∇log p가 재료라면, 그 재료로 만든 분산이 파라미터 공간의 계량이 된다.” 그리고 피셔 계량으로 잰 같은 크기의 스텝 가운데 손실을 가장 많이 줄이는 방향으로 가는 것이 자연 그래디언트(natural gradient)다.

이 절의 결론

“확률의 그래디언트에 log가 붙는 것은, 정책이 뽑은 샘플로 모든 행동에 대한 합을 추정하려면 뽑힐 확률로 나눠야 하기 때문이다. ∇log π = ∇π/π가 그 나눗셈이고, 희귀한 행동의 신호가 커지는 것은 그 결과다. ∇log p의 분산이 피셔 정보이고, 피셔 정보가 이 장의 계량이다.”

문제 11. 같은 0.01%p, 다른 뉴스

두 뉴스가 있다. 어느 희귀병에 걸릴 확률이 0.10%에서 0.11%로 올랐고, 감기에 걸릴 확률이 30.00%에서 30.01%로 올랐다. (가) 두 경우 모두 확률은 0.01%p 올랐다. 인구 100만 명인 도시에서 환자는 각각 몇 명 늘어나는가? (나) 길에서 그 병에 걸린 사람 한 명을 만났다. 이 한 사람은 "확률이 올랐다"는 쪽을 "그대로다"는 쪽보다 몇 배 더 지지하는가(두 확률의 비)? (나)에서 구한 두 확률의 비의 자연로그는 얼마인가? (다) (나)의 로그 값을 확률의 변화 0.0001로 나누고, 1/(원래 확률)과 비교하라.

함께 풀기

(가)는 100만 × 0.0001 = 100명씩이에요. 늘어난 환자 수가 똑같으니 같은 크기의 뉴스죠.

그럼 (나)요. 환자 한 명을 만났을 때 두 뉴스는 똑같이 들려요?

희귀병은 0.0011 / 0.0010 = 1.1배, 감기는 0.3001 / 0.3000 = 1.00033배예요. 자연로그로는 0.0953과 0.00033이고요.

희귀병 환자 한 명은 “올랐다” 쪽을 10% 더 지지하는데, 감기 환자 한 명은 거의 아무 말도 안 하네요. 같은 100명이 늘었는데 왜 그렇게 달라요?

그 100명이 원래 환자 수에서 차지하는 비율은요?

희귀병 환자는 원래 1,000명이니까 10%가 늘었고, 감기 환자는 30만 명이니까 0.03%예요. 같은 100명이 희귀병에서는 큰 비율이네요.

(다)는 0.0953 / 0.0001 = 953이고 1/0.001 = 1000. 감기는 3.33과 3.33이에요.

둘 다 1/p 가까이 나왔네요. 왜 그럴까요?

로그 확률의 변화를 확률의 변화로 나눈 거니까… d log p/dp를 근사한 거예요. 그게 1/p고요.

그럼 희귀병만 953으로 조금 어긋난 건?

0.0001이 원래 확률의 10%라서, 아주 작은 변화라고 보기 어려워서야.

그래요. 확률의 그래디언트에 1/p를 곱하면, 드문 일에서 생긴 작은 변화가 크게 드러나요. ∇log π가 하는 일이 이거예요.

10점 받던 친구가 11점을 받은 것과 90점 받던 친구가 91점을 받은 걸 똑같이 "1점 올랐다"고 보고서에 쓰면 안 되는 거랑 같네요.

문제 12. 기준값을 빼도 되는가

행동이 둘인 밴딧에서 정책이 행동 1을 확률 π₁ = 0.2로, 행동 2를 0.8로 고른다(행동 1의 로짓 z 하나로 정해지는 softmax 정책). 행동 1의 보상은 3, 행동 2의 보상은 1이고, 행동을 하나 뽑아 g = (r − b) × ∂log π/∂z로 그래디언트를 추정한다. 여기서 ∂log π₁/∂z = 1 − π₁, ∂log π₂/∂z = −π₁이다. (가) b = 0일 때 두 행동에서 g는 각각 얼마이고, g의 평균과 분산은 얼마인가? 평균이 평균 보상 3π₁ + 1 × (1 − π₁)을 z로 미분한 참 그래디언트와 같은지 확인하라. (나) b = 1.4(평균 보상)일 때 같은 것을 구하라. (다) b = 10이면 어떻게 되는가? b는 어떻게 고르는 것이 좋은가?

함께 풀기

(가)는 행동 1이면 3 × 0.8 = 2.4, 행동 2면 1 × (−0.2) = −0.2. 평균은 0.2 × 2.4 + 0.8 × (−0.2) = 0.48 − 0.16 = 0.32예요. 참 그래디언트는 2 × π₁(1 − π₁) = 2 × 0.16 = 0.32. 맞네요. 분산은 0.2 × 5.76 + 0.8 × 0.04 − 0.32² = 1.08이고요.

(나)는 보상에서 1.4를 빼면 보상이 바뀌니까 그래디언트도 바뀌겠죠. 목표가 달라지잖아요.

계산해 보고 말해요.

행동 1은 1.6 × 0.8 = 1.28, 행동 2는 −0.4 × (−0.2) = 0.08. 평균은 0.256 + 0.064 = 0.32. b = 0일 때와 같아요. 왜죠?

빼는 부분만 따로 보면 −b × (∂log π/∂z의 평균)이야. 그 평균은 0.2 × 0.8 + 0.8 × (−0.2) = 0이고. 문제 2에서 본 스코어의 평균 0이랑 같은 거야. 무엇을 빼도 평균에서는 사라져.

평균이 같다면 무엇이 달라졌어요?

분산이요. 0.2 × 1.28² + 0.8 × 0.08² − 0.32² = 0.23. b = 0일 때 1.08의 5분의 1쯤이에요. 같은 샘플 수로 참 그래디언트에 훨씬 가까이 붙어요.

(다)는 b = 10이면 −5.6과 1.8이라 평균은 −1.12 + 1.44 = 0.32로 또 그대로인데, 분산이 8.76이에요. 아무 값이나 빼면 오히려 나빠지네요. 그러면 b는 어떻게 골라야 하죠?

두 행동의 g가 서로 다를수록 출렁이는 거죠. 둘을 같게 만드는 b가 있을까요?

두 행동의 g가 같아지려면 (3 − b) × 0.8 = (1 − b) × (−0.2)… 이걸 풀면 b = 2.6이에요.

그럼 그때 g는 두 행동에서 얼마야?

둘 다 0.32야. 분산이 0이고, 어느 행동을 뽑아도 참 그래디언트 0.32가 그대로 나와.

행동이 둘뿐이라 가능한 일이에요. 행동이 많고 보상도 흔들리는 실제 문제에서는 분산을 0으로 만들 수 없어서, 흔히 (나)처럼 평균 보상을 기준값으로 써요. 그것만으로도 분산이 5분의 1이 됐고요.

모의고사 원점수 대신 평균과의 차이를 보면 과목마다 다른 난이도가 빠지고 내가 잘했는지 못했는지만 남는 거랑 같네요. 기준값이 평균을 안 바꾸는 건 문제 2의 식이고, 분산을 줄이는 건 기준값을 잘 골라야 하는 일이었어요.