GAE: 둘 사이를 λ로 잇는다

MC는 편향이 없는 대신 분산이 크고, TD는 분산이 작은 대신 비평가가 틀린 만큼 편향된다. 학습은 응답마다, 토큰마다 이 추정을 되풀이하므로 편향과 분산 가운데 어느 오류를 받아들일지는 매번 따라오는 선택이다. 둘 중 하나만 골라야 할까, 아니면 가까운 미래는 실제 결과를 보고 먼 미래만 비평가에 맡기는 중간은 없을까?

역사: 버클리의 절충

MC와 TD 사이의 중간을 파라미터 λ 하나로 고를 수 있게 만든 것이 UC 버클리의 존 슐먼(John Schulman)과 동료들(모리츠 Philipp Moritz, 레빈 Sergey Levine, 조던 Michael Jordan, 아빌 Pieter Abbeel)이 2016년 ICLR에 발표한 GAE다. 그들이 겨냥한 것은 시뮬레이션 속 로봇이었다. 두 다리·네 다리 로봇이 관절에 주는 힘만으로 달리게 하고, 누운 자세에서 일어서게 하는 일이다. 정책 그래디언트로 이런 일을 배우려면 샘플이 너무 많이 든다는 것이 큰 걸림돌이었고, 그들은 가치함수로 분산을 크게 줄이는 대신 편향을 조금 받아들이기로 했다. 두 다리 로봇이 달리기를 배우는 데 든 시뮬레이션 경험은 실제 시간으로 1~2주 분량이었다. 같은 슐먼이 이듬해 내놓은 PPO(비평가를 쓰는 정책 그래디언트의 대표 방법)와 함께 쓰이며, GAE는 언어 모델 RLHF에서 어드밴티지를 계산하는 기본 방법이 됐다.

그림은 그 절충을 장난감 값으로 그린 것이다(GAE 논문의 수치가 아니다). $\textcolor{#993600}{\lambda}$ 를 1 쪽으로 올릴수록 비평가가 틀려서 생기는 편향은 줄고 보상 노이즈가 쌓이는 분산은 커져서, 둘을 더한 오차는 양 끝에서 크고 그 사이에서 가장 작다.

두 다리 로봇이 달리기를 배우는 데 1~2주 분량이면 생각보다 짧은데요? 사람 아기는 걷는 데만 1년쯤 걸리잖아요.

그 1~2주는 시뮬레이션 속 시간이에요. 실제 로봇 다리로 같은 경험을 쌓으려면요?

2주 내내 쉬지 않고 넘어지고 일어나야 하네요. 관절이 먼저 망가지겠어요.

그러니까 샘플을 줄이는 일이 계산 시간을 아끼는 정도가 아니었던 거네요. 그런데 λ로 섞는다는 생각은 GAE가 처음이에요?

λ로 섞는 생각은 서튼의 1988년 TD(λ)에 이미 있었어요. 다만 그건 가치를 예측하는 쪽의 이야기였어요. 정책을 고치는 어드밴티지에 그대로 넣으면 편향이 얼마나 생기는지는 따로 따져야 했죠.

몇 스텝까지는 실제 보상을 보고 그 뒤는 비평가에 맡긴다고 할 때, 그 경계를 한 곳에 딱 긋지 않고 부드럽게 섞을 수는 없어요?

λ로 더하는 TD 오차

GAE(Generalized Advantage Estimation)는 두 극단 사이를 연속적으로 잇는다. TD 오차를 앞으로 쭉 더하되, 멀어질수록 $\textcolor{#993600}{\lambda}$ (람다)배씩 줄인다.

\textcolor{#8e44ad}{\hat A_t^{\text{GAE}(\gamma, \lambda)}} = \sum_{l=0}^{\textcolor{#915a08}{T}-t-1} (\textcolor{#7a1f5a}{\gamma}\textcolor{#993600}{\lambda})^l\, \textcolor{#8e44ad}{\delta_{t+l}} \qquad \Big(\text{재귀로: } \textcolor{#8e44ad}{\hat A_t} = \textcolor{#8e44ad}{\delta_t} + \textcolor{#7a1f5a}{\gamma}\textcolor{#993600}{\lambda}\, \textcolor{#8e44ad}{\hat A_{t+1}}\Big)

\small\begin{array}{ll} \textcolor{#8e44ad}{\hat A_t} & \text{GAE 어드밴티지} \\ \textcolor{#8e44ad}{\delta_{t+l}} & l\text{스텝 뒤의 TD 오차} \\ \textcolor{#993600}{\lambda} & \text{0이면 TD(비평가를 믿음), 1이면 몬테카를로(결과를 기다림)} \\ \textcolor{#7a1f5a}{\gamma} & \text{할인율} \end{array}

$\textcolor{#993600}{\lambda} = 0$ : $\textcolor{#8e44ad}{\hat A_t} = \textcolor{#8e44ad}{\delta_t}$ (순수 TD).
$\textcolor{#993600}{\lambda} = 1$ , $\textcolor{#7a1f5a}{\gamma} = 1$ : TD 오차의 합이 망원경처럼 접혀서(telescoping) $\sum_l \textcolor{#8e44ad}{\delta_{t+l}} = \textcolor{#d9670b}{R} - \textcolor{#00897b}{V}(\textcolor{#0093b8}{s_t})$ (순수 MC).

중간의 $\textcolor{#993600}{\lambda}$ 는 "가까운 미래는 실제 결과를 보고, 먼 미래는 비평가를 믿는다"는 절충이다.

위젯에서 해볼 것:

오답 응답, 비평가 완벽에서 $\textcolor{#993600}{\lambda}$ 를 1 → 0으로 내려 보라. $\textcolor{#993600}{\lambda} = 1$ 에서는 모든 토큰이 벌을 받지만, $\textcolor{#993600}{\lambda} = 0$ 에서는 "24"에만 큰 음수가 몰리고 "10 × 3"은 오히려 상을 받는다.
비평가 오차를 올리고 다시 $\textcolor{#993600}{\lambda} = 0$ 을 보라. 마름모(진짜 기여도)와 막대가 어긋난다. $\textcolor{#993600}{\lambda} = 1$ 쪽 막대는 비평가 오차에 훨씬 덜 영향을 받는다.

ML에서: 언어 모델의 기본값

GAE를 처음 내놓은 논문도 $\textcolor{#993600}{\lambda}$ 를 0부터 1까지 바꿔 가며 수레 위 막대 세우기를 배우게 해 보았다. 가장 빨리 배운 것은 양 끝이 아니라 0.92~0.98 사이였고, 언어 모델 RLHF의 흔한 기본값도 $\textcolor{#7a1f5a}{\gamma} = 1$ , $\textcolor{#993600}{\lambda} = 0.95$ 다. 보상이 응답 끝에 한 번만 오므로 할인할 이유가 없고, $\textcolor{#993600}{\lambda}$ 는 1 쪽에 두어 학습 초기의 부정확한 비평가에 덜 기댄다. 비평가를 학습할 때의 목표값도 보통 이 GAE 어드밴티지에 가치를 더한 $\textcolor{#5d4037}{\hat G_t} = \textcolor{#8e44ad}{\hat A_t} + \textcolor{#00897b}{V_\phi}(\textcolor{#0093b8}{s_t})$ ( $\textcolor{#993600}{\lambda}$ -리턴: GAE로 섞어 만든 '앞으로 받을 점수’의 추정)를 쓴다. 비평가를 학습하는 제곱 손실 $\sum_t \big(\textcolor{#00897b}{V_\phi}(\textcolor{#0093b8}{s_t}) - \textcolor{#5d4037}{\hat G_t}\big)^2$ 의 목표값 $\textcolor{#5d4037}{\hat G_t}$ 가 바로 이 $\textcolor{#993600}{\lambda}$ -리턴이다.

트릭의 뿌리 · 막연한 오차를 편향과 분산으로 나눈다

「추정이 틀린다」는 불만만으로는 어디를 고칠지 보이지 않아서, 이 장은 그 불만을 여러 번 해 보면 평균이 한쪽으로 기우는 오차(편향)와 할 때마다 들쭉날쭉한 오차(분산) 둘로 나눴다. 몬테카를로는 편향이 없는 대신 분산이 크고, 시간차는 분산이 작은 대신 비평가가 틀린 만큼 편향된다. GAE의 λ는 둘 사이를 고르는 파라미터이고, 이렇게 나누면 처방도 나뉜다. 분산은 더 많이 뽑거나 평균이 0인 것을 빼서 줄이고, 편향은 추정기를 고치거나 실제 결과를 더 길게 보아 줄인다. 그리고 한쪽을 조금 내주고 다른 쪽을 크게 얻는 거래가 가능해진다.

가우스(Carl Friedrich Gauss)는 1821–23년에 낸 관측 오차의 조합 이론에서 측정 오차를 두 종류로 갈랐다. 감각의 불완전함, 공기의 떨림, 기구 표면의 거칠기에서 오는 「불규칙한, 우연한」 오차는 미리 계산할 수 없고 여러 관측을 조합해 줄일 수밖에 없다. 같은 종류의 관측마다 똑같이 끼어드는 「일정한, 규칙적인」 오차는 관측자가 원인을 찾아내 없애야 한다. 거래의 유명한 사례는 1975년 에프런(Bradley Efron)과 모리스(Carl Morris)의 야구 예다. 1970년 시즌 첫 45타수의 타율로 메이저리그 타자 18명의 남은 시즌 타율을 예측할 때, 각자의 타율을 그대로 쓰지 않고 모두를 전체 평균 쪽으로 조금씩 당긴 추정이 제곱 오차의 합을 3분의 1 아래로 줄였다. 일부러 편향을 받아들여 분산을 크게 줄인 것이다. 1961년 제임스(Willard James)와 스타인(Charles Stein)이 증명한 수축 추정이 현장에서 보인 모습이다.

알아보는 법: 결과가 마음에 들지 않으면 먼저 묻는다. 여러 번 돌리면 매번 다르게 틀리는가(분산), 매번 같은 쪽으로 틀리는가(편향)? 답에 따라 손댈 곳이 다르다.

문제 4: 망원경처럼 접히는 합

$\textcolor{#7a1f5a}{\gamma} = 1$ , $\textcolor{#993600}{\lambda} = 1$ 일 때 GAE가 $\textcolor{#d9670b}{R} - \textcolor{#00897b}{V}(\textcolor{#0093b8}{s_t})$ 가 됨을 보이시오. 정답 응답(R = 1, 풀이가 나아가며 가치가 0.45 → 0.70 → 0.80 → 0.95)의 첫 토큰 "10 × 3"으로 수치를 확인하시오. 위젯의 「문제 4 값」 단추로 같은 설정을 불러와 수치판의 “10×3” 값과 답을 비교해 보라.

코드로 해봤어요. λ=1이면 δ를 전부 더하는 거니까, 첫 토큰부터 끝까지 δ를 더하면… 0.55가 나와요. R − V(s₀) = 1 − 0.45 = 0.55랑 같네요.

식으로도 보일 수 있어요?

더하면 V(s₁) − V(s₀) + V(s₂) − V(s₁) + … 이렇게 가운데가 지워지고, 마지막에 V(s_T) − V(s₀)이 남아요. 그러니까 V(s_T) − V(s₀)… 어? R이 어디 갔지?

마지막 δ에는 보상 r이 들어 있잖아. 그리고 V(s_T)는 응답이 끝난 뒤의 상태라서, 더 받을 보상이 없으니까 0이야.

아, 종료 상태 가치를 0으로 안 두고 비평가 출력을 그대로 넣었어요. 코드에서는 마지막에 R을 따로 더해서 우연히 맞았네요.

실무 코드에서 아주 흔한 버그예요. 응답이 최대 길이에서 잘렸을 때는 “끝난” 게 아니라 “중단된” 거라 V(s_T)를 0으로 두면 안 되고요. 그래서 잘린 응답은 끝난 응답과 따로 처리해야 해요.

보고서 쓸 때 마감 시간 되어서 멈춘 거랑, 다 쓰고 끝낸 거랑 채점이 다른 거네요.

위젯에서 확인 → 이 절의 GAE 위젯에서 「문제 4 값」 단추를 누르고, 수치판의 “10×3” 값을 풀이와 견준다.

정리 $\sum_{l} \textcolor{#8e44ad}{\delta_{t+l}} = \sum_{l} \textcolor{#d9670b}{r_{t+l}} + \textcolor{#00897b}{V}(\textcolor{#0093b8}{s_T}) - \textcolor{#00897b}{V}(\textcolor{#0093b8}{s_t}) = \textcolor{#d9670b}{R} - \textcolor{#00897b}{V}(\textcolor{#0093b8}{s_t})$ ( $\textcolor{#00897b}{V}(\textcolor{#0093b8}{s_T}) = 0$ , 종료 상태). 첫 토큰: $1 - 0.45 = 0.55$ . 길이 제한으로 잘린 응답은 종료가 아니므로 이 처리가 달라진다.